Méthode D'évaluation Des Programmes

MTHODES DVALUATION DES PROGRAMMES :
Mesure et attribution des r su!tats des "ro#ra$$es
Troisi%$e dition
Pratiques d'examen et tudes Revue gouvernementale et services de qualit Direction du sous-contrleur gnral Secrtariat du Conseil du Trsor du Canada
Also available in English under the title : Program Evaluation Methods : Measurement and Attribution of Program Results
Ministre des Travaux publics et des Services gouvernementaux Publi par la Direction des affaires publi ues Secrtariat du !onseil du Trsor du !anada
Tab!e des $ati%res

Page MTHODES DVALUATION DES PROGRAMMES : '(a"itre & INTRODU'TION &)& Ob*e+ti,s et "!an &)- Pro+essus d .a!uation &)/ 0uestions 1 .a!uer '(a"itre STRATGIES DVALUATION -)& In, ren+e +ausa!e en .a!uation -)- In, ren+es +ausa!es -)/ Strat #ies d .a!uation -)2 .a!uations +r dib!es &/ &/ &2 -3 -/ & &
"#$#% !rit&res de recherche################################################################################"' "#$#" !rit&res du contexte dcisionnel###############################################################"( "#$#' Stratgies multiples##################################################################################'$ -)4 R su$ '(a"itre / MOD6LES DVALUATION /)& Introdu+tion /)- Mod%!es e8" ri$entau8 a! atoires /)/ Mod%!es 9uasi e8" ri$entau8 /7 /7 2& 27 /5
'#'#% Mod&les dont les mesures sont prises avant et apr&s le programme#########$) '#'#" Mod&les * srie temporelle ou mod&les chronologi ues##########################$+ '#'#' Mod&les dont les mesures sont prises apr&s le programme seulement#####,% /)2 Mod%!es i$"!i+ites 42
/)4 Uti!isation des $od%!es de +ausa!it "our ! .a!uation /)5 R su$ '(a"itre 2 MTHODES DE 'OLLE'TE DES DONNES 2)& Introdu+tion 2)- D "oui!!e$ent de !a do+u$entation s" +ia!is e 2)/ tude de dossiers 2)2 Obser.ations dire+tes 2)4 En9u;tes 2)5 'onsu!tation de s" +ia!istes 2)7 tudes de +as 2): R su$ '(a"itre 4 MTHODES ANAL=TI0UES 4)& Introdu+tion 4)- Ana!>se statisti9ue 4)/ Ana!>se de !in,or$ation 9ua!itati.e 4)2 Ana!>se des autres r su!tats des "ro#ra$$es 4)4 Uti!isation de $od%!es
4: 5&
5554 5: 774 7< :& :2
:4 :4 :4 <4 <: &3&
,#,#% Mod&les de simulation############################################################################%-% ,#,#" Mod&les d.entres/sorties#######################################################################%-$ ,#,#' Mod&les micro/conomi ues##################################################################%-0 ,#,#$ Mod&les macro/conomi ues#################################################################%-+ ,#,#, Mod&les statisti ues###############################################################################%%% 4)5 Ana!>se +o?ts@a.anta#es et ana!>se +o?t@e,,i+a+it 4)7 R su$ '(a"itre 5 'ON'LUSIONS &-& &&/ &-3
ii
Anne8e & EN0UATES &)& +(anti!!onna#e &)- M t(odes den9u;te &)/ Instru$ents de $esure &)2 Esti$ation des +o?ts &)4 A.anta#es et in+on. nients Anne8e GLOSSAIRE Anne8e / BIBLIOGRAPHIE Anne8e 2 AUTRES RCREN'ES Ci#ures et tab!eau8 Ci#ure & D Le "ro+essus dE .a!uation Ci#ure - D Les $od%!es e8" ri$ent au8 "roduisent !a $ei!!eure esti$ation des e,,ets in+r $entie!s Ci#ure / D F +(a9ue as"e+t sa strat #ie Ci#ure 2 D Mod%!e de !Ee,,et dEune ta8e dEa++ise / &5 -& &3: &42 &2& &// &-&-&-2 &-: &-< &/3
Tab!eau & D As"e+ts ,onda$entau8 de !E .a!uation dEun "ro#ra$$e Tab!eau - D ! $ents n +essaires 1 !a +r dibi!it des .a!uations Tab!eau / D E8e$"!e de statisti9ues des+ri"ti.es Tab!eau 2 D Autres donn es des+ri"ti.es
4 -/ :: <&
iii
Tab!eau 4 D E8e$"!e de statisti9ues des+ri"ti.es
</
iv
Chapitre 1
Introduction
'(a"itre & INTRODU'TION

12valuation du rendement des programmes est un lment cl de la stratgie de gestion des rsultats du gouvernement fdral# 1e c3cle de cha ue programme 4conception5 mise en 6uvre et valuation7 s2inscrit dans celui5 plus large5 du S3st&me de gestion des dpenses du gouvernement# 1es plans tablissent les ob8ectifs du programme et les crit&res d.valuation de son succ&s9 les rapports sur le rendement valuent les rsultats# 1a mesure du rendement est un lment essentiel de ce c3cle# 1es valuations devraient fournir au moment voulu des constatations et des conclusions * la fois pertinentes5 fiables et ob8ectives sur le rendement du programme5 gr:ce * des mthodes valides et fiables de collecte et d.anal3se des donnes# ;dalement5 les valuations devraient prsenter les constatations et les conclusions de fa<on claire et uilibre5 tout en prcisant leur degr de fiabilit# !e manuel est un expos des mthodes appropries pour atteindre les ob8ectifs anal3ti ues# Dans une large mesure5 les dfis de l.valuation sont t3pi ues de ceux ui se posent dans toute la recherche en sciences sociales# 1a documentation pertinente foisonne d2excellentes descriptions du bon et du mauvais usage des mthodes d.valuation# = cet gard5 il convient de souligner ue la documentation sur les techni ues et les ob8ets de la recherche en sciences sociales traite de fa<on beaucoup plus dtaille ue nous le faisons des uestions mthodologi ues abordes dans ces pages# ;l faut aussi souligner ue bien peu des mthodes dont nous parlons ici devraient tre utilises sans que l!on consulte d'autres ouvrages et publications ou des praticiens d'exprience# !.est pour cette raison ue la plupart des rubri ues de notre manuel comprennent une liste de tels documents#
Introduction
Chapitre 1
&)&
Ob*e+ti,s et "!an
;l est gnralement difficile de choisir les mthodes appropries d.valuation d.un programme# !.est d.autant plus complexe en raison des nombreux points ui peuvent devoir faire l.ob8et de l.valuation5 du grand nombre de mthodes susceptibles d.>tre utilises pour recueillir et anal3ser les donnes5 compte tenu des ressources et du temps disponibles5 ainsi ue de la ncessit de faire en sorte ue tous les points pertinents soient anal3ss# !e manuel a t con<u pour aider les praticiens et les autres parties intresses * comprendre les facteurs mthodologi ues intervenant dans la mesure et l.valuation des rsultats des programmes# 1.accent est mis sur les avantages et les inconvnients des diverses mthodes tudies# ;l ne faut pas considrer le manuel comme un ensemble de lignes directrices contenant des instructions dtailles pour les valuateurs5 mais plut?t comme un expos des lments mthodologi ues dont il faut tenir compte pour raliser une tude d.valuation crdible des rsultats d.un programme#
&)-
Pro+essus d .a!uation
1es valuations comprennent trois phases 4reprsentes * la figure %7 : @ @ @ l2tude prparatoire * l.valuation ou le cadre 4la planification79 l2tude d.valuation9 la prise de dcisions fondes sur les constatations et les recommandations#
1.tude prparatoire * l.valuation dgage les principaux points et les principales uestions sur les uels l.valuation doit porter5 en dterminant les mthodes les mieux adaptes * la collecte des donnes recherches# 1.information est ensuite prsente au client sous forme d.options d.valuation5 pour u.il choisisse l.approche ui lui convient# 12tude d2valuation elle/m>me ne peut commencer u.une fois son mandat tabli# 1es donnes sont alors recueillies et anal3ses de fa<on u.on puisse en dgager des constatations sur les points * valuer 4voir les sous/tudes %5 " et ' * la figure %7# An se base alors sur les constatations et sur les recommandations pour prendre des dcisions sur l2avenir du programme# 1a discussion des constatations permet d2aider * assurer u.on rende compte des rsultats#
&)/
0uestions 1 .a!uer
1ors u.on envisage les uestions * valuer et les mthodes * utiliser * cet gard5 il faut gnralement faire une distinction entre deux t3pes de rsultats : @ les extrants oprationnels9
Chapitre 1
Introduction
Ci#ure &
Le "ro+essus d .a!uation
A7 Btude prparatoire Camiliarisation 4Profil du programme et examen documentaire7
Anal3se de la raison d.>tre 4Modle logique7
Cormulation et anal3se des options d.tude d.valuation 4Sujets m!thodes et co"ts7
D7
Bvaluation Schma d.valuation pour l .option retenue
Sous/tude %
Sous/tude "
Sous/tude '
S3nth&se des conclusions
Eecommandations
Introduction
Chapitre 1
les rsultats ui comprennent * la fois des avantages pour les clients du programme 4et parfois aussi les inconvnients imprvus pour les clients et pour d.autres personnes7 ainsi ue les retombes connexes5 associes aux ob8ectifs du programme 4par exemple5 la cration d2emplois5 l2amlioration de la sant5 de la scurit et du mieux/>tre5 ainsi ue la scurit nationale7#
1es valuations portent habituellement sur de nombreuses uestions# Dien sFr5 cha ue programme est uni ue5 mais les uestions * valuer peuvent souvent >tre groupes sous les trois rubri ues suivantes# @ "aintien de la pertinence # Mesure dans la uelle le programme conserve sa pertinence pour les priorits de l.Btat et les besoins des cito3ens# Rsultats # Mesure dans la uelle le programme atteint ses ob8ectifs dans les limites du budget5 sans avoir d2importantes retombes indsirables# Rentabilit # Mesure dans la uelle le programme fait appel * la mthode la plus approprie5 la plus efficiente et la plus conomi ue pour atteindre ses ob8ectifs#
Chapitre 1
Introduction
Tab!eau & As"e+ts ,onda$entau8 de ! .a!uation dun "ro#ra$$e $% "$&'T&(' D( )$ P(RT&'('C( Raison d! tre du programme @ @ Dans uelle mesure les ob8ectifs et le mandat du programme sont/ils encore pertinentsG 1es activits et les extrants oprationnels sont/ils compatibles avec le mandat du programme et lis de fa<on plausible aux ob8ectifs et aux autres rsultats escomptsG
*%
R+S,)T$TS $tteinte des ob-ecti.s @ De uelle mani&re et dans uelle mesure le programme a/t/il permis d.atteindre des ob8ectifs approprisG Huels avantages pour la client&le et uelles retombes5 volontaires ou involontaires5 ont rsult de l.excution du programmeG De uelle mani&re et dans uelle mesure peut/on dire ue le programme compl&te5 reprend5 chevauche ou contredit d.autres programmesG
(..ets et consquences @ @ C%
R('T$*&)&T+ +valuation des solutions de remplacement @ @ Existe/t/il d.autres mthodes plus rentables pour atteindre les ob8ectifs et obtenir les rsultats escomptsG Existe/t/il des mo3ens plus rentables d.excuter le programme actuelG
(n ce qui concerne les mthodes d!valuation/ on distingue deux groupes de questions 0 valuer% 1e premier est celui des uestions lies * la thorie et * la structure du programme5 c.est/*/dire * sa raison d.>tre et les autres solutions envisageables# Prenons par exemple un programme d.aide * l2industrie dans le cadre du uel le gouvernement accorde des subventions ponctuelles * tel ou tel pro8et# Dans ce cas5 la uestion fondamentale u.il faut se poser sur la raison d.>tre du programme est la suivante : IPour uoi le gouvernement inciterait/il des entreprises * lancer des pro8ets u.elles n.entreprendraient pas autrementGJ Pour ue le programme satisfasse * ce crit&re5 il doit exister une 8ustification convaincante dans la politi ue publi ue# 1es avantages sociaux du programme pour le !anada doivent l.emporter sur ses coFts sociaux afin u.il puisse en valoir la peine5 m>me si son rendement n.est pas suffisamment lev pour u.une entreprise soit dispose * investir ses propres fonds#
Introduction
Chapitre 1
!ela pourrait arriver parce ue le gouvernement peut rpartir son ris ue sur un grand nombre de pro8ets ui5 pris individuellement5 reprsenteraient un trop gros ris ue pour une entreprise prive# Pour mieux comprendre cette uestion5 prenons un deuxi&me exemple5 celui d.un programme spcial d.enseignement du fran<ais ou de l.anglais aux immigrants# Sa raison d.>tre pourrait >tre 8ustifie par des lacunes des s3st&mes scolaires actuels# An se demanderait donc pour uoi le gouvernement fdral devrait offrir un tel programme : parce ue les coles sont surpeuples5 ou parce ue seules les coles prives en offrent un5 mais * un prix inabordable pour beaucoup d.immigrantsG An pourrait aussi 8uger ncessaire d.offrir aux immigrants plus de cours d.anglais5 tout en concluant u.une aide directe aux coles ui en offrent d8* pourrait >tre une solution de remplacement plus efficace# 1.autre groupe de uestions * valuer 4atteinte des ob8ectifs5 effets et cons uences7 est li aux rsultats du programme# Hu.est/il arriv gr:ce * celui/ciG Eevenons * notre premier exemple et supposons ue le gouvernement a octro3 une subvention pour un pro8et ui a cr dix emplois# Peut/on dire5 en ce ui concerne son ob8ectif de cration d.emplois sous/8acent5 ue le programme a t fructueux pour cette raisonG Avant de faire une dclaration crdible * ce su8et5 nous devons rpondre aux uestions suivantes : @ @ 1e pro8et aurait/il t entrepris sans l.aide de l.BtatG Si oui5 aurait/il t ralis * plus petite chelleG 1es personnes embauches taient/elles en ch?mage5 ou ont/elles simplement uitt un autre emploiG Si les emplois u.elles occupaient sont rests vacants5 ou s.ils ont t simplement repris par des personnes ui avaient d8* du travail5 le pro8et n.a peut/>tre eu aucun effet net de cration d.emplois# Dans ce cas5 l.ob8ectif sous/8acent n.aurait pas t atteint#
1.valuation doit porter aussi bien sur les effets attendus u.imprvus du programme# Dans l.exemple ui nous intresse5 les effets attendus pourraient >tre une augmentation du revenu personnel ou l.accroissement des exportations canadiennes# 1es effets imprvus pourraient comprendre un soutien financier accru des entreprises trang&res5 aux dpens des socits canadiennes5 ou encore le maintien d.activits incompatibles avec la restructuration indispensable du secteur industriel vis# Si le pro8et avait pu >tre ralis sans l.aide de l.Btat5 il est impossible d.imputer au programme d.aide le bl:me de ses effets nfastes5 pas plus ue de lui attribuer le mrite de ses effets favorables#
Chapitre 1
Introduction
Par ailleurs5 le programme de notre deuxi&me exemple pourrait avoir pour ob8ectif l.amlioration de l.aptitude * la lecture des immigrants participants5 mais il pourrait aussi avoir d2autres retombes5 comme le revenu au uel des immigrants devraient renoncer pour assister aux cours5 les emplois ou le revenu accru u.ils pourraient obtenir gr:ce * leur apprentissage de l.anglais 4s.il ne s.agit pas l* d.ob8ectifs du programme7 et les rpercussions du programme sur les coles ui offrent des cours analogues5 par exemple5 une baisse de leur client&le ou la mise * pied d.enseignants# Dans le tableau %5 les uestions * valuer sont groupes sous deux rubri ues : l.une thori ue 4raison d.>tre et solutions de remplacement7 et l.autre concr&te5 axe sur les rsultats du programme 4atteinte des ob8ectifs5 effets et cons uences7# 1a deuxi&me rubri ue englobe deux grands t3pes de probl&mes d.anal3se5 * savoir a7 les problmes de mesure5 sur la fa<on de mesurer les rsultats d.un programme et b7 les problmes d#attribution5 sur la mani&re de dterminer si les rsultats constats sont attribuables au programme 4et dans uelle mesure ils le sont7# !es deux probl&mes et la fa<on d.utiliser divers outils mthodologi ues pour les surmonter constituent le th&me principal du manuel# ;l faudrait toutefois souligner ue bon nombre de uestions mthodologi ues lies * la dtermination des rsultats d.un programme sont tout aussi indissociables de l.anal3se de sa raison d.>tre et des autres solutions envisageables# Par exemple5 si l.on remet en uestion le maintien d.un programme5 on peut procder * une anal3se approfondie pour en mesurer la pertinence 4Poister5 %+)(5 p# 0 et )9 Kamis5 %+)+7# En pareil cas5 il peut se poser des probl&mes de mesure semblables * ceux ui se manifestent lors u.on tudie les rsultats d.un programme# Lanmoins5 l.anal3se de ces rsultats pose au moins un probl&me ui ne se prsente pas lors u.on tudie les aspects thori ues d.un programme5 celui de l.attribution# !.est t3pi uement le plus ardu des aspects de l.valuation5 et pourtant le plus important# 1es difficults d.attribution sont l.un des principaux su8ets traits dans ces pages# Apr&s avoir soulign les difficults associes * l.attribution des rsultats d.un programme5 nous devrions prciser ue leur ampleur varie selon le genre de programme et les rsultats tudis# Ainsi5 la satisfaction de la client&le pourrait >tre le rsultat attendu d.un programme de service5 le uel peut alors >tre le seul facteur plausible au uel on puisse attribuer le niveau de satisfaction observ# Mn mod&le d.valuation relativement rudimentaire fond sur uel ues arguments seulement peut alors suffire * attribuer les rsultats# ;l reste toutefois ue l.attribution demeure un aspect * traiter soigneusement5 puis u.un lien apparemment manifeste avec le programme peut se rvler invalide# Par exemple5 le mcontentement * l.gard des !entres d.emploi du !anada peut reflter les conditions conomi ues globales5 plut?t u.>tre attribuable au service effectivement assur gr:ce au programme# Dans ce cas5 la dtermination du niveau de satisfaction de la client&le attribuable au programme lui/ m>me pourrait se rvler tr&s difficile# Enfin5 l.valuation ne devrait pas considrer le programme comme une IboNte noireJ transformant automati uement des intrants en extrants et en effets# !ette
Introduction
Chapitre 1
approche laisse une norme Oone grise dans notre comprhension des raisons du succ&s ou de l.chec des programmes# Pour interprter une constatation uelcon ue sur les rsultats d.un programme5 il faut >tre en mesure de dterminer si la russite 4ou l.chec7 est attribuable au succ&s 4ou * l.chec7 du cadre thori ue du programme5 de sa mise en 6uvre ou de ces deux lments# Pour faire une interprtation comme celle/l* P lment indispensable * la formulation de recommandations en vue de la prise de dcisions P5 il faut connaNtre la d3nami ue gnrale et les extrants oprationnels du programme# !.est cette connaissance ui permet * l.valuateur d.anal3ser les extrants dans le contexte de la raison d.>tre du programme et de son cadre thori ue afin de dterminer les raisons de sa russite ou de son chec#
Chapitre 1
Introduction
R.rences # &ntroduction 0 l!valuation

Alberta5 minist&re du Trsor5 Measuring Performance : A Reference $uide5 Edmonton5 septembre %++0# AlQin5 M#!#5 A $uide for Evaluation %ecision Ma&ers5 Thousand AaQs : Sage Publications5 %+(0# DerQ5 Eichard A# et Peter R# Eossi5 'hin&ing About Program Evaluation5 Thousand AaQs : Sage Publications5 %++-# !anada5 Secrtariat du !onseil du Trsor5 Aborder les ann!es () : Perspectives gouvernementales pour l#!valuation de programmes5 AttaSa5 %++%# !anada5 Secrtariat du !onseil du Trsor5 IExamen5 vrification interne et valuationJ5 Manuel du *onseil du 'r!sor5 AttaSa5 %++$# !anada5 Secrtariat du !onseil du Trsor5 $uide de la gestion de la qualit!5 AttaSa5 octobre %++"# !anada5 Secrtariat du !onseil du Trsor5 $uides des services de qualit! : Services de qualit! + 'our d#hori,on5 AttaSa5 octobre %++,9 $uide - + *onsultation des clients5 AttaSa5 octobre %++,9 $uide -- + Mesure de la satisfaction des clients5 AttaSa5 octobre %++,9 $uide --- + *ollaboration avec les s.ndicats5 AttaSa5 octobre %++,9 $uide -/ + 0n milieu propice 1 l#apprentissage5 AttaSa5 octobre %++,9 $uide / + Reconnaissance du m!rite5 AttaSa5 octobre %++,9 $uide /- + Sondages auprs des emplo.!s5 AttaSa5 octobre %++,9 $uide /-- + 2ormes de service5 AttaSa5 octobre %++,9 $uide /--- + Anal.ses comparatives et meilleures pratiques5 AttaSa5 octobre %++,9 $uide -3 + *ommunications5 AttaSa5 octobre %++,9 $uide 3 + Anal.se comparative et partage des pratiques exemplaires + Mise 1 jour du $uide /---5 AttaSa5 mars %++09 $uide 3- + $estion efficace des plaintes5 AttaSa5 8uin %++09 $uide 3-- + 4ui est le client5 + %ocument de travail 5 AttaSa5 8uillet %++09 $uide 3--- + $uide des gestionnaires pour la prestation de services de qualit! 5 AttaSa5 septembre %++0# !anada5 Secrtariat du !onseil du Trsor5 6#!valuation des programmes f!d!raux : R!pertoire sur l#utilisation des !valuations5 AttaSa5 %++%# !anada5 Secrtariat du !onseil du Trsor5 6es normes de service : 0n guide pour l#initiative5 AttaSa5 fvrier %++,# !anada5 Secrtariat du !onseil du Trsor5 2ormes d#!valuation de programmes dans les ministres et organismes f!d!raux5 AttaSa5 8uillet %+(+#
Introduction
Chapitre 1
!anada5 Secrtariat du !onseil du Trsor5 Pour offrir aux *anadiens et aux *anadiennes des services de qualit! : 7tablissement de normes de service au gouvernement f!d!ral5 AttaSa5 dcembre %++$# !anada5 Secrtariat du !onseil du Trsor5 Pour une fonction d#examen plus efficace + Rapport annuel au Parlement par le Pr!sident du *onseil du 'r!sor5 AttaSa5 octobre %++,# !anada5 Secrtariat du !onseil du Trsor5 Repenser le r8le de l#7tat : Am!liorer la mesure des r!sultats et de la responsabilisation + Rapport annuel au Parlement par le Pr!sident du *onseil du 'r!sor5 AttaSa5 octobre %++0# !aron5 Daniel5 T#5 IKnoSledge Ee uired to Perform the Duties of an EvaluatorJ5 *anadian 9ournal of Program Evaluation# Uol# (5 Lo %5 avril/mai %++'5 p# ,+ * )(# !helimsQ35 Eleanor et Villiam E# Shadish5 d#5 Evaluation for the :;st *entur. : A <andboo&5 Thousand AaQs : Sage Publications5 %++)# !helimsQ35 Eleanor5 d#5 Program Evaluation : Patterns and %irections5 Vashington : American Societ3 for Public Administration5 %+(,# !hen5 Rue3/Ts3h5 'heor.= %riven Evaluations Thousand AaQs : Sage Publications5 %++-# CitOgibbon5 !#T# et 1#1# Morris5 Evaluator#s >it ?"e dition75 Thousand AaQs : Sage Publications5 %+((# Rudson5 Toe5 et al#5 d#5 Action @riented Evaluation in @rgani,ations : *anadian Practices5 Toronto : Vall and Emerson5 %++"# Krause5 Daniel Eobert5 Effective Program Evaluation : An -ntroduction5 !hicago : Lelson/Rall5 %++0# 1eeuS5 Crans 1#5 IPerformance Auditing and Polic3 Evaluation : Discussing Similarities and DissimilaritiesJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# ,' * 0(# 1ove5 Arnold T#5 Evaluation Methods Sourceboo& --5 AttaSa : Socit canadienne d.valuation5 %++,# Martin5 1aSrence 1# et Peter M# Kettner5 Measuring the Performance of <uman Service Programs5 Thousand AaQs : Sage Publications5 %++0# Ma3ne5 Tohn5 et alA5 d#5 Advancing Public Polic. Evaluation : 6earning from -nternational Experiences5 Amsterdam : Lorth/Rolland5 %++"# Ma3ne5 Tohn5 I;n Defence of Program EvaluationJ5 *anadian 9ournal of Program Evaluation Uol# %5 Lo "5 %+(05 p# +) * %-"#
10
Chapitre 1
Introduction
Ma3ne5 Tohn et Eduardo Wapico/XoYi5 Monitoring Performance in the Public Sector : Buture %irections from -nternational Experience5 LeS DrunsSicQ 4LT7 : Transaction Publishers5 %++0# Pa uet5 Xilles et Eobert Shepherd5 'he Program RevieC Process : A %econstruction5 AttaSa : Cacult d.administration de l.Mniversit d.AttaSa5 %++0# Patton5 M#H#5 *reative Evaluation5 4"e dition75 Thousand AaQs : Sage Publications5 %+(0# Patton5 M#H#5 Practical Evaluation5 Thousand AaQs : Sage Publications5 %+("# Patton5 M#H#5 0tili,ation Bocused Evaluation 4"e dition75 Thousand AaQs : Sage Publications5 %+(0# Perret5 Dernard5 I1e contexte fran<ais de l.valuation : Approche comparativeJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# +' * %%$# Posavac5 Emil T# et Ea3mond X# !are35 Program Evaluation : Methods and *ase Studies5 4,e dition75 Mpper Saddle Eiver 4LT7 : Prentice/Rall5 %++)# Eossi5 P#R# et R#E# Creeman5 Evaluation : A S.stematic Approach 4"e dition75 Thousand AaQs : Sage Publications5 %+(+# Eush5 Drian et Alan Agborne5 IProgram 1ogic Models : Expanding their Eole and Structure for Program Planning and EvaluationJ5 *anadian 9ournal of Program Evaluation# Uol# 05 Lo "5 octobre/novembre %++%5 p# +, * %-0# Eutman5 1# et Tohn Ma3ne5 I;nstitutionaliOation of Program Evaluation in !anada : The Cederal 1evelJ5 in M#H# Patton5 d#5 *ulture and Evaluation /olA ", of 2eC %irections in Program Evaluation San Crancisco : Tosse3/Dass5 %+(,# E3an5 Allan X# et !aroline KrentO5 IAll Pulling Together : VorQing ToSard a Successful EvaluationJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# %'% * %,-# Shadish5 Villiam E#5 et alA5 Boundations of Program Evaluation : 'heories of Practice5 Thousand AaQs : Sage Publications5 %++%# Shea5 Michael P# et Shelagh M#T# ToSson5 IExtent of Evaluation Activit3 and Evaluation MtiliOation of !ES MembersJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo %5 avril/mai %++'5 p# )+ * ((# Socit canadienne d.valuation5 !omit de normalisation5 IStandards for Program Evaluation in !anada : A Discussion PaperJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# %,) * %)-#
11
Introduction
Chapitre 1
Tellier5 1uc/Lormand5 M!thodes d#!valuation des projets publics5 Sainte/Co3 : Presses de l.Mniversit du Hubec5 %++$5 %++,# Thurston5 V#E#5 IDecision/MaQing Theor3 and the EvaluatorJ5 *anadian 9ournal of Program Evaluation5 Uol# ,5 Lo "5 octobre/novembre %++-5 p# "+ * $0# V3e5 !hirstopher X# et Eichard !# Sonnichsen5 d#5 Evaluation in the Bederal $overnment : *hanges 'rends and @pportunities5 San Crancisco : Tosse3/Dass5 %++"# WanaQis5 S#R#5 et alA5 IA EevieS of Program Evaluation and Cund Allocation Methods Sithin the Service and XovernmentJ5 Socio= economic Planning Sciences5 Uol# "+5 Lo %5 mars %++,5 p# ,+ * )+# WZYiga5 Eicardo5 6#!valuation dans l#action : choix de buts et choix de proc!dures5 Montral : 1ibrairie de l.Mniversit de Montral5 %++"#
12
Chapitre 2
Stratgies dva uation
'(a"itre STRATGIES DVALUATION

1e prsent chapitre commence par une tude des t3pes de conclusions u.il est possible de tirer d.une valuation des rsultats d.un programme# ;l traite des divers obstacles ui sapent t3pi uement la validit des conclusions de l.valuation puis passe * un cadre conceptuel pour l.laboration des stratgies d.valuation5 avant de se terminer par une anal3se de la ncessit d.avoir recours * des stratgies de mesure multiples pour produire des conclusions crdibles#
-)&
In, ren+e +ausa!e en .a!uation
1.valuation est cense dterminer les rsultats obtenus ou IcaussJ par un programme# Dans cette section5 nous essa3ons de prciser la signification des dclarations sur les causes des rsultats d.un programme9 la section suivante est une anal3se des probl&mes d2tablissement d.infrences causales# !ommen<ons par tudier les genres de rsultats u.un programme peut IcauserJ# Dans le plus simple des cas5 le programme produit des changements positifs# !ette interprtation suppose toutefois u.aucun changement positif n.aurait5 t constat en l.absence du programme5 ce ui n.est pas ncessairement le cas5 car la situation aurait pu s.amliorer ou se dtriorer uand m>me# De m>me5 un programme peut maintenir le statu uo en emp>chant la situation de se dtriorer5 et cela peut >tre son seul effet positif5 de sorte u.il est essentiel de dterminer son effet incr!mentielA ;l s.ensuit ue5 pour bien comprendre les rsultats caus!s par un programme5 nous devons savoir ce ui serait arriv sans l2excution d2un programme# !ette notion est la cl des infrences causales# Autrement dit5 si l.on conclut u.un programme a produit ou caus un certain rsultat5 cela signifie ue5 s.il n.avait pas exist5 le rsultat ne se serait pas concrtis# Pourtant5 cette interprtation de la causalit! s.appli ue plus logi uement * certains programmes u.* d.autres# Elle vaut particuli&rement pour les programmes pouvant >tre considrs comme des interventions gouvernementales pour modifier le comportement de particuliers ou d.entreprises par l.octroi de subventions5 la prestation de services ou l.application de r&glements# Dans ces cas/l*5 il est logi ue et habituellement possible d.arriver * une estimation de ce ui se serait produit si le programme n.avait pas exist#
13
Chapitre 2
;l existe toutefois d.autres programmes 4dans les secteurs des services mdicaux5 du contr?le de la circulation arienne et de la dfense5 par exemple7 u.il faut considrer logi uement comme partie intgrante du cadre * l.intrieur du uel notre socit et notre conomie fonctionnent# ;ls tendent * exister dans des contextes o[ l.Btat assume le r?le d.intervenant principal# En outre5 ils sont habituellement universels5 ce ui signifie5 dans le langage des conomistes5 ue leurs rsultats sont des Ibiens publicsJ# 1eur valuation pose des difficults parce u.ils ne se pr>tent pas * un mod&le d.valuation dans le uel on les ram&ne * des interventions prcises# En outre5 ce sont des programmes permanents5 dont l.envergure est habituellement trop grande pour u.on puisse leur appli uer des mthodes d.valuation classi ues# !ertains programmes peuvent faire exception * la r&gle5 mais il reste u.il faudrait soulever des uestions sur la porte de l.valuation dans le cadre de l.tude prparatoire5 * l.intention du client# Mn des derniers aspects de la causalit prsente une importance criti ue dans les cas o[ les rsultats de l.valuation doivent influer sur la prise de dcisions# An ne peut gnraliser * partir des rsultats de programmes ue l.valuation a dtermins * moins ue le programme lui/m>me ne puisse >tre reproduit# Si le programme ne peut exister u.* un moment5 * un endroit ou dans des conditions donnes5 il devient tr&s difficile d.tablir des infrences crdibles sur ce ui se produirait dans l.ventualit o[ un programme analogue serait mis en 6uvre ailleurs dans d.autres circonstances#
-)-
In, ren+es +ausa!es
!onceptuellement5 la fa<on d.tablir une infrence causale semble vidente : il suffit de comparer deux situations absolument identi ues5 exception faite de leur exposition au programme# Toute diffrence entre deux situations peut >tre attribue au programme# !e principe fondamental est illustr * la figure "# An choisit deux groupes identi ues de su8ets 4des personnes5 des entreprises et des coles75 un seul des deux 4le groupe exprimental ou trait7 tant expos au programme5 l.autre 4le groupe tmoin7 tant soumis * toutes les m>mes influences extrieures ue le groupe exprimental5 hormis le programme# 1es rsultats postrieurs * l.excution du programme sont mesurs de la m>me fa<on pour les deux groupes# = ce moment/l*5 on peut attribuer au programme n.importe uelle diffrence entre les rsultats des deux groupes5 puis ue ceux/ci taient au dpart identi ues et u.ils ont t exposs aux m>mes influences extrieures# Malheureusement5 dans la prati ue5 il n.existe pas de mod&le idal susceptible d.>tre appli u parfaitement5 puis u.on ne peut 8amais pleinement obtenir l. uivalence absolue du groupe exprimental et du groupe tmoin# Des groupes diffrents sont constitus de su8ets diffrents et diff&rent donc * certains gards5 m>me si les mesures mo3ennes d.une variable donne sont identi ues# En outre5 * supposer ue le m>me groupe serve * la fois de groupe exprimental et de groupe tmoin5 les observations antrieures et postrieures au programme sont faites * des moments diffrents5 de sorte ue d.autres facteurs peuvent influer sur les rsultats observs apr&s l.excution du programme#
14
Chapitre 2
1.impossibilit d.atteindre * l. uivalence absolue sape la validit de l.infrence causale5 de sorte u.il est plus difficile pour les dcideurs de dterminer le rendement antrieur du programme et de s.en inspirer dans leurs dcisions * l.gard des programmes * venir# !.est d.autant plus complexe ue les programmes gouvernementaux ne sont u.un facteur parmi d.autres ui influent sur les rsultats attendus# 1a rigueur de l.valuation P et5 par cons uent5 son utilit pour le processus5 dcisionnel P est fonction de sa conformit au mod&le idal prsent auparavant# ;l s.ensuit ue la capacit d.une infrence selon la uelle le programme a caus un certain rsultat dpend5 dans la prati ue5 de la mesure dans la uelle l.valuation permet de re8eter comme d.autres explications plausibles5 souvent appeles Iobstacles * la validit de l.infrence causaleJ# D.habitude5 l.valuation ne permet pas d.tablir de fa<on concluante des rapports de cause * effet5 mais elle permet de rduire l.incertitude * cet gard tout en produisant des lments asseO concluants pour u.on puisse rfuter les autres h3poth&ses# Par exemple5 l.valuation pourrait produire des preuves ue le programme est l.explication la plus probable du rsultat observ5 alors u.* peu pr&s rien d.autre ne prouve ue les autres explications sont valables# Elle pourrait aussi permettre * l.valuateur de distinguer et de uantifier les effets des autres facteurs en 8eu ou des autres explications possibles# *re./ .aire des in.rences causales sur les rsultats signi.ie qu!on re-ette ou in.irme les autres explications plausibles%
15
Chapitre 2
Ci#ure Les $od%!es e8" ri$entau8 "roduisant !a $ei!!eure esti$ation des e,,ets in+r $entie!s
Xroupe tmoin
Xroupe expos au programme
Effet incrmentiel
1.effet d.autres influences est le m>me ue celui du groupe tmoin
Eevenons * notre exemple d.un programme d2aide * l2industrie en vue de crer des emplois# Si nous constatons la cration d.un certain nombre d.emplois par les entreprises ui touchent une subvention5 nous serions ports * conclure ue c.est un
16
Chapitre 2
effet attribuable au programme et ue si celui/ci n.avait pas exist5 les nouveaux emplois n.auraient pas t crs# Lanmoins5 avant de pouvoir tirer cette conclusion5 il nous faut examiner un certain nombre d.autres explications plausibles# ;l se pourrait5 par exemple5 ue les nouveaux emplois aient t crs par suite d.une reprise conomi ue dans le secteur d.activit en uestion# De m>me5 on pourrait aussi allguer ue les entreprises ui ont cr les emplois avaient l.intention de le faire de toute fa<on5 et ue les subventions taient * toutes fins utiles des paiements de transfert inesprs# Afin de prciser l2effet incrmentiel d2un programme sur la cration d2emplois5 il faudrait avoir re8et toutes ces autres explications5 voire d.autres encore5 ou bien tenir compte de leur influence# 1.limination des autres explications 4celles ui font obstacle * la validit de l.infrence causale pose comme h3poth&se7 ou l.estimation de leur importance relative est le principal ob8et d.une valuation a3ant pour but d.tablir les rsultats d.un programme# !.est une dmarche fonde sur une combinaison d.h3poth&ses5 d.lments logi ues et d.anal3ses empiri ues9 dans ce manuel5 nous appelons chacune de ces approches une strat!gie d#!valuation# Eevenons encore * l.exemple du programme d2aide * l2industrie : il serait possible de rfuter la conclusion ue la cration d.emplois rsulte d.une reprise conomi ue gnrale en prouvant u.il n.3 a pas eu de reprise dans la rgion o[ l.entreprise est tablie 4ou dans son secteur de l.conomie7# Pour ce faire5 on tudierait des entreprises du m>me genre ui n.ont pas re<u de subvention# Si l.on devait constater ue des emplois ont t crs uni uement dans celles ui ont touch une subvention5 l.explication d.une reprise conomi ue ne serait plus plausible# D.un autre c?t5 on pourrait remar uer u.il s.est cr plus de nouveaux emplois dans les entreprises ui ont obtenu une subvention ue dans les autres5 au uel cas il serait tou8ours possible de re8eter l.explication d.une reprise en attribuant au programme la diff!rence entre le nombre d.emplois crs dans les deux groupes d.entreprises 4* condition5 bien entendu5 ue les deux groupes se ressemblent suffisamment7# ;l convient de souligner ue cette constatation modifie la conclusion initiale P * savoir ue tous les nouveaux emplois sont attribuables au programme P compte tenu de l.effet d.une reprise conomi ue# De plus5 malgr ses limitations5 ce mod&le de comparaison permet d.liminer bon nombre d2explications5 3 compris celle ue les entreprises auraient cr les emplois en uestion de toute fa<on# Dans cet exemple5 si ces deux autres explications sont les seules u.on 8uge vraisemblables5 la conclusion ue le nombre accru de nouveaux emplois est attribuable au programme deviendrait asseO plausible5 d.apr&s les lments de preuve prsents# Toutefois5 comme nous le verrons au chapitre suivant5 il 3 a de plus fortes chances ue les deux groupes d.entreprises n.aient pas t tout * fait semblables5 de sorte ue d.autres obstacles sapent la validit des conclusions# En pareil cas5 il faut laborer d.autres stratgies d.valuation pour liminer ces obstacles# Tus u.ici5 nous avons tent de dterminer dans uelle mesure un programme produit un rsultat observ# ;l reste un autre facteur ui vient compli uer l. uation : m>me si le programme est indispensable pour ue le rsultat se produise5 il n.est pas ncessairement suffisant# Autrement dit5 le rsultat peut aussi >tre attribuable * d.autres facteurs5 en l.absence des uels il n.est pas atteint# Sans le programme5 il n.3 a
17
Chapitre 2
pas de rsultat5 mais cela ne signifie pas ncessairement ue son existence assurera le rsultat dsir# Tout ce u.on peut dduire5 c.est ue le rsultat se produira si le programme est mis en 6uvre et ue les autres facteurs favorables sont runis# 1.intr>t de ces autres facteurs s.expli ue du fait ue5 lors u.on a abouti * une conclusion au su8et de l.effet d.un programme existant5 on veut normalement la gnraliser en l.appli uant * d.autres lieux5 * d.autres moments ou * d.autres situations# !ette possibilit de gnraliser5 appele la validit! externe de l.valuation5 se limite * affirmer ue5 dans des conditions identi ues5 la mise en 6uvre du programme ailleurs entraNnerait le m>me rsultat# Dien sFr5 ni les conditions5 ni le programme ne peuvent >tre parfaitement reproduits5 de sorte ue les infrences de ce genre sont souvent chancelantes au point ue5 pour les rendre crdibles5 il faut poser de nouvelles h3poth&ses5 trouver d.autres arguments logi ues ou raliser d.autres anal3ses empiri ues# ;l peut alors >tre utile d.avoir recours * des stratgies d.valuation multiples# Eevenons une fois de plus * l.exemple du programme de subventions * l2industrie# Hu2arrivera/t/il si nous devons tablir ue le programme existant a effectivement permis de crer un certain nombre d.emplois5 gr:ce * certaines comptences en marQeting et * d.autres facteursG !e rsultat peut >tre utile du point de vue de la responsabilisation5 mais les uestions poses au su8et de l.laboration de nouveaux programmes devraient alors normalement porter sur l.opportunit de poursuivre le programme5 de lui donner de l.expansion ou d.en rduire l.ampleur# 1a validit externe de la conclusion selon la uelle la poursuite ou l.expansion du programme entraNnerait la cration de nouveaux emplois pourrait >tre su8ette * caution si l.chantillon des entreprises tudies n.tait pas reprsentatif de toutes celles aux uelles le programme s.appli uerait5 ou si les conditions ui ont contribu au succ&s du programme dans le pass taient peu susceptibles de se reproduire# ;l se pourrait ue les autres entreprises n.aient pas les aptitudes en marQeting ncessaires5 de sorte ue le programme largi n.aurait pas un effet comparable sur elles# Dref5 c.est compte tenu de la uestion * l.tude et du genre de dcisions * prendre ue l.valuateur pourra cerner d.autres facteurs explicatifs et explorer leurs liens avec le programme# ;l existe diverses stratgies pour ui veut minimiser l.effet des obstacles * la validit externe5 tout comme * la validit interne5 d.ailleurs# Malheureusement5 elles ne sont pas tou8ours compatibles5 de sorte u.il faut parfois opter pour une solution de compromis# Huand l.valuateur doit formuler des conclusions crdibles sur les uelles la direction peut se fonder utilement5 il est clair ue5 malgr l.importance indniable de la validit interne5 la validit externe de l.valuation ne saurait >tre nglige# 1.valuateur devrait tou8ours >tre conscient du genre de dcisions * prendre et5 partant5 du genre de conclusions u.il doit prsenter# ;l doit donc bien comprendre les principaux obstacles * la validit externe5 si des points ne sont pas traits5 ainsi u.* la crdibilit et * l.utilit de ces conclusions pour les dcideurs#
Rsum
1es difficults d.tablissement d.infrences causales uant aux programmes et * leurs rsultats sont l.un des principaux th&mes du manuel# 1.autre th&me principal est
18
Chapitre 2
celui de la mesure des rsultats# Avant de pouvoir tirer des conclusions sur les effets d.un programme5 l.valuateur doit >tre conscient des autres facteurs ou des autres circonstances susceptibles d.expli uer les rsultats observs5 puis prsenter des arguments pour rfuter ces explications# S.il fait des gnralisations * partir de ses conclusions5 il devrait surveiller de pr&s les obstacles * la validit externe de son valuation# 1es mthodes utilises pour dterminer les rsultats d.un programme sont bonnes dans la mesure o[ elles permettent de produire les meilleurs arguments possibles5 compte tenu des ressources et du temps disponibles#
R.rences # &n.rence causale

!ampbell5 D#T# et T#!# Stanle35 Experimental and 4uasi= experimental %esigns for Research5 !hicago : Eand/McLall35 %+0'# !ooQ5 T#D# et D#T# !ampbell5 4uasi= experimentation : %esign and Anal.sis -ssues for Bield Settings5 !hicago : Eand/McLall35 %+)+# !ooQ5 T#D# et !#S# Eeichardt5 dA5 4ualitative and 4uantitative Methods in Evaluation Research5 Thousand AaQs : Sage Publications5 %+)+# Reise5 D#E#5 *ausal Anal.sis5 LeS \orQ : Vile35 %+(,# Kenn35 D#A#5 *orrelation and *ausalit.5 Toronto : Tohn Vile3 and Sons5 %+)+# Suchman5 E#A#5 Evaluative Research : Principles and Practice in Public Service and Social Action Programs5 LeS \orQ : Eussell Sage5 %+0)# Villiams5 D#D#5 d#5 2aturalistic Evaluation5 Uol# '- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0#
'otes #
19
Chapitre 2
-)/
Strat #ies d .a!uation
;l faut tenir compte de deux t3pes de facteurs afin d2laborer des mthodes de dtermination des rsultats d.un programme : les facteurs ui sont lis * la recherche 4autrement dit * la ualit des lments de preuve runis7 et les facteurs ui dcoulent du contexte d!cisionnel dans le uel l.valuation a lieu# 1es deux facteurs sont importants5 mais5 uoi u.il en soit5 il faut ordinairement concilier la rigueur scientifi ue de l.valuation et sa pertinence pour les dcideurs# ;l existe plusieurs fa<ons de recueillir les donnes sur les uelles on se fonde pour dterminer les rsultats d.un programme# Dans ce chapitre5 nous tudions les principales strat!gies d#!valuation5 ui comprendront toutes un modle d#!valuation 4chapitre '75 une m!thode de collecte des donn!es 4chapitre $7 et une m!thode anal.tique 4chapitre ,7# Dans notre exemple du programme d.aide * l2industrie5 on pourrait dcider de dterminer si les emplois crs sont attribuables au programme en menant une en u>te aupr&s des entreprises participantes pour leur demander ce ui serait arriv s.il n.3 avait pas eu de subvention gouvernementale# Mne autre stratgie pourrait consister * faire un sondage pour dterminer le nombre d.emplois crs dans des entreprises analogues5 les unes a3ant re<u une subvention et les autres pas5 puis * comparer les rsultats afin de mesurer les importantes diffrences statisti ues# Mne troisi&me stratgie pourrait faire appel * des tudes de cas approfondies sur des entreprises a3ant bnfici d.une subvention pour dterminer si elles auraient vraisemblablement cr les emplois en uestion de toute fa<on# !hacune de ces stratgies porte sur la m>me uestion et fournit des preuves de nature et de ualit diffrentes9 aucune ne fournit normalement de preuve incontestable des rsultats du programme# !.est pour uoi il est donc souvent appropri d2avoir recours * plusieurs stratgies# Par exemple5 on peut vouloir aussi dterminer les effets du programme * d.autres gards5 celui de la concurrence dlo3ale ue les subventions auraient pu crer# !ela pourrait se faire en partie au mo3en d.une des stratgies susmentionnes5 et en partie aussi gr:ce * une stratgie diffrente# 1a stratgie globale pour la uelle l.valuateur opte est le plus souvent une combinaison de stratgies diffrentes con<ue pour trancher une srie de uestions prcises# = la section "#$#'5 nous verrons comment on labore de telles stratgies ou des dmarches d.valuation multiples# 1a figure ' illustre les tapes gnrales de l.laboration d.une stratgie d.valuation# ;l est utile d.envisager cette dmarche comme une srie d.tapes ue nous dcrivons dans l.ordre5 bien u.elle soit beaucoup plus itrative dans la prati ue5 puis ue cha ue tape est troitement lie aux autres# Pour commencer5 l.valuateur doit choisir un mod&le# 1e modle d#!valuation s.entend du mod&le logi ue utilis pour parvenir * des conclusions sur les rsultats# Afin de le choisir5 l.valuateur doit dterminer simultanment le genre d.information u.il veut obtenir et le t3pe d.anal3se au uel il va soumettre cette information# Par exemple5 si l.valuation a pour ob8et de dterminer dans uelle mesure un programme a atteint un ob8ectif donn5 l.valuateur doit choisir un indicateur appropri et opter pour une mthode d.anal3se ui lui permettra d.isoler l.effet du programme# 1es mod&les
20
Chapitre 2
d.valuation servent de base logi ue pour mesurer des rsultats et les attribuer aux programmes#
Ci#ure / F +(a9ue as"e+t sa strat #ie
!hoisir un IaspectJ
Huestion factuelle
Huestion stratgi ue ncessitant du 8ugement
!oncevoir une mesure ui fournira la rponse#
Dterminer la dcision * prendre
Dterminer les renseignements les plus utiles pour les dcideurs
Dterminer les mthodes de collecte de donnes susceptibles de produire les renseignements les plus utiles
21

Ci#ure / G Di,,erent Issues De$and Di,,erent Strate#ies
Chapitre 2
Mne fois le mod&le d.valuation choisi5 l.valuateur passe au choix des mthodes et des techni ues ncessaires pour l.appli uer# 1e genre d.information ncessaire P indicateurs ualitatifs ou indicateurs uantitatifs de la ralisation des ob8ectifsP est dtermin * l.tape de la conception du mod&le# 1.tape suivante consiste * dfinir les donn!es ncessaires pour produire cette information# 1es donnes sont des faits5 c.est/*/dire des choses u.on peut observer et consigner et leur nature et leur ualit peuvent varier nettement# = cet gard5 la t:che de l.valuateur se compli ue parce ue les donnes sont plus ou moins accessibles et ue leur coFt et leur pertinence varient# !.est l* u.intervient la uestion de la mesure5 puis u.il faut dcider uelles donnes sont les plus pertinentes et comment les recueillir# !omme nous le verrons ultrieurement5 la mesure est une uestion mthodologi ue d.importance cruciale pour l.valuation# Apr&s avoir bien dfini les donnes ncessaires5 l.valuateur doit dterminer leurs sources potentielles# S.il lui est impossible d.obtenir des donnes fiables d.une source secondaire5 il doit avoir recours * une mthode de collecte de donnes primaires 4!ooQ et !ampbell5 %+)-5 chapitre %9 !ronbach5 %+("5 chapitre $7# !ette approche est gnralement plus coFteuse ue celle de l.utilisation de donnes secondaires5 et on devrait s2en carter dans la mesure du possible# 1ors u.on dcide de recueillir des donnes primaires5 il faut normalement choisir une mthode de collecte 4observations sur le terrain et sondages postaux5 par exemple75 mettre au point des instruments de mesure 4 uestionnaires5 guides d.entrevue5 fiches d.enregistrement des observations5 etc#7 et formuler un plan d.chantillonnage# Enfin5 compte tenu du t3pe d.anal3se ncessaire et du genre de donnes disponibles5 l.valuateur doit choisir des mthodes d#anal.se des donn!es 4anal3se coFts/avantages5 rgression multiple5 anal3se de la variance5 etc#7# !es anal3ses ont pour ob8et de traduire les donnes recueillies pour produire l.information ncessaire pour l2valuation#
'otes #
22
Chapitre 2
-)2
.a!uations +r dib!es
Avant d.anal3ser les lments prcis d.une stratgie d.valuation de fa<on plus dtaille5 nous devrions examiner les lments cls dont on doit tenir compte pour assurer la crdibilit de l.valuation elle/m>me# !es lments cls sont rsums au tableau "# Tab!eau ! $ents n +essaires 1 !a +r dibi!it des .a!uations $% Crit1res de recherche @ ] ] ] @ ] *% uestions de mesure fiabilit validit de la mesure profondeur et porte uestions d.attribution validit des infrences causales
Crit1res du contexte dcisionnel @ possibilit de formuler des conclusions crdibles ] ] ] ] @ ] ] ] ob8ectivit pertinence pour le contexte dcisionnel pertinence du niveau et du genre de donnes exhaustivit uestions prati ues faisabilit coFt abordable thi ue
-)2)&
'rit%res de re+(er+(e
a2
3uestions de mesure
Dien des effets des programmes sont fondamentalement difficiles * mesurer# Uoici uel ues exemples : @ amlioration du bien/>tre des personnes :ges5 gr:ce * des programmes leur permettant de continuer * vivre seules cheO elles9
23
Chapitre 2
@ @
amlioration de la scurit nationale gr:ce * la mise au point d.un important s3st&me d.armes9 amlioration des stimulants * la E/D industrielle gr:ce * des modifications du rgime fiscal#
!omme bien d.autres5 ces effets exigent * la fois des mthodes de mesure perfectionnes et une connaissance approfondie de domaines spcialiss de la politi ue publi ue# Trois des aspects de la mesure ncessitent une attention particuli&re : la fiabilit5 la validit de la mesure5 ainsi ue la profondeur et la porte# 4iabilit Mne mesure est dite fiable si elle donne les m>mes rsultats lors u.elle est appli ue de fa<on rpte dans une situation donne# Par exemple5 un test d.intelligence serait considr comme fiable dans la mesure o[ il donnerait un rsultat identi ue s.il tait administr deux fois * la m>me personne 4dont l.intelligence n.aurait pas chang7# Dans le contexte d.un programme5 la fiabilit peut correspondre * la stabilit de la mesure dans le temps5 ou * son uniformit d.un endroit * l.autre# 1e man ue de fiabilit peut >tre attribuable * plusieurs facteurs# Par exemple5 il peut rsulter d.une mauvaise mthode de collecte des donnes : si l.en u>teur ne lit pas attentivement les instructions du guide d.entrevue5 il ris ue d.obtenir des rsultats lg&rement diffrents de ceux des en u>teurs ui les ont lues# 1e man ue de fiabilit peut aussi >tre imputable * l.instrument de mesure lui/m>me5 ou au plan d.chantillonnage# Si la procdure d.chantillonnage n.est pas bien suivie5 l.chantillon ris ue de ne pas >tre reprsentatif de la population vise et5 par cons uent5 les rsultats u.il gn&re peuvent n.>tre pas fiables# 5alidit de la mesure Mne mesure est valide dans la mesure o[ elle reprsente fid&lement ce u.elle est cense reprsenter# 1es mesures 4indicateurs7 valides ne prsentent pas d.erreurs s3stmati ues et saisissent les donnes voulues# 1es donnes signifient/elles ce ue nous cro3ons u.elles signifientG 1a techni ue emplo3e mesure/t/elle ce u.elle est cense mesurerG !es uestions ont une importance criti ue pour l.valuation des programmes# 1es probl&mes de validit d.une mesure peuvent >tre conceptuels ou techni ues# = moins d.3 avoir bien rflchi5 il est rare u.on sache exactement uelles donnes correspondent le mieux aux rsultats * mesurer# 1a dcision est trop souvent fonde uni uement sur des donnes faciles * obtenir5 mais ui gn&rent des mesures moins probantes u.on n.aurait pu le souhaiter# En outre5 des erreurs techni ues 4de mesure et d.chantillonnage5 par exemple7 peuvent se produire et fausser les rsultats de l.valuation#
24
Chapitre 2
Pro.ondeur et porte 1es notions de profondeur et de porte sont indissociables de celles de la fiabilit et de la validit de la mesure# Dans certaines situations5 l.valuateur peut souhaiter mesurer certains rsultats tr&s prcisment et d.autres de fa<on moins dtaille5 mais avec plusieurs instruments diffrents# Pour mesurer les avantages d.un programme pour une personne5 il faut parfois raliser des entrevues et des sondages en profondeur# Dans certains cas5 il peut arriver aussi u.on doive avoir recours * diffrents indicateurs refltant tous des points de vue distincts sur les cons uences envisages# Par exemple5 lors u.on value l.effet d.une subvention pour une entreprise5 il peut >tre ncessaire d2anal3ser ses ventes5 l.volution de son effectif5 celle de la ualit de ses emplois5 l.effet de l.achat de nouvelles machines sur sa comptitivit5 et ainsi de suite# Par ailleurs5 la population cible d.un programme peut >tre importante et htrog&ne5 au uel cas il est important ue l.valuation porte de fa<on relativement peu dtaille sur tous ses segments# Ainsi5 pour valuer convenablement les cons uences pour les entreprises d.un programme d.aide * un secteur d.activit donn5 il faudrait prendre soin d.assurer une reprsentation suffisante de tous les t3pes d.entreprises vises 4grandes et petites5 de diffrents secteurs et de rgions diffrentes7# 1a profondeur et la porte de la mesure posent un probl&me pineux# !omme le temps et les ressources sont limits5 l.valuateur doit invitablement ngliger l.une au profit de l.autre# S.il privilgie la porte5 son valuation peut gagner en pertinence et avoir un champ d.application plus vaste5 mais elle perd alors en profondeur5 et les mesures individuelles sont alors moins valides et moins fiables#
b2
3uestions d!attribution
1e programme n.est souvent u.un des nombreux facteurs influant sur le rsultat constat# En fait5 il peut >tre asseO difficile de dterminer dans uelle proportion les rsultats sont vraiment attribuables au programme plut?t u.* d.autres facteurs# !.est peut/>tre l.aspect le plus difficile d.une tude d.valuation# 1a cl de l.attribution des rsultats est donc une bonne comparaison# En laboratoire5 il est possible de le faire gr:ce * des groupes tmoins rigoureusement contr?ls# Par contre5 dans le cas des programmes du gouvernement fdral5 les comparaisons ui sont gnralement possibles sont moins rigoureuses5 et de nombreux obstacles ris uent de saper la validit! interne et la validit! externe# 1es obstacles 0 la validit interne les plus courants sont les suivants : @ vnements historiques P vnements externes influant sur les participants au programme autrement ue sur les membres des groupes tmoins9 maturation P changements des rsultats dcoulant du temps coul plut?t u.attribuables au programme lui/m>me 4p# ex#5 le vieillissement
25
Chapitre 2
des participants d.un groupe comparativement * ceux d.un autre * une tape diffrente79 @ @ @ attrition + abandon du programme par des rpondants 4ce facteur pourrait nuire * la comparabilit des groupes exprimental et tmoin79 biais de la slection P propension initialement ingale des groupes exprimental et tmoin * ragir au programme9 .acteurs de rgression Ppseudo/changements des rsultats dcoulant de la rtention de personnes pour un programme en raison des rsultats extr>mes obtenus 4* la longue5 tout groupe extr>me a tendance * se rapprocher de la mo3enne5 u.il ait bnfici du programme ou pas79 di..usion ou imitation du traitement P obtention par les rpondants d.un groupe de l.information destine * un autre groupe9 essai P diffrences observes entre les groupes exprimental et tmoin pouvant >tre imputables * une meilleure connaissance d.un instrument de mesure pour les membres du premier groupe9 instruments P cons uence du changement de l.instrument utilis selon le groupe 4p# ex#5 lors u.on a recours * diffrents en u>teurs7#
@ @
;l existe aussi de nombreux obstacles 0 la validit externe5 autrement dit emp>chant l.valuateur de gnraliser ses constatations pour les appli uer dans d.autres contextes5 * d.autres moments ou * d.autres programmes# Dans le contexte de l.administration fdrale5 la validit externe a tou8ours une grande importance5 puis ue les constatations de l2valuation sont censes appu3er la prise de dcisions ultrieures# ;l existe trois t3pes d.obstacles * la gnralisation des constatations : @ interaction entre la slection et le programme P non/reprsentativit des effets sur les participants au programme5 parce ue ceux/ci ont une caractristi ue 4influant sur les effets7 non reprsentative de l.ensemble de la population9 interaction entre le contexte et le programme P non/reprsentativit du contexte du programme exprimental ou pilote comparativement * celui dans le uel le programme aurait t excut5 s.il avait t enti&rement mis en 6uvre9 interaction entre les vnements historiques et le programme P non/reprsentativit des conditions dans les uelles le programme s.est droul par rapport aux conditions futures#
1ors u.on est appel * choisir des stratgies d.valuation5 il est manifestement tr&s utile d.>tre conscient des obstacles * leur validit# Mne grande partie du 8ugement ui est ncessaire * la conception d.une valuation ainsi u.* la collecte et * l.anal3se
26
Chapitre 2
des donnes consiste * savoir trouver les mo3ens de dterminer les effets attribuables au programme# Pour 3 arriver5 il faut tablir de bonnes comparaisons5 en vitant de donner prise au plus grand nombre d2obstacles possible * la validit# 1ors ue l.valuation est axe sur les rsultats5 les mod&les diff&rent surtout uant * l.efficacit avec la uelle ils permettent de dterminer les effets attribuables au programme et5 le cas chant5 * la facilit de gnralisation des conclusions# 1es mod&les d.valuation sont prsents au chapitre '5 en ordre dcroissant de crdibilit#
R.rences # Stratgies d!valuation

!ampbell5 D#T# et T#!# Stanle35 Experimental and 4uasi= experimental %esigns for Research5 !hicago : Eand/McLall35 %+0'# !ooQ5 T#D# et D#T# !ampbell5 4uasi= experimentation : %esigns and Anal.sis -ssues for Bield Settings5 !hicago : Eand/McLall35 %+)+# Kerlinger5 C#L#5 Dehavioural Research : A *onceptual Approach5 LeS \orQ : Rolt5 Einehart and Vinston5 %+)+5 chapitre +# Mercer5 ShaSna 1# et UiveQ Xoel5 IProgram Evaluation in the Absence of Xoals : A !omprehensive Approach to the Evaluation of a Population/Dased Dreast !ancer Screening ProgramJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo %5 avril/mai %++$5 p# +) * %%"# Patton5 M#H#5 0tili,ation= focussed Evaluation 4"e dition75 Thousand AaQs : Sage Publications5 %+(0# Eossi5 P#R# et R#E# Creeman5 Evaluation : A S.stematic Approach 4"e dition75 Thousand AaQs : Sage Publications5 %+(+# E3an5 Drenda et EliOabeth ToSnsend5 I!riteria MappingJ5 *anadian 9ournal of Program Evaluation5 Uol# $5 Lo "5 octobre/novembre %+(+5 p# $) * ,(# Vatson5 Kenneth5 ISelecting and EanQing ;ssues in Program Evaluations and Ualue/for/mone3 AuditsJ5 *anadian 9ournal of Program Evaluation5 Uol# ,5 Lo "5 octobre/novembre %++-5 p# %, * "(#
'otes #
27
Chapitre 2
-)2)- 'rit%res du +onte8te d +isionne! Puis ue l.valuation est cense faciliter la prise de dcisions5 les crit&res de choix d.une mthode d.valuation aproprie doivent garantir l.obtention d.une information utileA !ela suppose u.on comprenne le contexte dans le uel les dcisions seront prises et o[ les constatations de l.valuation seront prsentes# ;l faut donc tenir compte de facteurs ui s.a8outent aux aspects techni ues des mthodes5 bien ue celles/ ci conservent une importance criti ue pour la crdibilit des constatations# 1.laboration d.une dmarche d.valuation des rsultats d.un programme peut donc devenir une t:che tr&s dlicate5 ui tient probablement plus de l.art ue de la science5 puis u.il faut tenir compte * la fois des avantages et des inconvnients des stratgies envisages pour recueillir des donnes et du contexte dans le uel l.valuation se droule# 1a conciliation de ces deux lments doit en outre se faire en fonction des contraintes imposes par les ressources et le temps limit dont l.valuateur dispose# Dref5 c.est une t:che ui exige de toute vidence l.exprience de la recherche5 et de la gestion# 1ors u.on examine les dmarches d.valuation possibles * l.tape prparatoire de la planification5 il faudrait constamment se poser la uestion suivante : la mthode ou solution recommande fournira/t/elle des donnes suffisantes sur les uestions vises5 dans les dlais fixs et sans dpasser le budgetG 1e tableau " prsente deux lments dont il faut se rappeler dans le contexte dcisionnel : le degr au uel on peut s.attendre ue la mthode aboutisse * des conditions crdibles et celui au uel elle peut >tre appli ue# Lous allons maintenant dcrire chacun de ces lments gnraux en traitant aussi des uestions connexes ui sont dcrites ci/dessous# ;l convient de souligner ue ces lments s.appli uent * tous les aspects de l.valuation5 pas seulement * ceux ui sont lis aux rsultats du programme#
a2
4ormulation de conclusions crdibles 6recommandations -udicieuses .ondes sur une anal7se prcise2
1a dmarche d.valuation devrait tenir compte de la possibilit de formuler des conclusions crdibles# An recueille des donnes afin de formuler des conclusions ob8ectives et crdibles bases sur elles5 avec asseO de preuves * l.appui pour u.on 3 a8oute foi# ;l peut >tre difficile d.aboutir * de telles conclusions5 et l.valuateur devrait en tenir compte lors u.il labore sa stratgie# En outre5 la crdibilit des conclusions est en partie fonction de leur formulation5 autrement dit de leur prsentation# 1es donnes recueillies et les conclusions formules devraient >tre ob8ectives5 et toutes les h3poth&ses devraient >tre clairement prcises#
28
Chapitre 2
1.ob8ectivit des valuations est extr>mement importante# En effet5 elles sont souvent contestes par uel u.un5 soit un gestionnaire de programme5 un client5 un membre de la haute direction5 un reprsentant d.un organisme central ou un ministre# 1.ob8ectivit signifie ue les donnes et les conclusions peuvent >tre vrifies et confirmes par d.autres personnes ue les auteurs de l.valuation# Autrement dit5 les conclusions doivent dcouler de l.information recueillie# 1.information et les donnes d.valuation devraient donc >tre runies5 anal3ses et prsentes de telle fa<on ue d.autres personnes ui feraient la m>me valuation en se fondant sur les m>mes h3poth&ses de base aboutiraient * des conclusions analogues# !.est beaucoup plus difficile * faire lors u.on opte pour certaines stratgies d.valuation ue pour d.autres5 notamment si la stratgie utilise repose largement sur le 8ugement professionnel de l.valuateur# En particulier5 on devrait tou8ours prciser clairement au lecteur les lments sur les uels les conclusions sont fondes 4l.information et les donnes recueillies ainsi ue les h3poth&ses poses7# Si les conclusions sont ambigu^s5 il est particuli&rement important ue les h3poth&ses sous/8acentes soient clairement nonces# En effet5 lors u.elles ne sont pas bien prcises5 il arrive souvent ue les conclusions soient mal formules# 1es conclusions doivent >tre pertinentes5 c.est/*/dire compatibles avec le contexte dcisionnel et elles doivent absolument porter sur les uestions tudies# Au cours d.une tude5 les chercheurs perdent parfois de vue les uestions sur les uelles l.examen doit porter9 il devient alors difficile pour le lecteur 4le client de l.valuation7 de comprendre le lien entre les conclusions et les uestions * valuer cernes au dpart# !e phnom&ne peut >tre dF * plusieurs facteurs# ;l se peut par exemple ue la stratgie d.valuation n.ait pas t suffisamment bien con<ue5 de sorte u.il est difficile d.obtenir de l.information valide sur certaines uestions et de tirer certaines conclusions# Par ailleurs5 il est possible aussi ue les intr>ts de l.valuateur l.emportent5 au uel cas les uestions ui intressent la haute direction ne re<oivent pas toute l.attention voulue# Enfin5 d.autres uestions peuvent se poser pendant u.on tudie le programme et son contexte# !ela ne devrait toutefois pas prsenter de difficult5 pourvu ue les uestions initiales soient bel et bien tudies et u.on prcise clairement les uestions supplmentaires et les conclusions correspondantes# 1a prcision des conclusions est largement fonction de la ualit et de la nature de l.information recueillie5 les uelles devraient >tre choisies compte tenu des facteurs contextuels# An constate souvent deux t3pes de difficults dans les valuations# ;l est souvent impossible d.arriver * des conclusions dfinitives5 et l.information et les donnes recueillies gr:ce aux stratgies utilisables ne sont pas compl&tes#
29
Chapitre 2
Dans le premier cas5 il est fr uent u.on n.arrive pas * prouver catgori uement le rapport de causalit entre un programme et un rsultat observ5 en raison surtout de l.impossibilit de surmonter les probl&mes de mesure et d.attribution dont nous avons d8* fait tat# En gnral5 il est peu probable u.une stratgie d.valuation produise * elle seule suffisamment d.informations pour donner une rponse sans uivo ue aux uestions poses# !ela nous am&ne directement au second t3pe de difficults : il 3 a normalement plusieurs stratgies d.valuation envisageables5 chacune produisant de l.information et des donnes de ualit et de nature diffrentes# &l s!ensuit donc qu!il .audrait choisir la stratgie en se .ondant sur les .acteurs contextuels lis aux dcisions 0 prendre au su-et du programme/ et pas seulement sur des questions de recherche prd.inies% !.est sensiblement la m>me chose u.en droit5 o[ le genre d.lments de preuve * produire est fonction de la gravit et du t3pe de crime# Ainsi5 dans bien des poursuites au civil5 il suffit de prouver l.existence de motifs raisonnables5 alors ue la culpabilit d.un criminel doit >tre prouve Iau/del* de tout doute raisonnableJ 4Smith5 %+(%7# 1es facteurs contextuels dont l.valuateur devrait tenir compte sont le degr d.incertitude sur le programme et sur ses rsultats5 l.importance de ses effets5 son coFt et la probabilit ue les conclusions soient contestes# ;l devrait >tre capable de prvoir uelles contestations d.envergure ses conclusions susciteront ventuellement5 et >tre pr>t * les rfuter# 1e choix de l.information * recueillir et5 partant5 de la mthode d.valuation * utiliser est l.une des t:ches les plus difficiles pour l.valuateur# En principe5 c.est le client de l.tude et non l.valuateur ui fera ce choix# 1a t:che de l.valuateur consiste * prsenter au client les dmarches d.valuation susceptibles de gnrer les conclusions crdibles u.on attend de lui5 * un coFt et dans des dlais raisonnables# Pour choisir la dmarche5 le client devrait avoir une bonne comprhension de l.information ui sera produite et >tre par cons uent en mesure de 8uger si l.valuation est suffisamment rigoureuse pour pouvoir s.en inspirer dans ses dcisions# Dien entendu5 l.valuateur devrait proposer des dmarches d.valuation ui refl&tent le mieux possible le contexte dcisionnel afin de faciliter le choix du client# 1es conclusions formules devraient >tre fondes sur un examen exhaustif des uestions pertinentes# 1.exhaustivit P ou son absence P est un autre facteur ui pose souvent des probl&mes aux valuateurs# 4Dien u.elle soit lie * la pertinence de l.information5 elle constitue un point distinct dans le tableau "5 parce u.on a souvent tendance * produire de l.information et des donnes ob8ectives et pertinentes sur la plupart des uestions * l.tude5 mais * en ngliger plus ou moins d.autres#7 ;l s.agit l* d.un probl&me de macromesure# 1.valuateur devrait s.efforcer d.avoir une ide aussi exacte ue possible de la uestion du point de vue du client# !ela suppose u.il tudie toutes les uestions d.intr>t u.il peut5 compte tenu du temps et des ressources financi&res dont il dispose# = cet gard5 il ne faut 8amais oublier ue5 pour le gouvernement fdral5 le IclientJ est en dfinitive le public canadien# ;l est parfois difficile de faire en sorte ue la porte de l.valuation soit suffisante# Pourtant5 si l.on dcide de la sacrifier pour anal3ser de fa<on plus approfondie certaines des uestions envisages5 on ris ue
30
Chapitre 2
d.aboutir * des conclusions correctes5 mais sans vue d.ensemble# Pour viter cet cueil5 on prend habituellement soin de discuter des uestions d.valuation avec le client et avec d.autres parties a3ant des points de vue diffrents# De cette fa<on5 on a toutes les chances d.arriver * une stratgie d.valuation d.une porte satisfaisante# Si l.valuateur estime ue sa t:che consiste * fournir un complment d.information pertinente sur un programme et sur ses rsultats 4autrement dit de proposer une mthode permettant de rduire l.incertitude au su8et d.un programme7 plut?t u.* produire des preuves concluantes de son efficacit5 il aboutira donc vraisemblablement * des conclusions plus utiles# Avec cette approche5 il ris ue de devoir faire des choix difficiles entre la pertinence et la rigueur de son travail5 mais il doit choisir des mthodes d.valuation ui lui permettront de maximiser les chances d.arriver * des conclusions utiles5 m>me avec des rserves# Enfin5 on devrait clairement distinguer les constatations des recommandations de l.valuation# 1.valuateur peut >tre fr uemment appel * donner des conseils * son client et * lui prsenter des recommandations# ;l doit alors absolument tablir une distinction entre les constatations ui sont tires de l.information gnre par son tude et les recommandations sur le programme ui s.inspirent des conclusions de son valuation ou de renseignements provenant d.autres sources5 par exemple des directives stratgi ues# 1es conclusions de l.valuation perdent de leur crdibilit si cette distinction n.est pas maintenue# Par exemple5 les constatations d.une valuation d.un programme d.conomie d.nergie rsidentielle peuvent permettre * l.valuateur de conclure ue le programme a eu des rpercussions favorables sur l.conomie d.nergie# Toutefois5 des renseignements obtenus d.autres sources peuvent laisser entendre ue d.autres programmes d.conomie d.nergie sont plus rentables5 au uel cas l.valuateur est port * recommander ue le programme rsidentiel soit abandonn# Dans ce cas/l*5 il doit clairement prciser ue sa recommandation n.est pas fonde sur l.information obtenue dans le contexte de l.valuation elle/m>me5 mais bien sur d.autres renseignements#
b2
3uestions pratiques
1ors u.il labore sa mthode d.valuation5 l.valuateur doit tenir compte d.lments fondamentaux tels ue la praticabilit5 la viabilit financi&re et l.thi ue#
31
Chapitre 2
Mne dmarche est 8uge praticable dans la mesure o[ elle peut >tre appli ue efficacement sans cons uences nfastes et dans les dlais impartis# 1a viabilit! financire s.entend du coFt de mise en 6uvre de la dmarche# ;l se peut ue le coFt d.utilisation de la mthode considre comme la plus approprie dans une situation donne soit exorbitant# Ar5 il faut tou8ours prfrer la mthode d.valuation susceptible * la fois de grer les probl&mes de mesure et d.attribution et d.aboutir * des conclusions crdibles5 tout en pouvant >tre appli ue dans les limites des ressources disponibles# 1.!thique 4principes ou valeurs morales7 doit >tre value dans l.laboration d.une mthode d.valuation# Par exemple5 il peut >tre contraire * l.thi ue d.excuter un programme exclusivement pour un sous/groupe d.une population donne# !e serait le cas si une valuation portant sur un programme social devait >tre fonde sur un chantillon alatoire de prestataires et privait de services d.autres personnes 3 a3ant pourtant autant droit# 1es principes d.thi ue dont il faut tenir compte dans le contexte des valuations de programmes de l.administration fdrale sont prciss dans divers textes lgislatifs et stratgi ues sur la collecte5 l.utilisation5 la prservation et la diffusion de l.information5 dont la 6oi sur l#accs 1 l#information5 la 6oi sur la protection des renseignements personnels et la 6oi sur la statistique5 ainsi ue la Politi ue du gouvernement en mati&re de communications et la Politi ue sur la gestion des renseignements dtenus par le gouvernement du !onseil du Trsor5 la uelle porte notamment sur les mesures * prendre pour minimiser la collecte de donnes inutile et pour assurer l.examen mthodologi ue pralable des activits de collecte de donnes#
R.rences 8 )e contexte dcisionnel

AlQin5 M#!#5 A $uide for Evaluation %ecision Ma&ers5 Thousand AaQs : Sage Publications5 %+(0# Daird5 D#C#5 Managerial %ecisions under 0ncertaint.5 LeS \orQ : Vile3 ;nterscience5 %+(+# !abatoff5 Kenneth A#5 IXetting An and Aff the Polic3 Agenda : A Dualistic Theor3 of Program Evaluation MtiliOationJ5 *anadian 9ournal of Program Evaluation5# Uol# %%5 Lo "5 automne %++05 p# ', * 0-# !iarlo5 T#5 d#5 0tili,ing Evaluation5 Thousand AaQs : Sage Publications5 %+($# Xoldman5 Crancis et Edith Drashares5 IPerformance and Accountabilit3 : Dudget Eeform in LeS WealandJ5 Public Dudgeting and Binance5 Uol# %%5 Lo $5 hiver %++%5 p# ), * (,# Ma3ne5 Tohn et E#S# Ma3ne5 IVill Program Evaluation be Msed in Cormulating Polic3GJ5 in AtQinson5 M# et M# !handler5 d#5 'he Politics of *anadian Public Polic.5 Toronto : Mniversit3 of Toronto Press5 %+('# Moore5 M#R#5 *reating Public /alue : Strategic Management in $overnment5 Doston : Rarvard Mniversit3 Press5 %++,#
32
Chapitre 2
Lutt5 P#!# et E#V# DacQoff5 Strategic Management of Public and 'hird Sector @rgani,ations5 San Crancisco : Tosse3/Dass5 %++"# A.Drecht5 Michael5 IStaQeholder Pressures and ArganiOational StructureJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo "5 octobre/novembre %++"5 p# %'+ * %$)# Peters5 Xu3 D# et Donald T# Savoie5 !entre canadien de gestion5 $overnance in a *hanging Environment5 Montral et Kingston : McXill/Hueen2s Mniversit3 Press5 %++'# Pressman5 T#1# et A# VildavsQ35 -mplementation5 1os Angeles : M!1A Press5 %+)'# Eeav35 Pat5 et alA5 IEvaluation as Management Support : The Eole of the EvaluatorJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo "5 octobre/novembre %++'5 p# +, * %-$# Eist5 Ea3 !#5 d#5 Program Evaluation and the Management of the $overnment5 LeS DrunsSicQ 4LT7 : Transaction Publishers5 %++-# SchicQ5 Allen5 'he Spirit of Reform : Managing the 2eC Eealand State5 rapport command par le minist&re du Trsor et la !ommission des services gouvernementaux de la Louvelle/Wlande5 %++0# Seidle5 1eslie5 Rethin&ing the %eliver. of Public Services to *iti,ens5 Montral : ;nstitut de recherches en politi ues publi ues 4;MPP75 %++,# Thomas5 Paul X#5 'he Politics and Management of Performance Measurement and Service Standards5 Vinnipeg : St#/Tohn.s !ollege5 Mniversit3 of Manitoba5 %++0#
'otes #
33
Chapitre 2
-)2)/ Strat #ies $u!ti"!es Mne stratgie d.valuation produit des preuves d.un rsultat5 tandis u.une tude d.valuation porte ordinairement sur plusieurs uestions5 ce ui signifie u.on a donc intr>t * faire appel * plusieurs stratgies5 d.autant plus u.il peut aussi >tre souhaitable d.en utiliser plus d.une pour examiner une uestion donne5 afin d.accroNtre l.exactitude et la crdibilit des constatations de l.valuation# 1a plupart des stratgies d.valuation labores pour tudier une uestion prcise peuvent aussi >tre utilises pour en examiner d.autres5 avec certaines modifications# M>me si une stratgie n.est pas idale pour tudier une autre uestion5 il peut >tre utile de s.en servir parce ue son coFt marginal est faible# Supposons par exemple u.on fasse une tude afin de dterminer l.aptitude * la lecture de deux groupes5 dont l.un participant * un programme donn# An fait passer aux membres de cha ue groupe un test destin * mesurer leur aptitude * la lecture5 en leur posant aussi diverses uestions sur l.utilit et l.efficacit du programme# 1es rsultats refl&tent bien entendu les lacunes inhrentes * tous les rsultats des en u>tes sur les attitudes5 mais a8outent uand m>me des indications aux rsultats ob8ectifs du test de lecture5 * un coFt relativement faible# 1a seconde raison d.envisager le recours * plusieurs stratgies de recherche dans une valuation5 c.est u.il est souvent souhaitable de mesurer ou d.valuer le m>me rsultat en fonction de plusieurs sources de donnes5 ou en appli uant des mod&les d.valuation diffrents# En effet5 il est souvent difficile5 sinon impossible5 de mesurer exactement et sans uivo ue un rsultat donn# Des facteurs de confusion5 des erreurs de mesure et des pr8ugs personnels ris uent de se combiner pour saper la validit ou la fiabilit des rsultats obtenus lors u.on n.a utilis u.une seule et uni ue mthode d.anal3se# En effet5 les mod&les d.valuation sont habituellement vulnrables * plusieurs obstacles * la validit interne9 il est donc impossible d.liminer ou de tenir compte de toutes les autres explications plausibles# Par cons uent5 on doit souvent avoir recours * des stratgies complmentaires pour infirmer les explications indsirables des rsultats observs# !.est pour ces deux raisons u.il est prfrable d.tudier les uestions * valuer de plusieurs points de vue5 en se fondant sur plusieurs modalits d.tablissement de la preuve afin d.accroNtre la crdibilit des constatations# Huand des stratgies distinctes ui sont fondes sur des sources de donnes et des mthodes d.anal3se diffrentes aboutissent * la m>me conclusion5 l.valuateur peut raisonnablement les considrer comme fiables# Par contre5 lors u.elles m&nent * des conclusions diffrentes5 la situation est videmment beaucoup moins facile * trancher# Lanmoins5 c.est un rsultat prfrable * ce ui se produit uand on se fonde sur une seule stratgie5 en aboutissant sans s.en rendre compte * des conclusions ui pourraient >tre contradictoires pour peu u.on en utilise une autre# 1ors ue les conclusions diff&rent5 c.est peut/>tre parce ue les rsultats du programme sont trop sensibles pour pouvoir >tre mesurs avec prcision 4ce ui signifie ue l.erreur d.chantillonnage l.emporte sur l.effet incrmentiel79 pour corriger le probl&me5 il faut alors avoir recours * une meilleure mthode d.anal3se ou recueillir plus de donnes5 ou encore * une combinaison de ces deux approches#
34
Chapitre 2
Supposons par exemple u.on tente d.valuer les effets de notre fameux probl&me d.aide * un secteur d.activit industrielle# 1.valuation devrait porter sur l.effet incrmentiel du pro8et5 ce ui reviendrait * essa3er de dterminer si l.aide fournie a men * la ralisation du pro8et envisag# !ette uestion pourrait >tre tudie sous plusieurs angles diffrents# Mne stratgie consisterait * mener un sondage aupr&s des cadres des entreprises vises en leur posant la uestion directement ou indirectement# !ependant5 pour diverses raisons5 notamment parce u.ils voudraient obtenir d.autres subventions5 les rpondants pourraient tendre * exagrer l.effet incrmentiel du programme# ;l faudrait donc utiliser d.autres mthodes pour le dterminer# Par exemple5 un examen dtaill des registres financiers et de marQeting pour la priode prcdant immdiatement la mise en 6uvre du pro8et permettrait de 8uger si le rendement attendu des investissements 8ustifiait son excution sans l.aide de l.Btat# An pourrait aussi avoir recours * un mod&le uasi exprimental avec une anal3se correspondante comme nous le verrons au chapitre '5 pour comparer la ralisation de pro8ets non subventionns * celle de pro8ets ui l.ont t5 ou encore pour comparer la fr uence des pro8ets excuts avant et apr&s la mise en 6uvre du programme# Prenons aussi un autre exemple5 celui des en u>tes postales ui peuvent avoir un tr&s vaste ra3onnement dans une population cible# Malheureusement5 il s.agit l* d.une stratgie ui ne se pr>te gnralement pas * des tudes en profondeur5 bien u.elle puisse >tre renforce gr:ce * des tudes de cas ou * des entrevues individuelles# De m>me5 les mod&les implicites faisant appel * une anal3se du contenu en soi sont peu fiables# M>me si ces mod&les sont utiles pour l.examen d.avantages difficiles * mesurer5 il convient de les complter par des stratgies plus fiables * fondement uasi exprimental5 ce ui augmente normment la crdibilit globale des constatations de l.valuation#
R.rences # Stratgies multiples

Tor8ani5 Ramid5 IThe Rolistic Perspective in the Evaluation of Public Programs : A !onceptual CrameSorQJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# )% * +"#
'otes #
35
Chapitre 2
-)4
R su$
Dans ce chapitre5 nous avons anal3s les aspects de la recherche et du contexte dcisionnel dont il faut tenir compte pour l.laboration et l.application de mthodes d.valuation crdibles# !e faisant5 nous avons insist sur la ncessit de ne 8amais ngliger les facteurs contextuels inhrents * toutes les tudes d.valuation menes dans l.administration fdrale# !es facteurs sont au moins aussi importants ue les uestions de recherche ui sont traditionnellement associes * une stratgie d.valuation# De plus5 le prsent chapitre dcrit le bien/fond de multiples lments probants5 soit le recours * plus d2une stratgie d2valuation pour appu3er les infrences sur les effets du programme# !ompte tenu des contraintes temporelles et financi&res on devrait tou8ours rechercher de multiples lments probants pour appu3er les conclusions de l2valuation#
36
Chapitre 3
!od" es dva uation
'(a"itre / MOD6LES DVALUATION

/)& Introdu+tion
Mn mod&le d.valuation dcrit le s3st&me logi ue * appli uer pour recueillir de l.information sur les rsultats susceptibles d.>tre attribus * un programme# 1a figure " illustre le principe fondamental du mod&le exprimental5 ui impli ue la comparaison de deux groupes 4dont l.un expos au programme75 en attribuant toutes les diffrences entre les deux groupes au programme lui/m>me# An appelle ce t3pe de mod&le modle d#!valuation id!alA !omme nous l.avons d8* vu5 c.est un idal difficile * atteindre dans la prati ue# Pourtant5 il est utile aux fins de comparaison et d.explication# An peut l.illustrer de la fa<on suivante : Mesure avant Xroupe exprimental Xroupe tmoin -% -" Exposition au programme _ Mesure apr&s -' -$
Dans ce schma5 I-J dsigne une mesure ou une observation du rsultat du programme et I_J5 l.exposition au programme# 1es chiffres en indices indi uent des mesures ou des traitements diffrents# 1e -% reprsente des estimations 4des mo3ennes estimatives5 par exemple7 fondes sur les observations relatives * des membres d.un groupe# ;l faudrait interprter des formules comme -' ] -$ comme des indications thori ues5 plut?t ue comme des carts entre deux observations# 1e schma montre aussi * uel moment l.observation est faite 4avant ou apr&s l.exposition au programme7# Lous emploierons la m>me s3mbolisation dans tout le chapitre pour illustrer de fa<on schmati ue les mod&les dcrits# Dans le mod&le d.valuation idal5 le rsultat attribu au programme est manifestement -' ] -$5 puis ue -% ` -" et u.il s.ensuit ue -' ` -$ a _ 4le programme75 ou ue -' ] -$ ` _# Eemar uons ue5 dans ce cas/ci5 il n.est pas ncessaire ue -% et -" dterminent le rsultat net du programme5 puis u.on postule ue leurs valeurs sont gales# ;l s.ensuit donc ue le mod&le idal pourrait >tre reprsent comme suit :
37
!od" es dva uation
Chapitre 3
Exposition au programme Xroupe exprimental Xroupe tmoin _
Mesure apr&s -' -$
;l se peut toutefois ue l.valuateur s.intresse au changement relatif ui s.est produit5 au uel cas il doit absolument prendre la mesure avant le programme# 1e mod&le idal est important parce u.il sert de preuve sous/8acente de l.attribution des rsultats * un programme pour tous les mod&les d.valuation dcrits dans le prsent chapitre# Par exemple5 pour faire des infrences causales5 il faut comparer des groupes identi ues5 sauf pour l.exposition au programme5 avant et apr&s celle/ci# 4D.ailleurs5 la caractristi ue commune de tous les mod&les examins dans ces pages est l.utilisation de la comparaisonA7 1e facteur ui distingue les mod&les d.valuation est le degr au uel on les compare aux groupes en tout point identi ues5 sauf pour l.exposition au programme# Dans les mod&les les plus rigoureux5 appels mod1les exprimentaux ou alatoires5 on tente d.assurer l. uivalence initiale des deux groupes en rpartissant de fa<on alatoire les su8ets en deux groupes5 un groupe de participants et un groupe tmoin# De cette fa<on5 les groupes * comparer s. uivalent5 c2est/*/dire ue le processus fait en sorte ue les valeurs attendues 4ainsi ue les autres caractristi ues de distribution7 de -% et -" soient gales# Lous tudierons les mod&les exprimentaux ou alatoires * la section '#"# 1es mod&les IintermdiairesJ5 dits quasi exprimentaux5 sont anal3ss * la section '#'# Dans ces mod&les5 ui ressemblent aux mod&les exprimentaux en ce sens ue des groupes de comparaison servent * faire des infrences causales5 on n.a pas recours aux mod&les alatoires ou * la IrandomisationJ pour crer un groupe de participants 4ou exprimental7 et un groupe tmoin# An part gnralement du principe ue le groupe de participants est un ac uis5 ce ui signifie u.on choisit un ou des groupes de comparaison 4ou tmoins7 de fa<on u.ils 3 correspondent le plus troitement possible# 1ors u.il n.3 a pas randomisation5 il n.est plus possible de postuler la comparabilit des groupes5 de sorte u.il faut trouver des mo3ens de remdier * leur ventuelle incomparabilit# Lanmoins5 les mod&les uasi exprimentaux demeurent les meilleurs lors ue la randomisation n.est pas possible# An trouve * l.autre extrmit de l.chelle les mod1les implicites5 ui se pr>tent habituellement mal * la mesure des changements et * leur attribution * un programme# En voici un exemple :
38
Chapitre 3
!od" es dva uation
Exposition au programme Xroupe exprimental _
Mesure apr&s -%
Dans un mod&le comme celui/l*5 on prend une mesure apr&s l.exposition au programme5 en posant des h3poth&ses sur les conditions prsentes avant sa mise en 6uvre# An postule ue tous les changements par rapport * la situation existante avant le programme lui sont attribuables# Autrement dit5 on part de l.h3poth&se u.on ne constaterait aucun changement * l.gard d.un groupe tmoin non prcis 4ou du moins pas de changements de l.ampleur de ceux ui sont constats pour le groupe exprimental7# Lous reviendrons plus longuement sur les mod&les implicites * la section '#$# !es t3pes de mod&les ont tous des degrs diffrents de rigueur uant * l.tablissement des rsultats d.un programme9 ils traduisent aussi une diffrence fondamentale entre les programmes exprimentaux et les programmes IordinairesJ5 c.est/*/dire non exprimentaux# Ar5 la plupart des programmes gouvernementaux ont pour ob8et d.apporter des avantages aux participants5 et les administrateurs partent du principe u.ils sont bel et bien efficaces# 1a participation * ces programmes est t3pi uement dtermine en fonction de crit&res d.admissibilit# !.est bien diffrent dans le cas des programmes exprimentaux ou pilotes5 ui sont mis en 6uvre pour vrifier la validit thori ue d.un programme et pour en dterminer l.efficacit# 1es participants aux programmes de ce genre en retirent des avantages5 mais c.est un rsultat secondaire5 le but tant essentiellement de vrifier si les programmes sont efficaces# ;l s.ensuit ue les participants sont souvent choisis pour maximiser les chances d.obtention de rsultats concluants5 pas ncessairement en fonction de crit&res d.admissibilit# !es deux buts5 * savoir gnrer des avantages et vrifier la validit de la thorie sur la uelle le programme est fond5 sont pres ue tou8ours incompatibles# 1es gestionnaires des programmes estiment normalement ue ceux/ci ont pour ob8et de produire des avantages5 m>me dans le cas d.un programme pilote# 1es valuateurs et les planificateurs5 d.autre part5 prf&rent excuter un programme exprimental pour dterminer d.emble s.il vaut la peine de lui donner plus d.importance# Dans la prati ue5 la plupart des programmes ne sont pas mis * l.essai5 ce ui signifie ue l.valuateur doit fr uemment opter pour des mod&les d.valuation non exprimentaux# Dans le prsent chapitre5 nous allons anal3ser les trois t3pes de mod&les d.valuation dont nous venons de faire tat# Lous allons dcrire des mod&les de cha ue t3pe en prcisant leurs avantages et leurs inconvnients# Lous rpartissons les mod&les en trois t3pes P alatoires5 uasi exprimentaux et implicites P pour faciliter l.anal3se5 mais la distinction entre les trois n.est pas tou8ours rigoureuse# En effet5 les mod&les uasi exprimentaux se confondent souvent avec les mod&les implicites# Lanmoins5 les distinctions sont utiles et rv&lent5 dans la plupart des cas5 un degr de
39
!od" es dva uation
Chapitre 3
rigueur diffrent# 1.valuateur ui passe du mod&le alatoire au mod&le implicite doit tenir compte d.un nombre croissant d.obstacles * la validit de ses infrences causales#
R.rences # "od1les d!valuation

Abt5 !#X#5 d#5 'he Evaluation of Social Programs5 Thousand AaQs : Sage Publications5 %+)0# Doruch5 E#C#5 I!onducting Social ExperimentsJ5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# !ampbell5 D#T# et T#!# Stanle35 Experimental and 4uasi= experimental %esigns for Research5 !hicago : Eand/McLall35 %+0'# !ooQ5 T#D# et D#T# !ampbell5 4uasi= experimentation: %esigns and Anal.sis -ssues for Bield Settings5 !hicago : Eand/McLall35 %+)+# Datta5 1# et E# Perloff5 -mproving Evaluations5 Thousand AaQs : Sage Publications5 %+)+5 section ;;# Xloberson5 Ar35 et alA5 Fou *an#t Manage Ghat Fou %on#t Measure: *ontrol and Evaluation in @rgani,ations5 DrooQfield : XoSer Publications5 %++%# Eossi5 P#R# et R#E# Creeman5 Evaluation: A S.stematic Approach 4"e dition75 Thousand AaQs : Sage Publications5 %+(+# Trochim5 V#M#K#5 d#5 Advances in 4uasi= experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# Vatson5 Kenneth5 IProgram Design !an MaQe Autcome Evaluation ;mpossible: A EevieS of Cour Studies of !ommunit3 Economic Development ProgramsJ5 *anadian 9ournal of Program Evaluation5 Uol# %-5 Lo %5 avril/mai %++,5 p# ,+ * )"# Veiss5 !#R#5 Evaluation Research5 EngleSood !liffs 4LT7 : Prentice/Rall5 %+)"5 chapitre $#
'otes #
40
Chapitre 3
!od" es dva uation
/)-
Mod%!es e8" ri$entau8 a! atoires
1.approche la plus rigoureuse pour tablir des relations causales entre un programme et ses rsultats est celle des mod&les exprimentaux# S.ils sont bien appli us5 ces mod&les fournissent les preuves les plus concluantes des effets du programme# Malheureusement5 pour bien des programmes gouvernementaux5 ils sont impossibles * mettre en 6uvre5 pour peu ue le programme soit offert depuis un certain temps# Lanmoins5 ils sont importants5 et ce pour les deux raisons suivantes# Premi&rement5 ils sont aussi pr&s ue possible du mod&le d.valuation idal ue nous venons de dcrire# Par cons uent5 m>me s.il n.est pas possible d.appli uer un mod&le exprimental5 les mod&les moins rigoureux sont souvent cots selon leur degr de conformit * ce mod&le exprimental5 et c.est pour cette raison u.il est important de comprendre leurs avantages et leurs inconvnients# Deuxi&mement5 malgr leurs difficults d.ordre prati ue5 les mod&les exprimentaux peuvent >tre utiliss pour valuer de nombreux programmes9 ils l.ont souvent t5 d.ailleurs# Par exemple5 on s.est servi d.un mod&le exprimental pour valuer les programmes scolaires con<us afin de prvenir la consommation et l.abus d.alcool cheO les adolescents5 en faisant appel * un groupe exprimental et * un groupe tmoin 4certaines classes a3ant acc&s au programme et d.autres pas7 pour obtenir des mesures de l.attitude5 des connaissances5 des intentions et de la consommation relle de boissons alcooli ues 4Schlegel5 %+))7# 1es mod&les exprimentaux ou alatoires sont caractriss par la rpartition alatoire des participants ventuels entre le groupe exprimental et le groupe tmoin5 afin d.assurer l. uivalence des deux# An dit u.il s.agit d.expriences5 en ce sens ue les participants au programme sont choisis au hasard parmi tous les candidats possibles# ;l existe un grand nombre de mod&les exprimentaux5 dont les uatre suivants : ] ] ] ] mod&le alatoire classi ue avec groupe tmoin9 mod&le alatoire avec mesure apr&s le programme seulement et groupe tmoin9 mod&le avec blocs alatoires et carr latin9 mod&le factoriel#
;l ne faut pas oublier ue l.expression modle al!atoire n.est pas s3non3me d.!chantillonnage al!atoire# Dans le premier cas5 on choisit au hasard des membres d.une population cible soit pour le groupe tmoin5 soit pour le groupe exprimental5 tandis ue dans le second5 on se fonde sur un calcul des probabilits pour choisir un chantillon d.une population donne# 1.chantillonnage alatoire fond sur deux populations diffrentes ne gnrerait pas de groupes uivalents aux fins d.une valuation exprimentale#
41
!od" es dva uation
Chapitre 3
"od1le alatoire classique avec groupe tmoin

An entend par l* un mod&le exprimental classi ue5 ui peut >tre reprsent de la fa<on suivante5 IEJ dsignant une rpartition alatoire : Mesure avant Xroupe exprimental 4E7 Xroupe tmoin 4E7 -% -" Exposition au programme _ Mesure apr&s -' -$
Dans ce mod&le5 les participants ventuels au programme ui font partie de la population cible sont choisis au hasard5 pour >tre rpartis dans le groupe exprimental 4o[ ils sont exposs au programme7 ou le groupe tmoin# An prend des mesures avant et apr&s le programme 4mesures pralables et postrieures au programme75 dont le rsultat net est reprsent schmati uement par la formule 4-' ] -$7 ] 4-% ] -"7# 1a rpartition alatoire 4ou5 si l.on prf&re5 la randomisation7 signifie u.il 3 a pour cha ue membre de la population cible une probabilit connue u.il soit choisi pour faire partie du groupe exprimental ou du groupe tmoin# !es probabilits sont souvent gales5 au uel cas cha ue membre a des chances gales d.>tre choisi pour faire partie d.un groupe ou de l.autre# Par suite de cette randomisation5 les groupes exprimental et tmoin sont mathmati uement uivalents5 ce ui signifie ue les valeurs attendues de -% et -" sont gales# Toutefois5 les mesures relles prises avant le programme peuvent varier de fa<on alatoire5 et c.est pour uoi elles peuvent donner une meilleure ide du rsultat net5 puis u.elles permettent de tenir compte de toute diffrence susceptible d.exister entre les groupes 4-% ] -"7 en dpit de la randomisation# Dref5 dans ce mod&le5 l.intervention du programme 4ou le traitement7 est la seule diffrence5 * part le hasard5 entre le groupe exprimental et le groupe tmoin#
"od1le alatoire avec mesure apr1s le programme seulement et groupe tmoin

1e mod&le alatoire classi ue a notamment pour inconvnient d.>tre vulnrable * une distorsion attribuable * l.essai# 1a validit de l.valuation est en effet menace puis ue la mesure pralable au programme elle/m>me peut influer sur le comportement du groupe exprimental ou du groupe tmoin 4ou des deux75 et ce * tel point ue toute infrence causale ue l.valuateur pourrait vouloir faire ris uerait d.>tre mise en doute# Pour viter cette difficult5 l.valuateur peut dcider de ne pas faire de mesure avant le programme5 au uel cas le schma de son mod&le se prsente comme suit :
42
Chapitre 3
!od" es dva uation
Exposition au programme Xroupe exprimental 4E7 Xroupe tmoin 4E7 _
Mesure apr&s -% -"
1e mod&le alatoire avec mesure apr&s le programme peut >tre extr>mement rigoureux# Toutefois5 il faut bien se rappeler ue5 m>me avec une rpartition alatoire5 il se peut ue les deux groupes choisis soient nettement diffrents uant aux mesures d2intr>t# An n.est donc 8amais sFr d.avoir compl&tement limin les diffrences entre les groupes initiaux susceptibles d.influer sur le rsultat de l.valuation#
"od1le avec blocs alatoires et carr latin

Afin de minimiser la probabilit ue l.effet net d.un programme soit imputable * une erreur d.chantillonnage5 il est prfrable d.utiliser un chantillon aussi gros ue possible# Malheureusement5 cela peut coFter fort cher# Pour viter cet cueil5 on pourrait combiner la rpartition alatoire et l#appariement des sujets ?constitution de blocsH lors u.il faut absolument utiliser des chantillons relativement petits# 1.appariement consiste * diviser la population cible dans la uelle les membres du groupe exprimental et du groupe tmoin sont choisis en IblocsJ dfinis en fonction d.une ou de plusieurs variables ui devraient influer sur les rsultats du programme# Par exemple5 si l.on s.attend * ce ue les urbains ragissent plus favorablement ue les ruraux * un programme social5 on peut constituer deux blocs5 l.un urbain et l.autre rural# Ensuite5 * l.intrieur de cha ue bloc5 on fait une rpartition alatoire pour choisir les membres du groupe exprimental et du groupe tmoin# !ette approche pourrait contribuer * assurer une participation raisonnablement gale des su8ets urbains et ruraux# En fait5 on devrait tou8ours opter pour l.appariement des su8ets lors ue les variables importantes sont connues# Dien entendu5 les groupes peuvent >tre apparis en fonction de plus d.une variable# Lanmoins5 l.augmentation du nombre de variables fait vite augmenter le nombre de blocs et5 par cons uent5 la taille de l.chantillon ncessaire# Ainsi5 uand on s.attend * ce ue la langue officielle parle 4le fran<ais ou l.anglais7 influe sur les rsultats du programme5 il faut envisager de crer les blocs suivants : urbain anglophone5 rural anglophone5 urbain francophone et rural francophone# En outre5 puis ue cha ue bloc doit contenir un groupe exprimental et un groupe tmoin5 il faut en constituer huit en tout5 en respectant pour chacun les r&gles relatives * la taille minimale de l.chantillon# Reureusement5 il existe des mthodes pour rduire le nombre de groupes ncessaires5 comme le mod&le du carr latin# !es mthodes ne peuvent toutefois >tre emplo3es ue si les effets d.interaction entre les variables du groupe exprimental et du groupe tmoin sont relativement minimes#
43
!od" es dva uation
Chapitre 3
"od1le .actoriel
Dans les mod&les classi ues et dans ceux ui font appel * des blocs alatoires5 il n.3 a u.une seule variable exprimentale 4ou de traitement7 en 8eu# Ar5 les programmes font souvent appel * toute une srie d.incitations pour aiguiller les bnficiaires vers un rsultat recherch# Huand l.valuateur est en mesure de distinguer les effets des diffrentes mthodes d.intervention utilises5 il peut avoir recours * un mod&le factoriel5 ce ui lui permet non seulement de distinguer les effets particuliers de cha ue variable exprimental5 mais aussi d.estimer les effets nets mixtes 4les effets d.interaction7 de paires de variables exprimentales# !.est un grand avantage5 puis u.on observe souvent des effets d.interaction dans les phnom&nes sociaux# Par exemple5 les effets combins d.une hausse des taxes sur le tabac et d.une augmentation du budget anti/tabagisme peuvent >tre plus mar us ue la somme des effets isols des deux#
$vantages et inconvnients
1es mod&les exprimentaux sont les plus rigoureux lors u.il s.agit de faire des infrences causales sur les rsultats des programmes# ;ls permettent en effet d.liminer la plupart des obstacles * la validit interne5 puis u.ils font appel * un groupe tmoin5 * des mod&les alatoires ainsi u.* des mod&les avec blocs alatoires et * des mod&les factoriels# 1eur principal inconvnient est u.ils sont souvent difficiles * appli uer# Malheureusement5 la randomisation 4c#/*/d# la rpartition alatoire entre le groupe exprimental et le groupe tmoin7 n.est souvent pas possible : ] ] uand toute la population cible bnficie du programme5 il n.existe aucune variable pouvant servir * la constitution d.un groupe tmoin9 uand le programme fonctionne depuis asseO longtemps5 il ris ue probablement d.exister des diffrences sensibles entre ceux ui 3 ont particip 4le groupe exprimental ventuel7 et les autres 4le groupe tmoin ventuel79 il peut >tre illgal ou immoral de faire bnficier du programme certaines personnes 4les membres du groupe exprimental7 en en privant d.autres 4les membres du groupe tmoin7#
1a plupart des programmes gouvernementaux correspondent manifestement * au moins un des cas ui prc&dent5 ce ui fait ue la randomisation est extr>mement difficile * leur gard5 sauf peut/>tre s.ils sont considrs comme une vritable exprience5 comme dans un programme pilote# 1es mod&les exprimentaux sont tou8ours vulnrables * tous les obstacles * la validit externe et * certains de ceux ui sapent la validit interne#
44
Chapitre 3
!od" es dva uation
M>me avec un mod&le exprimental5 la difficult de gnraliser * partir des conclusions sur les rsultats d.un programme n.est pas automati uement limine# Par exemple5 la randomisation aux fins de gnralisation est une tout autre uestion ue la slection alatoire des groupes exprimental et tmoin5 car elle exige ue la population cible initiale * partir de la uelle les deux groupes seront crs soit elle/m>me choisie au hasard * m>me la population des bnficiaires ventuels en gnral 4soit la population des su8ets * l.gard des uels l.valuateur peut souhaiter gnraliser ses rsultats7# En outre5 plusieurs obstacles importants * la validit interne perdurent5 malgr le choix au hasard des membres des deux groupes : ] ] l#attrition diff!rentielle 4ou le retrait des membres des groupes exprimental et tmoin7 pourrait fausser la randomisation initiale9 la diffusion du traitement entre les deux groupes pourrait fausser les rsultats#
De plus5 le mod&le exprimental classi ue prsente lui aussi des ris ues : ] ] des changements d#instruments pourraient de toute vidence fausser les mesures prises9 la r!action 1 l#essai pourrait entraNner des comportements diffrents des membres du groupe exprimental et du groupe tmoin#
!omme ces deux derniers facteurs sont essentiellement attribuables aux essais pralables5 le mod&le alatoire avec mesure apr&s le programme seulement en comparaison avec le groupe tmoin peut les viter5 comme nous l.avons d8* expli u# ;l faudrait nanmoins comprendre clairement ue5 en dpit de leurs avantages5 les rsultats obtenus gr:ce aux mod&les exprimentaux devraient >tre interprts avec beaucoup de circonspection#
R.rences # "od1les exprimentaux alatoires

Doruch5 E#C#5 I!onducting Social ExperimentsJ5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()5 p# $, * 00# Doruch5 E#C#5 IAn !ommon !ontentions About EandomiOed Cield ExperimentsJ5 in Xene U# Xlass5 d#5 Evaluation Studies RevieC Annual5 Thousand AaQs : Sage Publications5 %+)0# !ampbell5 D#5 I!onsidering the !ase Against Experimental Evaluations of Social ;nnovationsJ5 Administrative Science 4uarterl.5 Uol# %,5 Lo %5 %+)-5 p# %%% * %""# Eaton5 CranQ5 IMeasuring Program Effects in the Presence of Selection Dias: The Evolution of PracticeJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# ,) * )-#
45
!od" es dva uation
Chapitre 3
Trochim5 V#M#K#5 d#5 IAdvances in Huasi/experimental Design and Anal3sisJ5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0#
'otes #
46
Chapitre 3
!od" es dva uation
/)/
Mod%!es 9uasi e8" ri$entau8
M>me lors u.on est incapable de faire une randomisation5 il peut >tre possible d.tablir un groupe tmoin ressemblant suffisamment au groupe exprimental pour permettre des infrences valides sur les rsultats attribuables au programme# Dans la prsente section5 on entend par Imod&les uasi exprimentauxJ ceux pour les uels on a recours * un groupe tmoin non alatoire pour faire des infrences sur les rsultats d.un programme# 1e groupe tmoin pourrait >tre soit un groupe cr!! de toutes pi&ces ui n.a pas t expos au programme5 soit un groupe r!flexif 5 c.est/*/dire le groupe exprimental lui/m>me avant son exposition au programme# Lous allons dcrire trois mod&les uasi exprimentaux gnraux5 * savoir : @ @ @ les mod&les * mesures avant et apr&s le programme9 les mod&les * srie temporelle ou mod&les chronologi ues9 les mod&les * mesures prises apr&s le programme seulement#
1es trois mod&les sont prsents en ordre de rigueur descendant5 m>me si le degr d. uivalence entre le groupe exprimental et le groupe tmoin est le facteur dterminant de la rigueur du mod&le dans cha ue cas# /)/)& Mod%!es dont !es $esures sont "rises a.ant et a"r%s !e "ro#ra$$e
;l 3 a fondamentalement deux t3pes de mod&les de ce genre5 ceux dont les mesures sont prises avant et apr&s le programme avec groupe tmoin non uivalent et ceux dont les mesures sont prises avant et apr&s le programme avec un seul groupe5 le groupe exprimental# Dans le premier cas5 on utilise un groupe tmoin cr9 dans le second5 un groupe tmoin rflexif#
"od1les dont les mesures sont prises avant et apr1s le programme avec groupe tmoin non quivalent
!e mod&le5 dont la structure est analogue * celle du mod&le exprimental classi ue5 est fond sur des mesures prises avant et apr&s le programme dans le groupe exprimental et dans un groupe tmoin# Mesure avant Xroupe exprimental Xroupe tmoin -% -" Exposition au programme _ Mesure apr&s -' -$
47
!od" es dva uation
Chapitre 3
1e groupe tmoin est choisi de fa<on ue ses caractristi ues importantes ressemblent le plus possible * celles du groupe exprimental# 1e degr de similarit entre les groupes est dtermin gr:ce * une comparaison effectue avant le programme# Dans la mesure o[ l.on a ralis un bon appariement 4fond sur les variables ui semblent exercer une influence sur celles des rsultats75 on peut dire ue ce mod&le s.apparente au mod&le alatoire avec groupe tmoin5 et u.il permet de minimiser les obstacles * la validit interne# Malheureusement5 il est gnralement difficile d.apparier parfaitement toutes les variables importantes5 de sorte u.il subsiste normalement au moins une autre explication plausible des rsultats observs nets du programme5 * savoir ue les deux groupes n.taient pas gaux au dpart#
"od1le dont les mesures sont prises avant et apr1s le programme avec un seul groupe
An utilise souvent ce mod&le simple en dpit de toute ses lacunes intrins& ues5 probablement parce ue c.est celui ui ressemble le plus * ce u.on entend communment par les rsultats d.un programme5 * savoir les changements survenus entre la priode antrieure au programme et celle ui lui est postrieure# An peut le reprsenter de la fa<on suivante : Mesure avant Xroupe exprimental -% Exposition au programme _ Mesure apr&s -"
De nombreux obstacles peuvent saper la validit interne de ce mod&le5 car bien des explications plausibles pourraient 8ustifier les diffrences constates entre A" et -%5 puis ue le groupe tmoin est en l.occurrence le groupe exprimental avant son exposition au programme 4c.est un groupe tmoin rflexif7# 1.absence de groupe tmoin distinct signifie ue la plupart des obstacles * la validit interne sont prsents# 1es !v!nements historiques ris uent d.ailleurs de poser un probl&me5 tant donn ue le mod&le ne peut tenir compte des vnements extrieurs au programme ui influent sur les rsultats observs# 1a maturation normale de la population vise peut elle/m>me expli uer les changements5 le cas chant# En outre5 le changement observ peut >tre simplement un facteur de r!gression5 et A% peut >tre anormalement faible5 de sorte ue la mesure -" ] -% porte davantage sur une fluctuation alatoire ue sur un changement attribuable au programme# Enfin5 les essais5 les instruments et l#attrition peuvent tous poser des probl&mes# 1e seul avantage de ce mod&le est sa simplicit# Si l.valuateur russit * tenir suffisamment compte des facteurs externes5 le mod&le fournit de l.information et des donnes raisonnablement valides et concluantes# Dans le domaine des sciences naturelles5 on arrive habituellement * contr?ler suffisamment les facteurs externes5 en laboratoire5 mais c.est beaucoup plus difficile dans le domaine des sciences sociales#
48
Chapitre 3
!od" es dva uation
/)/)-
Mod%!es 1 s rie te$"ore!!e ou $od%!es +(rono!o#i9ues
1es mod&les * srie temporelle ou mod&les chronologi ues sont caractriss par une srie de mesures chelonnes dans le temps * la fois avant et apr&s l.exposition au programme# Tous les mod&les ue nous avons dcrits dont les mesures sont prises avant et apr&s le programme pourraient >tre transforms en mod&les chronologi ues# Autrement dit5 les mod&les chronologi ues pour les uels il n.existe ue uel ues mesures avant et apr&s le programme sont vulnrables aux m>mes obstacles influant sur la validit interne ue les mod&les * mesures uni ues correspondants# = l.inverse5 une srie compl&te de mesures avant et apr&s le programme permet * l.valuateur d.liminer un grand nombre de ces obstacles5 en anal3sant les tendances antrieures et postrieures au programme# Lous allons maintenant dcrire deux mod&les chronologi ues : ] ] le mod&le de base * srie temporelle le mod&le * srie temporelle avec groupe tmoin non uivalent#
"od1le de base 0 srie temporelle

1e mod&le de base * srie temporelle est un mod&le chronologi ue courant gr:ce au uel on peut prendre un nombre uelcon ue de mesures antrieures et postrieures au programme# ;l peut >tre reprsent comme suit : Mesure avant Xroupe exprimental -%-"-'-$ Exposition au programme _ Mesure apr&s -,-0-)-(
Avec ce mod&le5 l.valuateur peut dterminer les effets d.un programme donn en fonction du changement ui se manifeste dans la srie de mesures prises avant et apr&s l.exposition au programme# Si les donnes de la srie temporelle sont fiables5 le mod&le peut >tre relativement rigoureux5 au uel cas il permet d.liminer de nombreux obstacles * la validit interne5 notamment les effets de maturation et d#essai# !ertains autres obstacles subsistent uand m>me5 notamment ceux relatifs aux !v!nements historiques5 parce ue les mod&les * srie temporelle ne peuvent liminer le ris ue u.un facteur autre ue le programme ait produit le changement entre le moment o[ les mesures ont t prises avant le programme et celui o[ elles l.ont t apr&s#
49
!od" es dva uation
Chapitre 3
"od1les 0 srie temporelle avec groupe tmoin non quivalent

1es mod&les * srie temporelle peuvent >tre amliors lors u.on 3 a8oute des groupes tmoins5 comme dans le mod&le * srie temporelle avec groupe tmoin non uivalent ci/dessous : Mesure avant Xroupe exprimental Xroupe tmoin -%-"-'-$-, -0-)-(-+-%Exposition au programme _ Mesure apr&s -%%-%"-%'-%$-%, -%0-%)-%(-%+-"-
Puis ue le groupe exprimental et le groupe tmoin devraient normalement >tre soumis aux m>mes facteurs externes5 il est peu probable u.un changement observ soit attribuable * un autre facteur ue le programme# !omme pour n.importe uel mod&le dans le uel on utilise un groupe tmoin non uivalent5 il faut toutefois ue les groupes se ressemblent suffisamment en ce ui concerne les caractristi ues tudies# Si c.est le cas5 un mod&le chronologi ue comme celui/ci peut se rvler tr&s rigoureux# ;l faut uand m>me signaler un certain nombre des avantages et des inconvnients de ces mod&les# 1es mod&les chronologi ues fonds sur des donnes de srie temporelle fiables peuvent liminer de nombreux obstacles * la validit interne# !ette caractristi ue est attribuable au fait ue5 lors u.ils sont bien excuts5 ces mod&les rendent possibles une certaine valuation de la tendance de maturation avant l.intervention du programme# 1es mod&les chronologi ues peuvent >tre utiliss pour anal3ser divers effets du programme dpendant du facteur temps# 1.aspect longitudinal des mod&les histori ues permet * l.valuateur ui s.en sert d.anal3ser plusieurs uestions en dterminant5 par exemple5 si l.effet observ est continu ou s.il s.estompe avec le temps et s.il est immdiat ou * retardement5 ou encore saisonnier# !ha ue fois u.une uestion de ce genre est importante5 il faut utiliser un mod&le comme celui/l*# An n.a pas tou8ours de donnes fiables pour mener l.anal3se * srie temporelle ui s.impose#
50
Chapitre 3
!od" es dva uation
1es mod&les chronologi ues posent de nombreux probl&mes de donnes# Par exemple5 les sries temporelles utilisables sont souvent plus courtes ue celles u.on recommande normalement pour l.anal3se statisti ue 4il n.3 a pas suffisamment de donnes79 on peut en outre avoir utilis diffrentes mthodes de collecte des donnes au cours de la priode * l.tude5 et il se peut aussi ue les indicateurs aient chang avec le temps# 1ors u.on utilise un mod&le chronologi ue5 il faut ordinairement faire une anal3se spciale des sries temporelles# 1es rgressions des moindres carrs les plus courantes ne se pr>tent pas * l.anal3se des sries temporelles# ;l faut donc recourir * diverses techni ues spcialises 4voir par exemple !ooQ et !ampbell5 %+)+5 chapitre 09 Culler5 %+)09 TenQins5 %+)+9 et Astrom5 %+)(7# /)/)/ Mod%!es dont !es $esures sont "rises a"r%s !e "ro#ra$$e seu!e$ent
Dans le cas de ces mod&les5 les mesures sont prises uni uement apr&s l.exposition au programme5 ce ui limine les obstacles associs aux essais et aux instrumentsA Lanmoins5 puis u.il n.existe pas d.information sur la situation antrieure au programme5 d.importants obstacles * la validit subsistent5 m>me lors u.on utilise un groupe tmoin# Lous allons dcrire deux mod&les de ce genre#
"od1le dont les mesures sont prises apr1s le programme seulement avec groupe tmoin non quivalent
!e genre de mod&le se prsente comme suit :
Exposition au programme Xroupe exprimental Xroupe tmoin _
Mesure apr&s -% -"
1a slection et l.attrition sont les principaux obstacles * la validit interne d.un mod&le de ce genre# ;l est absolument impossible de savoir si les deux groupes taient uivalent avant l.exposition au programme# ;l se pourrait donc ue l.cart entre A % et A" soit simplement le reflet de leur diffrence initiale et ne soit donc pas attribuable * l.exposition au programme# Hui plus est5 on ne connaNt pas le taux d.abandon du programme 4effet attribuable 1 l#attrition75 faute d.avoir pris des mesures avant son excution# Enfin5 m>me si les deux groupes avaient t uivalents au dpart5 il est possible ue A% ou A" n.incluent pas les personnes ui ont abandonn le programme5 ce ui ris ue d.entraNner une distorsion des estimations de ses effets#
51
!od" es dva uation
Chapitre 3
"od1le dont les mesures sont prises apr1s le programme seulement avec traitements di..rents
!.est un mod&le plus 8uste5 ui se prsente de la fa<on suivante : Exposition au programme Xroupe % Xroupe " Xroupe ' Xroupe $ _% _" _' _$ Mesure apr&s -% -" -' -$
Dans ce cas/ci5 diffrents groupes bnficient du programme * des degrs diffrents5 ce ui peut arriver lors u.il 3 a des variantes rgionales de la prestation et des avantages d.un programme national# Si les chantillons sont suffisamment importants5 on pourrait faire une anal3se statisti ue pour tablir le lien entre les diffrents niveaux d.application du programme et les rsultats observs 4A%75 tout en tenant compte aussi des autres variables# Pour ce mod&le comme pour le prcdent5 la slection et l.attrition sont les principaux obstacles * la validit interne#
;l faut de la crativit et du talent pour concevoir un mod&le uasi exprimental5 ui peut toutefois gnrer des constatations tr&s prcises# Souvent5 il n.3 a rien de mieux pour faire une valuation ue d.utiliser un mod&le uasi exprimental# En effet5 si la randomisation ne permet pas d.tablir l. uivalence du groupe exprimental et du groupe tmoin5 la meilleure solution consiste * exploiter toutes ses connaissances pralables pour choisir le mod&le exprimental le moins entach de facteurs de confusion# D.ailleurs5 un mod&le uasi exprimental bien excut peut aboutir * des constatations plus fiables ue celles d.un mod&le exprimental mal appli u# 1es mod&les uasi exprimentaux peuvent >tre moins coFteux et plus faciles * appli uer ue les mod&les exprimentaux# Puis ue les mod&les uasi exprimentaux n.exigent pas le traitement au hasard et un groupe tmoin5 leur utilisation peut >tre moins coFteuse et leur application plus facile ue celles des mod&les exprimentaux# 1ors u.on utilise un mod&le uasi exprimental5 il faut tenir compte individuellement de cha ue obstacle * la validit interne#
52
Chapitre 3
!od" es dva uation
1a mesure dans la uelle les obstacles * la validit interne posent un probl&me est largement fonction de celle dans la uelle l.valuateur russit * apparier le groupe exprimental et le groupe tmoin# S.il russit * dfinir et * apparier convenablement les principales variables * tudier5 il peut rduire normment les obstacles * la validit interne# Malheureusement5 il est souvent impossible d.apparier toutes ces variables/l*# Pour choisir le mod&le appropri5 l.valuateur devrait examiner les mod&les uasi exprimentaux envisageables5 dterminer les principaux obstacles * la validit de chacun et choisir celui ui lui permet d.liminer ou de rduire le plus les principaux obstacles5 ou au moins de tenir compte de leur impact#
'otes #
53
!od" es dva uation
Chapitre 3
/)2
Mod%!es i$"!i+ites
1es mod&les implicites sont probablement ceux u.on utilise le plus souvent5 mais ce sont aussi les moins rigoureux# Souvent5 il est impossible d.en tirer des conclusions fiables# Par contre5 ils peuvent s.imposer dans les cas o[ l.on peut soutenir logi uement u.un rsultat est attribuable au programme# Au fond5 ce sont des mod&les dont les mesures sont prises apr&s le programme5 sans groupe tmoin# Schmati uement5 on peut les reprsenter comme suit : Exposition au programme Xroupe exprimental _ Mesure apr&s -%
!omme on peut le constater dans cet exemple5 l.envergure des effets du programme est inconnue 4puis u.il n.3 a aucune mesure prise avant75 et il est impossible d.arriver * des constatations manifestes au su8et de l.attribution 4-% pourrait >tre attribuable * une foule de facteurs7# Dans la pire des ventualits5 cela suppose u.on demande aux participants s.ils ont IaimJ le programme# 1es tmoignages positifs sont alors prsents comme preuves de son succ&s# !ampbell 4%+))75 entre autres5 dplore cette mthode d.valuation pourtant tr&s rpandue# Dien ue sa popularit soit en partie attribuable * une mauvaise conception de l.valuation5 il arrive parfois ue ce mod&le soit le seul utilisable5 lors u2il n.existe pas de mesures antrieures au programme5 ni de groupe tmoin# En pareil cas5 il vaudrait mieux tirer le meilleur parti de la situation en convertissant le mod&le implicite en un mod&le implicite uasi exprimental5 au uel cas il 3 a trois possibilits : ] ] ] mod&le avec groupe tmoin thori ue5 mod&le avec mesures antrieures au programme rtrospectives5 mod&le d.estimation directe de la diffrence#
Lous allons maintenant dcrire ces trois mod&les#
"od1le dont les mesures sont prises apr1s le programme seulement avec groupe tmoin thorique
!e mod&le5 pour le uel on postule l. uivalence d.un groupe tmoin thori ue5 ressemble * un mod&le uasi exprimental dont les mesures sont prises apr&s le programme seulement avec groupe tmoin non uivalent# ;l se prsente de la fa<on suivante :
54
Chapitre 3
!od" es dva uation
Exposition au programme Xroupe exprimental Xroupe tmoin thori ue _
Mesure apr&s -% -"b
1a diffrence5 c.est ue la mesure A"b est postule plut?t u.observe# 1.valuateur pourrait thori uement postuler ue le rsultat serait infrieur * un certain niveau si le programme n.avait pas exist# Par exemple5 dans le cas d.un programme con<u pour sensibiliser la population aux effets nocifs de la cafine5 on pourrait supposer ue les connaissances de la !anadienne ou du !anadien mo3en 4-"b7 seraient ngligeables en l.absence d.un programme d.information nationale# Prenons un autre exemple : la dtermination de l.avantage conomi ue d.un programme ou d.un pro8et de l.Btat# En l.absence d.un programme5 on postule souvent ue l.investissement uivalent laiss * l.initiative du secteur priv aurait un taux de rendement social mo3en de %- p# %--5 soit le -"b dans ce cas5 ce ui signifie u.on comparerait alors le taux de rendement du pro8et d.investissement gouvernemental 4-%7 * la norme de %- p# %-- du secteur priv 4-"b7#
"od1le dont les mesures sont prises apr1s le programme seulement avec mesures antrieures rtrospectives
Dans ce cas5 on obtient bel et bien des mesures avant le programme5 uoi u.aprs l.exposition5 de sorte ue le mod&le ressemble * un mod&le uasi exprimental dont les mesures sont prises avant et apr&s le programme : Mesure avant 4rtrospective7 Xroupe exprimental -% Exposition au programme _ Mesure apr&s -"
Par exemple5 supposons ue les deux uestions suivantes soient poses * des tudiants a3ant suivi un cours de fran<ais : %# "# Sur une chelle de % * ,5 valueO votre connaissance du fran<ais avant le cours# Sur une chelle de % * ,5 valueO votre connaissance du fran<ais apr&s le cours#
An demanderait donc aux tudiants d.valuer leurs connaissances du fran<ais avant et apr&s le cours5 une fois celui/ci termin# 1a diffrence entre les deux valuations pourrait servir * dterminer l.efficacit du programme#
55
!od" es dva uation
Chapitre 3
"od1le dont les mesures sont prises apr1s le programme seulement avec estimation de la di..rence
!e mod&le implicite est le moins efficace de tous# An peut le reprsenter de la fa<on suivante : Exposition au programme Xroupe exprimental _ Mesure apr&s - ` 4-" ] -%7
Dans ce cas/ci5 le rpondant estime directement l.effet incrmentiel du programme# An pourrait5 par exemple5 demander * des reprsentants d.entreprises combien d.emplois ont t crs gr:ce * une subvention5 ou encore inviter des tudiants ui ont suivi un cours de fran<ais * donner une estimation de la nature et de l.tendue des connaissances u.ils ont ac uises gr:ce au cours# 1a diffrence entre ce mod&le et celui ui fait appel * des mesures antrieures rtrospectives5 c.est ue les rpondants eux/m>mes doivent rpondre directement * la uestion sur l.effet du programme#
1es mod&les implicites sont souples5 pol3valents et faciles * appli uer# Puis u.ils sont peu exigeants5 les mod&les implicites sont tou8ours ralisables# En effet5 on peut tou8ours demander aux participants * un programme5 aux gestionnaires ou * des spcialistes leur opinion sur ses rsultats# Toutefois5 cette facilit d.application m>me peut constituer un inconvnient en ce sens u.on ris ue d.>tre tent d.opter pour des mod&les implicites IfacilesJ5 alors u.on aurait pu avoir recours * un mod&le implicite plus rigoureux5 voire * un mod&le uasi exprimental5 avec un peu plus de travail et d.ingniosit# 1es mod&les implicites peuvent servir * tudier virtuellement n.importe uelle uestion et peuvent >tre utiliss comme instruments d.exploration# An peut poser n.importe uelle uestion sur le programme aux participants ou aux gestionnaires# Malgr leurs lacunes videntes en ce ui concerne l.examen ob8ectif des rsultats du programme et leur attribution5 les mod&les implicites peuvent enti&rement permettre de trouver la rponse * des uestions sur l.excution d.un programme# Dans le cas d.un programme de services5 par exemple5 ils permettent * l.valuateur d.tudier les uestions relatives au degr de satisfaction de la client&le# En outre5 avec une en u>te ultrieure au programme5 ils peuvent cerner un certain nombre de rsultats susceptibles d.>tre tudis gr:ce * d.autres stratgies d.valuation# 1es mod&les implicites produisent peu de preuves ob8ectives des rsultats dcoulant d.un programme#
56
Chapitre 3
!od" es dva uation
;l est possible de tirer des conclusions sur les rsultats d.un programme * l.aide d.un mod&le implicite seulement si l.on pose des h3poth&ses ma8eures sur ce ui se serait produit en l.absence du programme# 1es obstacles * la validit interne sont donc aussi nombreux u.importants 4au titre des !v!nements historiques5 de la maturation et de l.attrition5 par exemple75 et il faut les liminer un * un# 1ors ue l.attribution 4ou le changement incrmentiel7 est une uestion d.valuation importante5 il est prfrable de ne pas s.en tenir exclusivement * des mod&les implicites5 mais de les utiliser plut?t avec des lments probants#
57
!od" es dva uation
Chapitre 3
/)4
Uti!isation des $od%!es de +ausa!it "our ! .a!uation
= la section "#" du prsent chapitre5 nous avons insist sur la nature conceptuelle du mod&le d.valuation idal ou classi ue# Dans ce mod&le5 la cause possible du rsultat d.un programme est isole gr:ce * l.utilisation de deux groupes en tout point identi ues5 exception faite de leur exposition au programme# = partir d2un mod&le idal5 nous avons dcrit d.autres mod&les pouvant servir * attribuer des rsultats * un programme5 en prcisant les divers degrs ui permettront * l2valuateur de procder par infrence et d2tablir les obstacles * la validit interne correspondant * chacun d.entre eux# Ar5 il existe une autre fa<on d.envisager les uestions d.infrence causale5 en utilisant un modle de causalit!5 ce ui consiste * dcrire l.influence marginale sur une variable d!pendante d.une srie de variables ind!pendantes choisies# Alors ue le mod&le uasi exprimental est ax sur des comparaisons entre les bnficiaires du programme et les membres d.un ou plusieurs groupes tmoins5 le mod&le de causalit se concentre sur les variables * inclure5 tant endog&nes 4intrins& ues au programme7 u.exog&nes 4extrieures au programme75 et sur les rapports de causalit postuls# Dans le mod&le uasi exprimental5 le programme est l.lment le plus important9 dans le mod&le de causalit5 il ne constitue u.une variable ind!pendante parmi d.autres5 toutes censes influer sur la variable d!pendanteA Si nous revenons * notre exemple de l.valuation d.un programme d.aide * un secteur d.activit industrielle dans le uel on compare les ventes * l.exportation ralises par les entreprises ui bnficient du programme * celles d.autres entreprises5 un mod&le de causalit tiendrait compte de variables telles ue le secteur d.activit dans le uel les entreprises 6uvrent5 leur taille et le fait u.elles ont bnfici ou non du programme# = partir de l*5 l.valuateur ferait une anal3se de rgression pour dterminer l.influence marginale de chacune de ces variables sur les ventes * l.exportation des entreprises intresses# De m>me5 l.valuation d.un programme de subventions * des organismes culturels dans diverses collectivits pourrait comparer a7 les changements de l.assistance aux activits culturelles dans les collectivits ui bnficient d.une importante subvention par t>te et b7 les changements de l.assistance dans les collectivits ui ont re<u une subvention moins importante# An pourrait gnrer un mod&le de causalit des rpercussions sur les niveaux d.assistance actuels du profil socio/conomi ue et de l.infrastructure culturelle de la collectivit5 ainsi ue de ses tendances histori ues * l.assistance * des activits culturelles# 1es donnes ainsi obtenues pourraient remplacer * l2approche comparative ue nous avons traite ou s23 a8outer# Dans la prati ue5 la plupart des valuateurs prf&rent utiliser les deux mthodes * la fois pour dterminer les rsultats d.un programme# ;ls peuvent se servir d.un mod&le uasi exprimental pour crer et manipuler des groupes tmoins et5 * partir de l*5 pour faire des infrences causales sur les rsultats du programme5 et peuvent aussi faire appel * un mod&le de causalit pour obtenir une estimation de l.effet marginal des variables ui influent sur le succ&s du programme# 1es recherches de DicQman 4%+()7
58
Chapitre 3
!od" es dva uation
et Trochim 4%+(07 ont produit des indications utiles sur la meilleure fa<on d.utiliser des mod&les de causalit pour faire des valuations# !es mod&les sont particuli&rement utiles dans les cas o[ une exprience empiri ue suffisante a confirm avant l.valuation l.existence de rapports entre les variables tudies# En l.absence de mod&le a priori5 l.valuateur aurait intr>t * utiliser la techni ue de l.appariement 4constitution de blocs75 comme nous l.avons vu aux sections '#"#" et '#'#"5 afin de recueillir des donnes pour les variables 8uges importantes# En outre5 il pourrait faire des anal3ses statisti ues pour tenir compte des biais attribuables * la slection ou aux vnements histori ues5 afin d.accroNtre la validit de ces conclusions sur les effets du programme# 1es valuateurs ui utilisent des mod&les de causalit ont intr>t * consulter le chapitre ) de l.ouvrage de !ooQ et !ampbell 4%+)+7 intitul 4uasi= experimentation5 ui contient une anal3se des cueils * viter lors u.on tente de faire des infrences causales fondes sur une Iobservation passiveJ 4lors u.il n.3 a pas formation de propos dlibr d.un groupe tmoin7# Deux des cueils les plus courants mentionns dans cet ouvrage sont l.attention insuffisante accorde aux obstacles * la validit et l.utilisation de mod&les structurels acceptables pour faire des prvisions5 mais non des infrences causales#
R.rences # "od1les de causalit

DicQman5 1#5 d#5 0sing Program 'heor. in Program Evaluation5 Uol# '' de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# DlalocQ5 R#M#5 Tr#5 d#5 *ausal Models in the Social Sciences5 !hicago : Aldine5 %+)%# DlalocQ5 R#M#5 Tr#5 Measurement in the Social Sciences: 'heories and Strategies5 !hicago : Aldine5 %+)$# !hen5 R#T# et P#R# Eossi5 IEvaluating Sith Sense: The Theor3/Driven ApproachJ5 Evaluation RevieC5 Uol# )5 %+('5 p# "(' * '-"# !ooQ5 T#D# et D#T# !ampbell5 4uasi= experimentation5 !hicago : Eand/McLall35 %+)+5 chapitres $ et )# !ordra35 D#S#5 IHuasi/experimental Anal3sis : A Mixture of Methods and TudgementJ5 in V#M#K# Trochim5 dA5 Advances in 4uasi= experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(05 p# + * ")# Duncan5 D#D#5 -ntroduction to Structural Equation Models5 LeS \orQ : Academic Press5 %+),# Xoldberger5 A#S# et D#D# Duncan5 Structural Equation Models in the Social Sciences5 LeS \orQ : Seminar Press5 %+)'#
59
!od" es dva uation
Chapitre 3
Reise5 D#E#5 *ausal Anal.sis5 LeS \orQ : Vile35 %+),# MarQ5 M#M#5 IUalidit3 T3pologies and the 1ogic and Practice of Huasi/experimentationJ5 in V#M#K# Trochim5 d#5 Advances in 4uasi= experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(05 p# $) * 00# EindsQopf5 D#5 ILeS Developments in Selection Modeling for Huasi/experimentationJ5 in V#M#K# Trochim5 d#5 Advances in 4uasi= experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(05 p# )+ * (+# Simon5 R#5 I!ausationJ5 in D#1# Sill5 d#5 -nternational Enc.clopedia of the Social Sciences5 Uol# "5 LeS \orQ : Macmillan5 %+0(5 p# ',- * ',,# StolOenberg5 T#E#M# et K#!# 1and5 I!ausal Modeling and Surve3 EesearchJ5 in Eossi5 P#R#5 et alA5 d#5 T;TEE MALHMALT5 Arlando : Academic Press5 %+('5 p# 0%' * 0),# Trochim5 V#M#K#5 d#5 Advances in 4uasi= experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0#
60
Chapitre 3
!od" es dva uation
/)5
R su$
1e choix du mod&le d.valuation optimal est une t:che difficile5 et c.est aussi l.aspect le plus important de la slection d.une stratgie d.valuation5 puis ue l.exactitude de l.information et des donnes P donc des preuves P produites dans ce contexte est largement fonction de la rigueur du mod&le utilis# !.est pour cette raison ue l.valuateur devrait s.efforcer d.opter pour le mod&le le plus rigoureux possible compte tenu du temps et des ressources dont il dispose5 ainsi ue des autres facteurs d.ordre prati ue# 1e mod&le choisi devrait >tre le plus pr&s possible du mod&le idal 4mod&le exprimental7# 1a rigueur du mod&le d2valuation et la crdibilit des rsultats faiblissent * mesure ue l.valuateur descend la barre en passant d.un mod&le exprimental * un mod&le uasi exprimental5 puis * un mod&le implicite# Huel ue soit le mod&le choisi5 il serait souhaitable d2inclure des lments du mod&le de causalit5 pour renforcer la crdibilit des constatations# ;l arrive souvent ue le seul mod&le utilisable soit relativement peu rigoureux# Dans ce cas5 l.valuateur devrait cerner explicitement les principaux obstacles * la crdibilit des conclusions u.il tire5 afin de nuancer ses constatations en cons uence# ;l devrait aussi rechercher d.autres mod&les d.valuation en vue de les utiliser pour ta3er ses conclusions et pour attnuer les obstacles * la validit de sa dmarche5 voire pour ces deux raisons * la fois# Dref5 l.valuateur devrait prciser explicitement le genre de mod&le d.valuation au uel il a recours pour cha ue stratgie d.valuation# Parfois5 on fait une valuation sans bien comprendre le mod&le utilis5 ce ui sape la crdibilit de l.information et des donnes obtenues5 puis u.on ne saisit pas bien le fondement de la IpreuveJ# En prcisant explicitement le mod&le5 l.valuateur peut anal3ser ouvertement les principaux obstacles et trouver les arguments logi ues ou d.autres lments d.information susceptibles de les liminer5 de les attnuer ou d.en tenir compte de fa<on * renforcer la crdibilit globale de son valuation# Pour cha ue mod&le de recherche utilis5 l.valuateur devrait dresser la liste des principaux obstacles plausibles * la validit5 en anal3sant les implications de chacun# 1es auteurs ne s.entendent pas sur les obstacles * la validit ue tel ou tel mod&le permet gnralement d.liminer# !ronbach 4%+("75 par exemple5 conteste un grand nombre d.affirmations sur les obstacles * la validit dcrits dans l.ouvrage plus classi ue de !ooQ et !ampbell 4%+)+7# !e dsaccord est toutefois moins fr uent * l.gard d.valuations donnes et de leurs mod&les# En effet5 dans cha ue cas5 il est habituellement vident s.il existe ou non d.autres explications plausibles d.un changement observ#
61
!thodes de co ecte des donnes
Chapitre 4
'(a"itre 2 MTHODES DE 'OLLE'TE DES DONNES

2)& Introdu+tion
Sans donnes pertinentes5 il est impossible d.tablir des rapports entre un programme et ses rsultats# En outre5 les mthodes de collecte doivent >tre choisies en fonction de la nature des donnes ncessaires et des sources accessibles# 1a nature des donnes dpendra elle/m>me de la mthode d.valuation adopte5 des indicateurs utiliss pour obtenir les rsultats des programmes et du t3pe d.anal3se * faire# ;l existe plusieurs fa<ons de classer des donnes# Par exemple5 on fait souvent une distinction entre les donnes quantitatives et les donnes qualitatives# 1es donnes quantitatives sont des observations numri ues5 alors ue les donnes qualitatives sont des observations correspondant * des catgories 4p# ex#5 pour la couleur5 rouge ou bleu5 ou pour le sexe des participants5 homme ou femme7# An fait aussi une distinction entre les donnes subjectives et les donnes objectivesA 1es donnes sub-ectives sont indissociables des sentiments5 des attitudes et des perceptions personnelles5 tandis ue les donnes ob-ectives sont fondes sur des faits observables ui P en thorie du moins P ne font pas appel au 8ugement personnel# !ela dit5 les donnes sub8ectives et ob8ectives peuvent toutes >tre mesures d.une fa<on uantitative ou ualitative# ;l est possible aussi de faire une autre distinction5 entre les donnes longitudinales et les donnes transversalesA 1es donnes longitudinales sont recueillies sur une certaine priode5 tandis ue les donnes transversales le sont simultanment aupr&s de diffrentes entits5 telles ue des provinces ou des coles# Enfin5 les donnes peuvent >tre classes en fonction de leur source : les donnes primaires sont recueillies par l.valuateur * la source m>me9 les donnes secondaires5 elles5 sont recueillies et consignes par une autre personne ou une autre organisation5 parfois * des fins diffrentes de celles de l.valuation# Dans ce chapitre5 nous avons examin six mthodes de collecte des donnes utilises pour l.valuation d.un programme : le d!pouillement de la documentation sp!cialis!e5 l.!tude de dossiers5 les observations directes ?sur le terrainH5 les enquItes5 la consultation de sp!cialistes et les !tudes de cas# 1es deux premi&res mthodes servent * recueillir des donnes secondaires5 alors ue les uatre derni&res sont emplo3es pour runir des donnes primaires# Huoi u.il en soit5 chacune des six peut >tre utilise pour recueillir des donnes uantitatives et ualitatives# En outre5 chacune
62
Chapitre 4
pourrait >tre utilise avec chacun des mod&les exposs au chapitre prcdent# !ependant5 certaines mthodes de collecte de donnes se pr>tent mieux * des mod&les donns# ;l convient de souligner ue5 m>me si les mthodes de collecte de donnes examines dans ce chapitre sont surtout considres comme des lments d.une stratgie de recherche5 la collecte de donnes elle/m>me est aussi extr>mement utile pour d.autres aspects d.une valuation# D.ailleurs5 plusieurs techni ues de collecte sont d.excellents instruments pour alimenter la rflexion initiale sur les stratgies d.valuation elles/m>mes et pour faciliter d.autres aspects exploratoires des tudes d.valuation# Mne en u>te pourrait5 par exemple5 aider * cerner les uestions connexes * l2valuation# Mne tude des dossiers peut aider * prciser les sources de donnes disponibles ou celles les plus facilement accessibles#
R.rences # "thodes de collecte des donnes

!ooQ5 T#D# et !#S# Eeichardt5 4ualitative and 4uantitative Methods in Evaluation Research5 Thousand AaQs : Sage Publications5 %+)+# Delbec 5 A#1#5 et alA5 $roup 'echniques for Program Planning: A $uide to 2ominal $roup and %elphi Processes5 XlenvieS : Scott5 Coresman5 %+),# Dexter5 1#A#5 Elite and Speciali,ed -ntervieCing5 Evanston 4;llinois7 : LorthSestern Mniversit3 Press5 %+)-# Xauthier5 D#5 d#5 Recherche sociale : de la probl!matique 1 la collecte des donn!es5 Montral : 1es Presses de l.Mniversit du Hubec5 %+($# Kidder5 1#R# et M# Cine5 IHualitative and Huantitative Methods: Vhen Stories !onvergeJ5 in Multiple Methods in Program Evaluation5 Uol# ', de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# 1evine5 M#5 I;nvestigative Eeporting as a Eesearch Method: An Anal3sis of Dernstein and VoodSard.s All 'he President#s MenJ5 American Ps.chologist5 Uol# ',5 %+(-5 p# 0"0 * 0'(# Miles5 M#D# et A#M# Ruberman5 4ualitative %ata Anal.sis: A Sourceboo& and 2eC Methods5 Thousand AaQs : Sage Publications5 %+($# Patton5 M#H#5 4ualitative Evaluation Methods5 Thousand AaQs : Sage Publications5 %+(-# Martin5 Michael A# et U#S# Mullis5 d#5 4ualit. Assurance in %ata *ollection5 !hestnut Rill : !enter for the Stud3 of Testing5 Evaluation5 and Educational Polic35 Doston !ollege5 %++0# Stouthamer/1oeber5 Magda et DoQ van Kammen5 Velmoet5 %ata *ollection and Management: A Practical $uide5 Thousand AaQs : Sage Publications5 %++,#
63
Chapitre 4
Vebb5 E#T#5 et alA5 2onreactive Measures in the Social Sciences 4"e dition75 Doston : Roughton Mifflin5 %+(%# Veisberg5 Rerbert C#5 KrosmicQ5 Ton A# et Druce D# DoSen5 d#5 An -ntroduction to Surve. Research Polling and %ata Anal.sis5 Thousand AaQs : Sage Publications5 %++0#
'otes #
64
Chapitre 4
2)-
D "oui!!e$ent de !a do+u$entation s" +ia!is e
1.valuateur dpouille la documentation pour prendre connaissance des travaux effectus dans le domaine * l.tude et donc pour profiter des expriences5 des constatations et des erreurs de prdcesseurs a3ant fait des recherches analogues ou connexes aux siennes# !.est un exercice ui peut lui fournir des indications d.une valeur inestimable sur le secteur de programme vis5 et c.est pour uoi il doit tou8ours se faire d&s le dbut de l.tude d.valuation# 1e dpouillement porte sur deux t3pes d.ouvrages et de documents5 d.abord les documents officiels5 les rapports de recherche gnraux5 les articles publis et les livres portant sur le secteur du programme5 ui permettent * l.valuateur de se familiariser avec les thories et les concepts relatifs au programme et de s.informer des gnralisations susceptibles de s.appli uer aux uestions ui l.intressent# ;l peut aussi 3 trouver d.autres points d.valuation et des mthodes aux uelles il n.avait pas pens5 ce ui peut l.aider * raliser une valuation plus efficace# Par exemple5 des recherches antrieures sur les programmes d.aide * un secteur d.activit industrielle donn peuvent laisser entendre ue l.efficacit des interventions varie normment selon la taille des entreprises5 ce ui signifie ue toute mthode d.chantillonnage utilise pour l.valuation doit assurer une reprsentation suffisante d.entreprises de toutes les tailles 4gr:ce * un chantillonnage alatoire par blocs7 afin ue les rsultats de l.valuation puissent >tre gnraliss# 1.valuateur passe ensuite en revue les tudes spciales 43 compris les valuations antrieures7 sur le secteur ui l.intresse# Dans ce contexte5 il peut aller 8us u.* compiler et rsumer les constatations de ces tudes et se servir de ces renseignements comme d.intrants pour diverses composantes de son valuation# Ainsi5 l.valuateur charg d.tudier un programme d.aide * un secteur d.activit industrielle donn pourrait trouver dans des rapports d.tudes antrieures des donnes sur l.emploi dans les rgions o[ l.importance de l.aide re<ue a vari normment# ;l peut alors avoir recours * un mod&le uasi exprimental pour intgrer ces renseignements * l.valuation5 les rgions a3ant re<u beaucoup d.aide constituant un groupe et celles ui en ont re<u moins servant de groupe tmoin#
1e dpouillement de la documentation spcialise d&s le dbut de l.valuation peut permettre * l.valuateur de gagner du temps5 d.conomiser de l.argent et de mnager ses efforts# En effet5 un dpouillement minutieux a gnralement plusieurs avantages# 1es recherches antrieures peuvent laisser entrevoir des h3poth&ses * vrifier ou des uestions * examiner dans le cadre de l.tude#
65
Chapitre 4
Par exemple5 au chapitre '5 nous avons insist sur l.importance d.identifier le plus t?t possible les explications concurrentes d.un rsultat observ5 autres ue celles de l.intervention du programme# 1.anal3se des recherches antrieures peut rvler certaines possibilits d.explications concurrentes 4autrement dit des obstacles * la validit7# En pareil cas5 il faudrait opter pour une stratgie d.valuation permettant d.isoler l.effet du programme de ces autres explications# 1e dpouillement de la documentation peut mettre en lumi&re des difficults mthodologi ues particuli&res et indi uer * l.valuateur des techni ues et des mo3ens de les contourner# Dans certains cas5 les recherches antrieures fournissent directement des rponses aux uestions d.valuation5 ce ui permet d.viter un travail de collecte de donnes inutile# An peut aussi trouver des sources de donnes secondaires utilisables dans les tudes antrieures5 ce ui rduit le besoin de recueillir des donnes primaires# M>me lors ue les donnes secondaires ne rpondent pas directement aux uestions poses dans l.valuation5 elles pourraient >tre utilises de pair avec les donnes primaires5 comme intrants dans la stratgie d.valuation ou encore comme donnes de rfrence5 pour vrifier la validit# )e dpouillement de la documentation spcialise est un mo7en relativement conomique et e..icace de recueillir des donnes pertinentes/ et il est souvent rentable% &l doit tou-ours se .aire au cours de l!tude prparatoire 0 l!valuation% !.est aussi un exercice tr&s utile pour trouver de nouvelles h3poth&ses et cerner d.ventuelles difficults mthodologi ues5 ainsi ue pour tirer et ta3er des conclusions# 1es renseignements u.on 3 glane peuvent servir d.intrants pour d.autres techni ues de collecte des donnes# 1es inconvnients des donnes obtenues en dpouillant la documentation sont inhrents * la nature m>me de la plupart des donnes secondaires5 ui ont t produites pour une autre fin ue celle de l.valuation * raliser# ;l est possible ue les donnes et l.information recueillies gr:ce au dpouillement de la documentation ne soient pas suffisamment pertinentes ou compatibles avec l.ob8et de l.valuation pour pouvoir >tre utilises dans l.tude# 1es donnes secondaires sont dites pertinentes dans la mesure o[ elles correspondent * l.ob8et de l.valuation5 ce ui signifie u.elles doivent >tre compatibles avec ses exigences# Par exemple5 des donnes secondaires * l.chelle nationale ne seraient gu&re utiles pour une valuation fonde sur des donnes par province# En outre5 les chelles de mesure doivent >tre compatibles5 elles aussi# Huand l.valuateur a besoin de donnes sur les enfants de ( * %" ans5 des donnes secondaires sur les , * + ans ou les %- * %$ ans ne lui servent pas * grand/chose# Enfin5 comme le facteur
66
Chapitre 4
temps influe largement sur la pertinence des donnes5 les donnes secondaires sont bien souvent tout simplement trop vieilles pour >tre utilisables# 4L.oublions pas u.il s.coule ordinairement de un * trois ans entre la collecte des donnes et la publication#7 ;l est souvent difficile de dterminer l.exactitude des donnes secondaires# En fait5 c.est vraiment l.aspect nvralgi ue des donnes secondaires# 1.valuateur n.a bien sFr rien eu * dire sur la mthode utilise pour les recueillir5 mais il doit uand m>me en valuer la validit et la fiabilit# !.est pour cette raison u.il lui est fortement recommand de se fonder cha ue fois u.il le peut sur la source initiale des donnes secondaires5 c2est/*/dire le rapport initial5 tant donn ue ce document est gnralement plus complet u.un deuxi&me ou un troisi&me document faisant appel aux donnes en uestion et u.il contient souvent des avertissements5 des restrictions et des dtails d.ordre mthodologi ue ui ne sont pas signals dans les documents ui le citent# Dref5 le dpouillement exhaustif de la documentation spcialise est un mo3en rapide et relativement peu coFteux d.obtenir de l.information conceptuelle et empiri ue sur le contexte d.une valuation# ;l s.ensuit ue l.valuateur devrait s.3 astreindre d&s le dbut de son tude# Lanmoins5 il devrait valuer soigneusement la pertinence et l.exactitude des donnes ui s.3 trouvent5 dans toute la mesure du possible# Enfin5 il devrait se mfier5 en s.effor<ant de ne pas accorder trop d.importance * des donnes secondaires uand il a tr&s peu d.information sur les mthodes utilises pour les recueillir#
R.rences # Dpouillement de la documentation spcialise

Xoode5 V#T# et Paul K# Rutt5 Methods in Social Research5 LeS \orQ : McXraS/Rill5 %+,"5 chapitre +# KatO5 V#A#5 -ntroduction to Reference Gor&: Reference Services and Reference Processes5 /olume --5 LeS \orQ : McXraS/Rill5 %+("5 chapitre $#
'otes #
67
Chapitre 4
2)/
tude de dossiers
Tout comme le dpouillement de la documentation spcialise5 l.tude de dossiers est une mthode de collecte des donnes con<ue afin de faciliter l.obtention de donnes utilisables dans l.valuation# !.est toutefois une dmarche ui se pr>te mieux ue la premi&re * une familiarisation avec le programme faisant l.ob8et de l.valuation# 1es donnes d8* recueillies sur lui P et sur ses rsultats P peuvent rduire les besoins de collecte de nouvelles donnes5 sensiblement comme on l.a vu pour le dpouillement de la documentation# ;l existe habituellement deux t3pes de dossiers5 les dossiers gnraux portant sur un programme et les dossiers relatifs * des pro8ets5 des clients ou des participants donns# 1e t3pe de dossier ue les gestionnaires de programmes conservent dpend du programme lui/m>me# Par exemple5 dans le cas d.un programme d.aide financi&re * des pro8ets d.conomie d.nergie5 on pourrait avoir des dossiers sur cha ue pro8et5 cha ue client 4auteur du pro8et7 et cha ue participant 4collaborateur au pro8et7# Par contre5 dans un programme de formation destin * des spcialistes en soins de sant dans les collectivits du Lord5 on pourrait ne conserver des dossiers ue sur les spcialistes ui ont particip aux sances de formation# Dans la prati ue5 il 3 a un t3pe d.examen pour chacun de ces t3pes de dossiers : un examen gnral portant sur les dossiers d.un programme et un examen plus s3stmati ue des dossiers relatifs * cha ue pro8et5 cha ue client ou cha ue participant# 1es tudes de dossiers peuvent porter sur les t3pes suivants de documents relatifs aux programmes : @ documents du !abinet5 documents relatifs * la ngociation et * la mise en 6uvre d.un protocole d.entente avec le !onseil du Trsor5 prsentations au !onseil du Trsor5 plans d2activits ou rapports sur le rendement d.un minist&re5 rapports du vrificateur gnral et proc&s/verbaux des runions du comit excutif d.un minist&re9 dossiers administratifs5 portant notamment sur la taille du programme ou du pro8et5 sur le t3pe de participants et sur leur exprience5 sur l.exprience postrieure au pro8et5 sur les coFts du programme ou du pro8et et sur les mesures des caractristi ues des participants avant et apr&s la mise en 6uvre du programme9 dossiers sur les participants5 comprenant notamment des donnes socio/conomi ues 4:ge5 sexe5 rgion5 revenu5 profession5 etc#75 des dates criti ues 4admission au programme75 des donnes de suivi et la description des vnements importants 4changements d.emploi5 dmnagements5 etc#79
68
Chapitre 4
dossiers sur les pro8ets et les programmes5 portant notamment sur les vnements criti ues 4lancement des pro8ets et rencontres avec les cadres suprieurs5 par exemple75 le personnel des pro8ets 4roulement du personnel5 etc#7 et les vnements ainsi ue les modifications ui ont mar u la mise en 6uvre des pro8ets9 dossiers financiers#
1es donnes figurant dans les dossiers peuvent >tre conserves dans le s3st&me informatis de gestion de l.information du programme5 ou encore sur papier# Elles peuvent avoir t recueillies expressment pour fins d.valuation5 s.il 3 a eu une entente pralable au su8et d.un cadre d.valuation#
1es tudes de dossiers peuvent >tre utiles * trois titres au moins# %# 1.tude des dossiers gnraux du programme peut fournir des donnes contextuelles et des renseignements d.une valeur inestimable sur le programme et sur son milieu permettant de bien situer les rsultats du programme dans leur contexte# !e genre d.tude peut gnrer des renseignements contextuels fondamentaux sur le programme 4mandat5 histori ue5 politi ues5 st3le de gestion et contrainte5 par exemple7 gr:ce aux uels l.valuateur peut se familiariser avec lui# En outre5 elle peut produire des renseignements cls pour les spcialistes de l2extrieur dans le secteur d.un programme 4voir la section $#07 et gnrer des intrants pour une ventuelle anal3se ualitative 4voir la section ,#$7# "# 1.tude des dossiers de personnes ou de pro8ets peut fournir des indicateurs sur les rsultats du programme# Par exemple5 dans une tude portant sur un programme d.aide internationale5 un examen des dossiers de pro8ets pourrait fournir des mesures des rsultats telles ue le rapport produit/capita5 valeur a8oute/unit de capital5 productivit du capital emplo35 intensit de capital5 emploi/unit de capital5 valeur a8oute/unit d.intrant total et diverses autres fonctions de production# Si ces mesures ne permettent pas d.valuer directement l.efficacit du programme5 elles constituent nanmoins des indicateurs susceptibles de servir d.intrants pour l.valuation# Enfin5 les donnes ainsi obtenues peuvent se rvler suffisantes pour u.on puisse procder * une anal3se coFts/avantages ou coFt/efficacit 4voir la section ,#07# '# 1.tude de dossiers peut fournir un cadre et une base utiles pour la collecte d.autres donnes#
69
Chapitre 4
1.tude de dossiers peut notamment permettre de dterminer la population 4base d.chantillonnage7 de la uelle l.chantillon d.en u>te doit >tre tir# 1es renseignements contextuels tirs des dossiers peuvent servir * crer l.chantillon le plus puissant possible et * prparer l.en u>teur * raliser ses entrevues# An rebute tou8ours les gens en leur demandant des renseignements ui se trouvent d8* dans les dossiers5 et c.est pour uoi il faudrait recueillir toute l.information ui s.3 trouve avant de commencer l.en u>te# 1.tude de dossiers a des avantages certains du fait m>me u.elle est minemment faisable# 1.tude de dossiers peut >tre relativement peu coFteuse# En fait5 ce genre d.tude a fort peu de retombes g>nantes pour les personnes et les groupes ui ne sont pas viss par l.administration du programme# Tout comme le dpouillement de la documentation spcialise5 l.tude de dossiers est pour l.valuateur un mo3en aussi fondamental ue naturel de se familiariser avec le programme# En outre5 c.est une excellente fa<on de lui permettre d.viter une collecte coFteuse de nouvelles donnes lors u.il existe d8* des donnes pertinentes# Toutefois5 l.tude de dossiers prsente aussi certains inconvnients# 1es dossiers relatifs aux programmes sont souvent incomplets5 ou inutilisables pour d.autres raisons# Plus souvent u.autrement5 on n.accorde u.une importance secondaire au s3st&me de classement central5 ui ne renferme alors ue de courtes notes de service des comits5 des comptes rendus des dcisions finales5 ainsi de suite# En rtrospective5 ces dossiers ne brossent u.un tableau incomplet# Dans sa recherche des documents ui ont inspir une politi ue5 un programme ou un pro8et5 l.valuateur peut constater ue l.information figure dans des dossiers dtenus par diffrentes personnes plut?t ue dans un dp?t central des dossiers du programme# !ela peut causer plusieurs difficults# Par exemple5 l.exprience semble laisser entendre ue5 lors ue le pro8et progresse au/del* de l.excution du mandat du groupe de travail5 les participants ferment leurs dossiers plut?t ue de les tenir * 8our# De m>me5 lors ue uel u.un cesse de participer * un groupe de travail5 ses dossiers sont souvent perdus5 et5 comme le r?le des participants change rapidement dans les premi&res tapes d.un programme5 il devient tr&s difficile d.en trouver un ui soit exhaustif# 1.tude de dossiers fournit rarement des renseignements sur les groupes tmoins5 sauf dans des circonstances exceptionnelles5 par exemple lors u.il existe des dossiers sur les candidats au programme ui ont t refuss#
70
Chapitre 4
Pour valuer efficacement les rpercussions du programme5 l.valuateur doit avoir acc&s * un groupe tmoin uelcon ue# Dans le contexte de l.tude de dossiers5 cela suppose u.il doit obtenir des renseignements sur les participants avant u.ils ne bnficient du programme5 ou encore des renseignements sur les non/participants# Malheureusement5 ces renseignements existent rarement5 sauf si un cadre d.valuation a t approuv et mis en 6uvre au pralable# Caute de donnes de ce genre5 l.valuateur peut se voir contraint de recueillir de nouvelles donnes ui ris uent de ne pas >tre comparables avec celles des dossiers originaux# ;l reste toutefois ue l.tude de dossiers peut fournir des renseignements sur des groupes tmoins lors ue les niveaux du programme varient9 c.est utile lors u.on appli ue un mod&le dont les mesures sont prises apr&s le programme seulement avec traitement diffrent# 1.examen des dossiers peut aussi fournir * l.valuateur l.information de base dont il a besoin pour dfinir et choisir un groupe tmoin# En dpit des limites de cette mthode5 il .audrait .aire une tude de dossiers * l.tape de l.tude prparatoire * l.valuation afin de dterminer le t3pe de donnes disponibles et leur pertinence pour les uestions * valuer# !ette dmarche gn&re aussi les renseignements ncessaires * l.examen de uestions d.valuation particuli&res 4par exemple des renseignements contextuels et des indicateurs ventuels des rsultats du programme7#
R.rences # $nal7se des donnes secondaires

Doruch5 E#C#5 et alA5 Reanal.,ing Program Evaluations K Policies and Practices for Secondar. Anal.sis for Social and Education Programs5 San Crancisco : Tosse3/Dass5 %+(%# Veisler5 !arl E#5 M#S# Xeneral Accounting Affice5 RevieC 'opics in Evaluation: Ghat %o Fou Mean b. Secondar. Anal.sisG
'otes #
71
Chapitre 4
2)2
Obser.ations dire+tes
1e vieux proverbe IUoir5 c.est croireJ tient tou8ours5 et l.observation directe apporte gnralement des preuves plus convaincantes ue les sources secondaires# Aller sur le terrain obtenir des renseignements de premi&re main sur le su8et de l.valuation est un mo3en tr&s efficace de recueillir de l.information et des donnes# 1a consignation des rsultats de ces observations en photos ou sur vido peut aussi >tre tr&s utile5 et les documents ainsi obtenus peuvent avoir un impact considrable sur le lecteur des rapports d.valuation# 1.observation comporte la slection5 l.observation et la consignation des ob8ets5 des vnements ou des activits ui 8ouent un r?le important dans l.administration du programme * valuer# 1es conditions observes peuvent ensuite >tre compares * des crit&res prtablis5 et les diffrences par rapport * ces crit&res peuvent >tre anal3ses pour en dterminer l.importance# Dans certains cas5 l.observation directe est un instrument essentiel pour comprendre le fonctionnement d.un programme# Par exemple5 une uipe faisant l.valuation du ddouanement dans les aroports pourrait observer de longues files d.attente cha ue fois ue deux )$) atterriraient * la m>me heure# 1.achalandage ui en rsulterait rduirait * la fois l.efficacit de l.inspection et la ualit du service aux vo3ageurs# Prenons un autre exemple5 celui d.un cas o[ des produits chimi ues dangereux auraient t entreposs au mpris des r&gles de scurit : il en aurait rsult des conditions de travail dangereuses pour le personnel et une violation de la rglementation en mati&re de sant et de scurit au travail# Ar5 aucune de ces constatations n.aurait t remar ue par l.valuateur s.il s.tait content d.tudier des documents crits# 1es donnes obtenues gr:ce * l.observation directe servent * dcrire le contexte d.un programme5 les activits ui s.3 droulent5 les personnes ui 3 ont particip et la signification de ces activits pour elles# !.est une mthode ui a t largement utilise par les spcialistes du comportement comme les anthropologues et les ps3chosociologues# Elle permet * l.valuateur d.obtenir d.une fa<on holisti ue des donnes sur un programme et sur ses rpercussions# 1.observation directe ncessite des visites aux endroits o[ le programme est excut afin de voir ce ui se passe et de prendre des notes# 1es participants et le personnel peuvent savoir u.on les observe ou l.ignorer# 1es rapports d.observation devraient >tre rdigs immdiatement apr&s la visite sur place5 avec suffisamment de dtails descriptifs pour ue le lecteur puisse comprendre ce ui s.est produit5 et de uelle fa<on# 1es descriptions doivent >tre factuelles5 prcises et compl&tes5 mais sans dtails superflus# 1es donnes de ce genre sont utiles pour l.valuation5 parce ue l.valuateur et les utilisateurs peuvent comprendre les activits et les effets d.un programme gr:ce * une information descriptive dtaille sur ce ui s.est produit et sur la raction des personnes intresses#
72
Chapitre 4
1.observation ne fournit ue des renseignements anecdoti ues5 * moins d.>tre combine avec un programme planifi de collecte de donnes# En effet5 un vnement alatoire ne peut servir de base de gnralisation# !ertains lments d.observation directe peuvent >tre 8ustifis dans pres ue toutes les valuations5 mais la planification et la conduite des activits de collecte de donnes reprsentatives sur le terrain peut entraNner des coFts levs# 1.information permet * l.valuateur de mieux comprendre un programme5 particuli&rement si celui/ci met en 8eu une techni ue ou un processus complexe ou perfectionn# Xr:ce * l.observation personnelle directe5 l.valuateur est en mesure de se faire une ide compl&te du fonctionnement du programme# En outre5 c.est une approche ui lui permet d.aller au/del* des perceptions slectives d.autres personnes u.il obtient gr:ce * des entrevues5 par exemple# S.il est lui/m>me un observateur sur le terrain5 l.valuateur aura ses propres perceptions slectives5 mais pourra uand m>me prsenter une vue plus compl&te du programme en intgrant ses propres perceptions aux donnes dont il dispose# 1.observation directe permet * l.valuateur de saisir des dtails ui ris uent d.chapper aux membres du personnel ou de constater des lments u.ils hsitent * soulever au cours d.une entrevue# 1a plupart des organisations ont des activits rptitives ue les participants consid&rent comme tout * fait normales# Par cons uent5 des particularits importantes peuvent leur chapper totalement5 alors u.elles sont facilement per<ues par des non/participants# !.est pour cette raison u.un tranger P en l.occurrence l.valuateur P peut souvent avoir un point de vue InouveauJ5 et c.est pour uoi le contact direct avec la situation permet * l.valuateur d.obtenir une information u.il ne pourrait pas recueillir autrement# 1a fiabilit et la validit des observations sont fonction de la comptence de l.observateur et de sa sensibilisation * ses biais# 1.observation directe ne peut 8amais >tre rpte5 puis ue deux personnes ui observent les m>mes activits peuvent aboutir * des observations diffrentes# ;l s.ensuit ue la validit interne et la validit externe des donnes obtenues gr:ce aux observations directes sont limites# 1e personnel du programme peut avoir un comportement tr&s diffrent de la normale lors u.il sait u.un valuateur l.observe# 1.valuateur doit >tre conscient de ce phnom&ne5 en sachant ue la personne5 les participants ou les deux peuvent changer nettement de comportement lors u.ils se savent observs# ;l doit prendre les mesures ncessaires pour viter cet cueil5 ou du moins pour tenir compte de son influence#
73
Chapitre 4
R.rences # 9bservations directes

!anada5 Dureau du Urificateur gnral du !anada5 Dulletin LM= N Photographies et autres aides visuelles# 4!e bulletin porte sur l.utilisation ultime des photographies dans le Eapport annuel5 mais il contient aussi des explications des caractristi ues ui rendent une photographie efficace comme lment de preuve#7 Xuba5 E#X#5ILaturalistic EvaluationJ5 in !ordra35 D#S#5 et alA5 d#5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# Xuba5 E#X# et \#S# 1incoln5 Effective Evaluation: -mproving the 0sefulness of Evaluation Results through Responsive and 2aturalistic Approaches5 San Crancisco : Tosse3/Dass5 %+(%# Patton5 M#H#5 4ualitative Evaluation Methods5 Thousand AaQs : Sage Publications5 %+(-# Pearsol5 T#A#5 d#5 ITustif3ing !onclusions in Laturalistic EvaluationsJ5 Evaluation and Program Planning5 Uol# %-5 Lo $5 %+()5 p# '-) * ',(# U# Uan Maasen5 T#5 d#5 4ualitative Methodolog.5 Thousand AaQs : Sage Publications5 %+('# Vebb5 E#T#5 et alA5 2onreactive Measures in the Social Sciences 4"e dition75 Doston : Roughton Mifflin5 %+(%# Villiams5 D#D#5 d#5 2aturalistic Evaluation5 Uol# '- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0#
'otes #
74
Chapitre 4
2)4
En9u;tes
Dans le contexte d.une valuation5 les en u>tes sont des mo3ens s3stmati ues de collecte de donnes primaires P uantitatives5 ualitatives ou les deux P sur un programme et sur ses rsultats aupr&s de personnes ou d.autres sources 4comme des dossiers7 ui 3 sont associs# An entend par Ien u>teJ une dmarche structure con<ue pour obtenir les donnes ncessaires d.un chantillon de la population vise 4ou de toute cette population7# 1a population vise est compose des personnes dont il faut obtenir des donnes et de l.information# Dien excute5 l.en u>te est un mo3en prcis et efficace pour dterminer les caractristi ues 4ph3si ues et ps3chologi ues7 d.* peu pr&s n.importe uelle population tudie# An utilise souvent des en u>tes dans les valuations5 en raison de leur pol3valence# En fait5 on peut s.en servir pour recueillir des donnes sur virtuellement n.importe uoi# Lanmoins5 elles servent essentiellement * fournir des intrants pour une autre techni ue d.anal3se5 car elles ne sont pas des stratgies d.valuation comme telles5 mais simplement des mthodes de collecte de donnes# 1a conception d.une en u>te en vue d.une valuation exige de la minutie et de la comptence# ;l existe de nombreux guides sur la fa<on d.laborer une en u>te9 certains sont mentionns * la fin du prsent chapitre# 1.annexe ; est une description et une anal3se des lments de base des en u>tes# Dans les pages ui suivent5 nous dcrivons succinctement la fa<on de mener une en u>te dans le contexte d.une valuation# 1.valuateur devrait franchir les trois tapes suivantes avant de procder * une en u>te# ;l lui faut d2abord dterminer l.information ncessaire * l.valuation5 puis mettre au point l.instrument propre * recueillir cette information et enfin le mettre * l.essai# !es trois tapes s.appli uent * toutes les techni ues de collecte des donnes# Lous les expli uons ici dans le contexte des en u>tes5 parce u.elles sont tr&s courantes dans les valuations#
a2
Dterminer l!in.ormation ncessaire 0 l!valuation
1a premi&re tape P ui est aussi la plus fondamentale P consiste * dterminer aussi prcisment ue possible l.information ncessaire * l.examen d.une uestion d.valuation donne# Premi&rement5 l.valuateur doit bien comprendre la uestion * l.tude5 afin de dterminer uelle sorte de donnes ou d.information lui donnera des indications utiles# ;l doit aussi se demander uoi faire de l.information une fois u.il l.aura recueillie# Huels genres de tableaux produira/t/ilG Huelles sortes de conclusions souhaite/t/il tirerG Si le travail n.est pas fait avec soin * cette tape5 l.valuateur ris ue soit de recueillir trop d.information5 soit de finir par constater ue des lments cls lui font dfaut#
75
Chapitre 4
Deuxi&mement5 l.valuateur doit s.assurer ue les donnes dont il a besoin sont introuvables ailleurs ou ne peuvent pas >tre recueillies de fa<on plus efficiente et plus pertinente avec d.autres mthodes de collecte de donnes# Dans n.importe uel secteur de programme5 il se peut u.on ait d8* effectu des en u>tes ou u.il 3 ait des en u>tes en cours# 1.valuateur doit donc absolument dpouiller la documentation pour dterminer si les donnes dont il a besoin n.existent pas d8* ailleurs# Enfin5 l.valuateur doit tenir compte des impratifs d.conomie et d.efficience# En effet5 il est tou8ours tentant de recueillir des renseignements u.il serait bon d.avoir5 mais ui ne sont pas indispensables# 1.valuateur devrait savoir ue le coFt de l.en u>te est largement fonction de son envergure et de sa nature5 et ue la collecte de donnes IsupplmentairesJ fait invitablement augmenter les coFts#
b2
"ettre au point l!instrument de collecte de l!in.ormation
1.annexe %5 intitule IEn u>tesJ porte notamment sur la prparation de l.en u>te m>me# Dans ce contexte5 il s.agit de dterminer l.chantillon * utiliser5 de choisir la mthode d.en u>te la mieux approprie et de concevoir le uestionnaire# !es tapes5 plut?t itratives ue successives5 sont dtermines par les besoins d.information * mesure u.on les constate#
c2
"ettre l!instrument d!enqu te 0 l!essai
Au moment de leur utilisation sur le terrain5 on constate souvent de graves lacunes dans les instruments d.en u>te ui n.ont pas t mis * l.essai comme il se doit# ;l faut absolument faire un essai prliminaire aupr&s d.un chantillon reprsentatif de la population vise5 afin de valider aussi bien le uestionnaire ue les mthodes ue l.on souhaite utiliser pour mener l.en u>te# !et essai fournira des renseignements sur les lments suivants : O *lart! des questions 1e libell des uestions est/il asseO clairG 1es rpondants interpr&tent/ils tous les uestions de la m>me fa<onG 1.enchaNnement des uestions est/il logi ueG O 'aux de r!ponse 1es rpondants trouvent/ils certaines uestions drangeantesG 1a techni ue d.entrevue les agace/t/elleG Eefusent/ils de rpondre * certaines parties du uestionnaireG O 6ongueur et dur!e !ombien de temps faut/il pour rpondre au uestionnaireG
76
Chapitre 4
M!thode d#enquIte S.il s.agit d.une en u>te postale5 le taux de rponse est/il satisfaisantG Existe/t/il une autre mthode susceptible d.obtenir le taux de rponse recherchG
1es avantages et les inconvnients des mthodes d.en u>te sont tudis * la section A#, de l.annexe %5 mais voici d8* uel ues observations d.ordre gnral# Mne en u>te est un mo3en de recueillir des donnes aupr&s d.une population# Avec une en u>te5 il est possible d.obtenir des donnes attitudinales sur virtuellement n.importe uel aspect d.un programme et sur ses rsultats# 1a population vise peut >tre importante ou rduite5 et l.en u>te peut comprendre une srie temporelle de mesures ou des mesures prises aupr&s de populations varies# Mne en u>te bien mene produit des renseignements fiables et valides# ;l existe de nombreuses techni ues d.en u>te raffines# En outre5 on peut lire bien des livres5 suivre des cours5 consulter des spcialistes et des entreprises d.experts/conseils du secteur priv pour veiller * ce ue l.information recueillie soit pertinente5 opportune5 valide et fiable# Lanmoins5 considres comme instruments de collecte de donnes5 les en u>tes prsentent plusieurs inconvnients# 1a conception5 l.excution et l.interprtation des en u>tes exigent de la comptence# ;l est facile de les utiliser * mauvais escient5 ce ui produit des donnes et de l.information non valides# De nombreux facteurs peuvent fausser les mthodes d.en u>te et compromettre la fiabilit et la validit des donnes recueillies : un chantillonnage biais5 un biais de non/rponse5 la sensibilit des rpondants au uestionnaire5 un biais attribuable * l.en u>teur et des erreurs de codage# ;l faut tenir compte de chacun de ces cueils ventuels# Statisti ue !anada a prpar un rpertoire de mthodes d.valuation de la ualit des donnes recueillies dans les en u>tes 4%+("7# 1a ualit des en u>tes doit faire l.ob8et d.un contr?le rigoureux# Ar5 il arrive souvent ue l.valuateur confie l.tape de la collecte des donnes * des contractuels# Dans ces cas/l*5 il est sage ue la fiabilit du travail de l.entrepreneur soit vrifie5 notamment par des entrevues de contr?le aupr&s d.un petit chantillon de rpondants#
R.rences # (nqu tes

Dabbie5 E#E#5 Surve. Research Methods5 Delmont : VadsSorth5 %+)'#
77
Chapitre 4
Dradburn5 L#M# et S# Sudman5 -mproving -ntervieC Methods and 4uestionnaire %esign5 San Crancisco : Tosse3/Dass5 %+)+# Draverman5 MarQ T# et Tana Ka3 Slater5 Advances in Surve. Research5 Uol# )- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %++0# !anada5 Secrtariat du !onseil du Trsor5 Mesure de la satisfaction des clients : *oncevoir et adopter de saines pratiques de mesure et de suivi de la satisfaction des clients5 AttaSa5 octobre %++%# !anada5 Statisti ue !anada5 6ignes directrices concernant la qualit! 4"e dition75 AttaSa5 %+()# !anada5 Statisti ue !anada5 R!pertoire des m!thodes d#!valuation des erreurs dans les recensements et les enquItes5 AttaSa5 %+("5 !S!!D/C# Dexter5 1#A#5 Elite and Speciali,ed -ntervieCing5 Evanston 4;llinois7 : LorthSestern Mniversit3 Press5 %+)-# CoSler5 Uol# et T# Clo3d5 -mproving Surve. 4uestions: %esign and Evaluation5 Thousand AaQs : Sage Publications5 %++,# XliQsman5 1ouis5 et alA5 IEesponders vs# Lon/Eesponders to a Mail Surve3: Are The3 DifferentGJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo "5 octobre/novembre %++"5 p# %'% * %'(# Kish5 1#5 Surve. Sampling5 LeS \orQ : Vile35 %+0,# Eobinson5 T#P# et P#E# Shaver5 Measurement of Social Ps.chological Attitudes5 Ann Arbor: Surve3 Eesearch !enter5 Mniversit3 of Michigan5 %+)'# Eossi5 P#R#5 Vright5 T#D# et A#D# Anderson5 d#5 <andboo& of Surve. Research5 Arlando : Academic Press5 %+(,# VarSicQ5 D#P# et !#A# 1ininger5 'he Surve. Sample: 'heor. and Practice5 LeS \orQ : McXraS/Rill5 %+),#
78
Chapitre 4
2)5
'onsu!tation de s" +ia!istes
!ette mthode de collecte de donnes met * profit les perceptions et les connaissances des spcialistes de divers domaines fonctionnels5 en tant u.indicateurs d.valuation# Condamentalement5 elle consiste * obtenir l.opinion de ces spcialistes sur des uestions d.valuation donnes# 1.valuateur utilise ensuite ces renseignements pour dterminer les rsultats du programme# En fait5 la consultation de spcialistes est un t3pe d.en u>te particulier5 ce ui signifie ue tout ce ui a t dit dans la section sur les en u>tes s.appli ue galement ici# Toutefois5 en raison de sa fr uence5 la consultation de spcialistes doit faire l.ob8et d.une section distincte# ;l importe de prciser d.emble ue cette consultation est une mthode ui devrait en thorie servir * complter 4ou * remplacer5 en l.absence d.indicateurs plus ob8ectifs7 d.autres mesures des rsultats d.un programme# Eappelons/le5 c.est une mthode de collecte de donnes ui ne consiste pas * 8oindre des spcialistes * l. uipe d.valuation5 mais plut?t * se servir d.eux comme sources de donnes pour tudier les uestions * valuer# An peut recueillir des opinions de spcialistes et les rsumer de fa<on s3stmati ue5 bien ue les rsultats de cette dmarche restent tou8ours sub8ectifs# Supposons par exemple ue l.valuateur cherche * dterminer de uelle fa<on un programme d.aide donne a favoris l.avancement des connaissances scientifi ues# 1.une des fa<ons de mesurer ces deux variables difficiles * uantifier pourrait consister * interroger des spcialistes du domaine scientifi ue en uestion# 1.valuateur aurait recours * diverses mthodes P par exemple * une en u>te postale ou * des entrevues individuelles P pour obtenir des mesures uantitatives# Dans ce contexte5 il pourrait faire une en u>te ponctuelle ou utiliser une techni ue interactive comme la mthode Delphi 4voir 1instone et Turoff5 %++,7 ou encore la rtroaction ualitative contr?le 4voir Press5 %+)(7#
1a consultation de spcialistes peut servir * obtenir des mesures dans des domaines o[ l.on man ue de donnes sub8ectives# !.est une techni ue de collecte de donnes rapide et relativement peu coFteuse# Xr:ce * sa souplesse et * sa facilit d.utilisation5 la consultation de spcialistes se pr>te * l.valuation de pres ue n.importe uel rsultat5 voire de n.importe uel aspect d.un programme# Sa crdibilit est d.autant plus grande u.elle est excute aussi s3stmati uement ue possible# Lanmoins5 elle prsente plusieurs inconvnients importants# 1.valuateur peut avoir de la difficult * trouver suffisamment de spcialistes comptents pour assurer la fiabilit statisti ue des rsultats# ;l ris ue d.>tre difficile d.amener les parties intresses * s.entendre sur le choix des spcialistes#
79
Chapitre 4
!omme il est peu probable ue les spcialistes soient tous aussi verss dans un domaine donn5 il faudrait pondrer les rsultats# An peut bien sFr utiliser des mthodes statisti ues pour tenter de pondrer la comptence ingale des spcialistes5 mais ces mthodes man uent largement de prcision5 et c.est pour uoi l.valuateur ris ue de considrer toute rponse comme tant d.gale importance# 1a validit de la mesure peut >tre conteste5 comme dans toutes les valuations verbales# 1es spcialistes peuvent se fonder sur des crit&res diffrents ou attribuer une valeur diffrente aux chiffres sur les chelles de notation# Par exemple5 le spcialiste ui value * ' la contribution d.un pro8et * l.avancement des connaissances scientifi ues5 sur une chelle de % * ,5 peut lui accorder la m>me valeur u.un autre ui l.value * $5 la seule diffrence tant ue les deux accordent une valeur diffrente au degr de l.chelle# 1a crdibilit des spcialistes peut tou8ours >tre mise en doute5 comme dans toute valuation suggestive# 1es diffrences sur le choix et la valeur des spcialistes peuvent facilement faire perdre toute valeur m>me * un ensemble remar uable d.opinions# Par cons uent5 il faudrait viter de faire de la consultation de spcialistes la seule source de donnes d.une valuation#
R.rences # Consultation de spcialistes

Doberg5 Alice 1# et Sher3l A# Morris/Khoo5 IThe Delphi Method: A EevieS of Methodolog3 and an Application in the Evaluation of a Righer Education ProgramJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# ") * $-# Delbec 5 A#1#5 et alA5 $roup 'echniques in Program Planning: A $uide to the 2ominal $roup and %elphi Processes5 XlenvieS : Scott5 Coresman5 %+),# Shea5 Michael P# et Tohn R# 1eSQo5 IMse of a StaQeholder Advisor3 Xroup to Cacilitate the MtiliOation of Evaluation EesultsJ5 *anadian 9ournal of Program Evaluation5 Uol# %-5 Lo %5 avril/mai %++,5 p# %,+ * %0"# Mhl5 Lorman5 et !arol3n VentOel5 IEvaluating a Three/da3 Exercise to Abtain !onvergence of ApinionJ5 *anadian 9ournal of Program Evaluation5 Uol# %-5 Lo %5 avril/mai %++,5 p# %,% * %,(#
'otes #
80
Chapitre 4
2)7
tudes de +as
1ors u.un programme se compose d.une srie de pro8ets ou de cas5 l.valuateur peut avoir recours * une srie d.tudes de cas IparticuliersJ pour valuer et expli uer ses rsultats# !omme la consultation de spcialistes5 les tudes de cas sont une forme d.en u>te en soi dont l.importance 8ustifie ue nous 3 consacrions une section# 1es tudes de cas sont utilises pour valuer les rsultats d.un programme au mo3en d.un examen approfondi plut?t u.tendu de cas ou de pro8ets prcis# !ontrairement aux techni ues de collecte de donnes dcrites 8us u.ici5 elles font ordinairement appel * une combinaison de diverses mthodes9 on s.en sert gnralement lors u.il est impossible5 pour des raisons budgtaires ou prati ues5 de constituer un chantillon suffisamment gros5 ou lors u.il faut avoir des donnes tr&s dtailles# Lormalement5 les tudes de cas portent sur un certain nombre de cas ou de pro8ets prcis * partir des uels l.valuateur esp&re tirer des renseignements portant sur l2ensemble du programme# ;l est donc tr&s important de choisir 8udicieusement les cas5 afin ue les conclusions u.on en tire puissent s.appli uer * l.ensemble de la population cible# Malheureusement5 il est fr uent ue les cas soient choisis de fa<on peu scientifi ue 4ou u.on n.en choisisse pas asseO75 au point u.il est impossible d.en tirer des infrences statisti ues valides# ;l peut aussi arriver u.on choisisse un cas parce u.on le consid&re comme criti ue5 voire comme le plus reprsentatif# Pourtant5 s.il aboutit * de mauvais rsultats5 on ris ue de mettre srieusement en doute l.efficacit de l.ensemble du programme5 indpendamment des rsultats des autres cas tudis# Lous reviendrons plus loin sur ces deux situations5 * savoir les cas les plus reprsentatifs et les cas criti ues# Supposons u.on ne puisse dterminer les rsultats d.un programme de subventions * un secteur d.activit industrielle donn u.en se fondant sur un examen dtaill des tats financiers des entreprises et sur des entrevues exhaustives aupr&s des gestionnaires5 des comptables et des techniciens intresss# Avec de telles exigences5 il serait extr>mement coFteux d.utiliser un gros chantillon# Par cons uent5 l.valuateur pourrait opter pour un petit chantillon de cas u.il considrerait comme reprsentatifs de l.ensemble de la population# Pourtant5 il ne lui serait possible de gnraliser ses rsultats * toute la population en supposant des circonstances semblables dans des cas n2a3ant pas fait l2ob8et d2tude# ;l n.est donc pas tou8ours facile de poser une h3poth&se comme celle/l*5 car elle peut >tre conteste ou mise en doute5 ce ui ris ue de saper la crdibilit des conclusions# 1ors u.il s.agit de mesurer les rsultats d.un programme5 l.tude d.un cas criti ue peut >tre plus dfendable ue celle d.un chantillon reprsentatif# Prenons l.exemple d.une entreprise ui aurait re<u pres ue tous les fonds d.un programme con<u pour raliser un pro8et industriel# 1.valuation de l.incidence de la subvention sur le pro8et 4en a/t/elle provo u la mise en 6uvre5 et5 si oui5 uels en ont t les
81
Chapitre 4
avantages7 peut grandement contribuer * la mesure des rsultats de l.ensemble du programme# ;l s.ensuit ue l.tude d.un cas criti ue peut >tre un outil aussi valable u.important d.valuation d.un programme# Toutefois5 dans le contexte d.une valuation5 on se sert plus souvent des tudes de cas pour comprendre de uelle fa<on le programme a t mis en 6uvre et pour uoi certaines choses se sont produites ue pour prendre des mesures prcises# Plus souvent u.autrement5 les rsultats ne sont pas aussi vidents u.on l.aurait prvu# 1.valuateur peut prtendre u.ils sont attribuables * des Iinteractions complexesJ5 * des Ivariables accessoiresJ ou tout simplement * une Ivariance inexpli ueJ5 alors u.on a tout simplement nglig un facteur important * l.tape de l.tude prparatoire# !ela ris ue de se produire asseO souvent5 puis u.on connaNt rarement d.avance le processus ui lie les intrants aux extrants et aux rsultats# Lanmoins5 il est relativement important de le connaNtre5 et l.valuateur peut 3 arriver gr:ce * des mthodes de collecte de donnes susceptibles de donner une ide de l.imprvu5 dont assurment celle des tudes de cas# En ralit5 on peut avoir recours * des tudes de cas * bien des fins5 3 compris les suivantes : ] ] ] ] explorer les nombreuses cons uences d.un programme9 sensibiliser l.valuateur au contexte dans le uel le programme se droule9 faire ressortir les Ivariables accessoiresJ pertinentes9 valuer les cons uences * long terme du programme 4AlQin5 %+(-7#
1es tudes de cas permettent * l.valuateur de raliser une anal3se plus approfondie ue les mthodes plus gnrales# !.est probablement l.atout le plus important des tudes de cas5 tant donn ue5 dans la prati ue5 l.ampleur de l.anal3se ralisable avec des mthodes globales est souvent limite# 1a profondeur de l.anal3se ralisable gr:ce aux tudes de cas fait ue leurs rsultats sont souvent tr&s utiles# De plus5 ces tudes peuvent mener * des h3poth&ses explicatives ui favorisent une anal3se plus pousse# 1es tudes de cas sont gnralement coFteuses et longues * excuter5 et c.est pour uoi on ne peut normalement pas anal3ser un chantillon de cas statisti uement fiable# Par cons uent5 une srie d.tudes de cas n.a habituellement pas la base statisti ue ncessaire pour u.on puisse gnraliser les conclusions u.on en tire# 1.anal3se approfondie ue les tudes de cas favorisent ncessite gnralement d.importantes ressources et de longs dlais5 ce ui limite le nombre de celles u.on peut
82
Chapitre 4
raliser# An ne s.attend donc pas5 normalement5 * en tirer des rsultats susceptibles d.>tre gnraliss sur le plan statisti ue# 1eur principal r?le consiste * donner un aper<u gnral du droulement du programme et * favoriser sa comprhension# !.est pour cette raison u.on recommande habituellement u.elles soient faites avant 4ou en m>me temps7 les autres mthodes de collecte de donnes5 dont les conclusions sont plus gnralisables#
R.rences # +tudes de cas

!ampbell5 D#T#5 IDegrees of Creedom and the !ase Stud3J5 *omparative Political Studies5 Uol# (5 %+),5 p# %)( * %+'# !ampbell5 D#T# et T#!# Stanle35 Experimental and 4uasi= experimental %esigns for Research5 !hicago : Eand/McLall35 %+0'# !ooQ5 T#D# et !#S# Eeichardt5 4ualitative and 4uantitative Methods in Evaluation Research5 Thousand AaQs : Sage Publications5 %+)+5 chapitre '# Cavaro5 Paul et Marie Dillinger5 IA !omprehensive Evaluation Model for ArganiOational DevelopmentJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo "5 octobre/novembre %++'5 p# $, * 0-# MaxSell5 Toseph A#5 4ualitative Research %esign: An -nteractive Approach5 Thousand AaQs : Sage Publications5 %++0# Mc!lintocQ5 !#!#5 et alA5 IAppl3ing the 1ogic of Sample Surve3s to Hualitative !ase Studies: The !ase !luster MethodJ5 in Uan Maanen5 T#5 d#5 4ualitative Methodolog.5 Thousand AaQs : Sage Publications5 %+)+# \in5 E#5 'he *ase Stud. as a Rigorous Research Method5 Thousand AaQs : Sage Publications5 %+(0#
'otes #
83
Chapitre 4
2):
R su$
Lous avons anal3s dans le prsent chapitre six mthodes de collecte de donnes utilises pour l.valuation de programmes : le dpouillement de la documentation spcialise5 l.tude de dossiers5 les observations directes5 les en u>tes5 la consultation de spcialistes et les tudes de cas# 1es deux premi&res de ces mthodes consistent * recueillir des donnes secondaires5 et les uatre autres5 des donnes primaires# Pour faciliter l.anal3se et la comprhension5 nous les avons prsentes sparment# Toutefois5 dans le contexte de l.valuation de programmes5 il faudrait les utiliser ensemble pour appu3er les stratgies de recherche retenues# 1e dpouillement de la documentation et l.tude de dossiers sont indispensables * l.valuation# ;l faudrait 3 voir d&s l.tape de l.tude prparatoire5 ainsi ue dans les premi&res phases de l.valuation proprement dite# !e sont des dmarches ui servent * dfinir le contexte du programme * l.tude ainsi u.* proposer des fa<ons plausibles d.attribuer les rsultats observs * un programme donn# Elles peuvent aussi permettre * l.valuateur d.viter de recueillir des donnes superflues5 en lui indi uant ou en mettant en vidence des donnes pertinentes ou uivalentes ui existent d8* ailleurs# Mn grand nombre de mthodes tudies dans le prsent chapitre sont utilises pour recueillir des donnes sur les attitudes# 1.valuateur devrait uand m>me se rappeler ue les attitudes changent avec le temps sous l.influence de facteurs contextuels et u.elles sont sub8ectives# Par exemple5 une en u>te consistant * interroger des gens sur les rsultats d.un programme donne tout au plus * l.valuateur l.opinion gnrale de la population vise uant aux rsultats du programme# !ette opinion peut servir ou non * dterminer les rsultats rels# !ela dit5 la meilleure fa<on d.interprter les donnes sur les attitudes consiste * les situer dans leur propre contexte histori ue et socio/conomi ue5 et c.est pour uoi il faut obtenir ces renseignements/l* pour appu3er l.anal3se en bonne et due forme des donnes sur les attitudes# 1.valuateur devrait aussi >tre conscient de la sub8ectivit ventuelle des donnes obtenues gr:ce * certaines mthodes de collecte5 surtout l.observation directe5 la consultation de spcialistes5 voire parfois les tudes de cas# !e n.est pas ncessairement un inconvnient5 mais il est ncessaire de bien tablir la validit externe de toutes les conclusions# D.un autre c?t5 rien ne vaut ces mthodes de collecte pour obtenir des donnes holisti ues en profondeur sur l.effet d.un programme# !ombines avec des donnes uantitatives5 les donnes ualitatives sont un outil tr&s efficace lors u.on veut vrifier le rapport entre un programme et ses rsultats# Enfin5 comme il est rare u.une seule mthode de collecte de donnes soit enti&rement satisfaisante pour l.valuation d.un programme uelcon ue5 il est prfrable d.en combiner plusieurs et de puiser ses donnes * diffrentes sources5 tout en respectant les contraintes5 bien entendu#
84
Chapitre 5
!thodes ana #ti$ues
'(a"itre 4 MTHODES ANAL=TI0UES

4)& Introdu+tion
1es mthodes anal3ti ues utilises pour l.valuation devraient >tre clairement exposes * l.tape du choix du mod&le# ;l ne faudrait 8amais recueillir de donnes * moins ue l.valuateur sache exactement comment elles seront utilises dans l.anal3se# Mn bon mod&le d.valuation tiendra compte de trois lments : les uestions * l.tude5 les mthodes d.anal3se et les donnes susceptibles d.>tre recueillies# Toutes ces pi&ces doivent se combiner parfaitement avant ue l.valuation commence# Dans ce chapitre5 nous allons dcrire les mthodes anal3ti ues utilises dans l.administration fdrale pour dterminer les rsultats d.un programme# Lotre dmarche est axe sur l.utilisation de ces mthodes en tant u.lments d.une stratgie d.valuation donne# Bvidemment5 elles peuvent aussi >tre utiles pour d.autres parties de l.valuation# Par exemple5 l.tude prparatoire comporte habituellement une anal3se exploratoire ui contribue * cerner les uestions * l.tude et * dfinir les mthodes de recherche les plus utiles# En outre5 l.anal3se permet d.intgrer les constatations obtenues gr:ce aux diffrentes stratgies d.valuation# Dans les pages ui suivent5 nous allons dcrire * la fois l.anal3se de la mesure directe des rpercussions des programmes ainsi ue celle ui fait appel aux mesures de ces rpercussions directes pour produire une estimation de diverses retombes des programmes# An distingue deux t3pes de mthodes d.anal3se directe5 les mthodes statisti ues et les mthodes non statisti ues# Lous allons complter ces descriptions avec celle de diverses mthodes d.anal3se indirecte#
4)-
Ana!>se statisti9ue
1.anal3se statisti ue impli ue la manipulation de donnes 4catgori ues7 uantitatives ou ualitatives en vue de dcrire des phnom&nes et de procder * des infrences uant aux relations entre variables# 1es donnes en uestion peuvent >tre soit ob8ectives et Iconcr&tesJ5 soit sub8ectives et IabstraitesJ5 mais les unes et les autres doivent >tre dcrites ou organises de fa<on s3stmati ue# Pres ue toutes les tudes anal3ti ues font appel * l.anal3se statisti ue5 mais son emploi exige de la comptence et une comprhension des h3poth&ses sous/8acentes# 1.anal3se statisti ue a deux raisons d.>tre5 la premi&re consistant * faire une description5 ce pour uoi on utilise des tableaux statisti ues afin de prsenter des
85
!thodes ana #ti$ues
Chapitre 5
donnes uantitatives et ualitatives de fa<on aussi succincte ue rvlatrice# 1a seconde raison d.>tre des mod&les statisti ues consiste * faire des in.rences pour vrifier les rapports entre les variables tudies ou pour gnraliser des constatations en les appli uant * une population plus tendue 4d2apr&s l2chantillon7# Pour faire rapport des constatations d.une tude d.valuation5 il faut souvent prsenter succinctement une grande uantit de donnes# 1es statisti ues5 prsentes sous forme de tableau ou de graphi ue et de Istatisti uesJ 4comme la mo3enne ou la variance7 peuvent faire ressortir les principales caractristi ues des donnes# Pour illustrer l.utilisation de l.anal3se statisti ue descriptive5 prenons l.exemple d.un programme d.enseignement de la langue seconde pour le uel on a valu les connaissances des immigrants avant et apr&s leur participation# 1e tableau ' contient deux exemples 4A et D7 de prsentation sommaire des rsultats aux examens des participants# 1es deux sont des rsums descriptifs des donnes# 1e second exemple 4D7 est plus ventil 4moins succinct7 ue le premier 4A75 dans le uel on prsente la note mo3enne 4c#/*/d# la mo3enne arithmti ue des rsultats7# !ette statisti ue peut correspondre * un rsultat mo3en sans contenir de prcisions sur l2tendue ou la distribution des rsultats# !omme on peut le constater5 la note mo3enne des $' personnes ui ont suivi tout le programme a t de 0$5) p# %--5 comparativement * une note mo3enne avant le programme de 0%5" p# %--#
86
Chapitre 5
!thodes ana #ti$ues
Tab!eau / E8e$"!e de statisti9ues des+ri"ti.es $2 Prsentation des rsultats mo7ens Rsultat mo7en (xamen antrieur au programme (xamen postrieur au programme *2 :;/< :=/? 'ombre de personnes a7ant pass l!examen => =@
Prsentation de la distribution des rsultats -/""%/$, 4%-5$ c7 $%/0( 4%05) c7 0%/("$ 4,- c7 (%/%-, 4%-5$ c7 L $( 4%-- c7
Examen antrieur au programme
0 4%"5, c7
Bcart t3pe ` ""50 Examen postrieur au programme , 4%%50 c7 , 4%%50 c7 0 4%$5- c7 "4$05, c7 ) 4%05' c7 $' 4%-- c7
Bcart t3pe ` "'5) Par contre5 dans le second exemple 4D75 la distribution gnrale des notes est prsente * partir des m>mes donnes brutes ue celles utilises pour le premier exemple 4A7# Ainsi5 * l.valuation antrieure au programme5 six des participants avaient obtenu une note de - * "- c et "- autres une note de 0% * (- c# 1a distribution des notes peut aussi >tre exprime en pourcentages : on voit ainsi ue ,- p# %-- 4"$d$(7 des participants valus avant le programme avaient obtenu une note variant entre 0% et (- c5 alors ue %05' p# %-- 4)d$'7 de ceux ui l.ont t apr&s le programme ont obtenu une note entre (% et %-- c# !ette prsentation en pourcentages fournit aussi des descriptions plus globales des donnes 4par exemple5 on constate ue 0-5$ p# %-- des participants valus avant le programme ont obtenu plus de 0- c * l.examen# Enfin5 une statisti ue telle ue l.cart t3pe peut servir * rsumer l.tendue de la distribution# 1.cart t3pe correspond * la mesure dans la uelle les rsultats individuels se rapprochent de la mo3enne arithmti ue5 c.est/*/dire de la normale# Plus l.cart t3pe est petit par rapport * la normale5 moins la distribution est tendue# 1es tableaux ne sont pas la seule fa<on de prsenter des statisti ues descriptives# An peut aisment prsenter des donnes et des statisti ues sous forme de
87
!thodes ana #ti$ues
Chapitre 5
graphi ues# 1es graphi ues * barre sont utiliss pour les distributions5 tandis ue les graphi ues circulaires ou les boNtes illustrent des proportions relatives# !es prsentations visuelles5 faciles * produire avec des logiciels statisti ues5 peuvent >tre tr&s utiles pour rsumer des donnes statisti ues5 puis u.elles sont souvent plus faciles * lire u.un tableau et n.exigent pas ncessairement une comprhension de tous les aspects des statisti ues pour en tirer une information utile# !omme nous l.avons d8* indi u5 les donnes sub8ectives 4fondes sur les attitudes7 peuvent >tre traites de la m>me fa<on ue les donnes ob8ectives# Supposons u.on demande aux participants * un programme de formation d.valuer leurs progr&s sur une chelle de % * ,# 1es rsultats pourraient >tre prsents comme suit : ; 'ombre de rpondants Pourcentage %0 (c < '( %+ c @ ($- c = $"- c A "0 %' c 'ombre "--
Rsultat mo7en # @/; Dans ce cas/ci5 on voit ue $- des "-- rpondants 4"- p# %--7 ont valu leurs progr&s * $ sur ,# 1a mo3enne tait de '5%# Dien sFr5 on peut contester la fiabilit et la validit de cette techni ue de mesure5 mais il n.en reste pas moins ue l.valuateur peut s.en servir pour rsumer succinctement les "-- rponses gr:ce * une simple anal3se statisti ue descriptive# )a deuxi1me principale raison de l!anal7se statistique consiste 0 .aire des in.rences5 c.est/*/dire * tirer des conclusions sur des rapports entre variables5 puis * gnraliser ces conclusions pour les appli uer dans d.autres situations# Dans l.exemple du tableau '5 si nous supposons ue les personnes ui ont subi des examens avant et apr&s leur participation au programme sont un chantillon d.une population plus nombreuse5 il faut dterminer si l.amlioration des rsultats est relle et attribuable au programme 4ou * d.autres facteurs accessoires75 ou si elle est simplement attribuable aux lments alatoires de l.chantillon5 autrement dit * une erreur d.chantillonnage# Ar5 gr:ce * des mthodes statisti ues comme l.anal3se de la variance5 il est possible de dterminer si les rsultats mo3ens sont statisti uement diffrents# = cet gard5 il convient de souligner ue tout ce ui est tabli dans ce cas5 est un rapport5 * savoir ue le rsultat obtenu apr&s la participation au programme est suprieur * celui ui l.avait t avant# Pour conclure ue cette amlioration est attribuable au programme5 il faut tenir compte des obstacles * la validit interne ui ont t anal3ss aux chapitres " et '# 1es vrifications statisti ues telles ue l.anal3se de la variance montrent simplement u.il existe une diffrence statisti uement significative entre le rsultat obtenu avant le programme et celui constat apr&s# 1es vrifications statisti ues ne prouvent donc pas ue la diffrence est attribuable au programme#
88
Chapitre 5
!thodes ana #ti$ues
D.autres vrifications statisti ues et des donnes supplmentaires peuvent aider * rpondre aux uestions d2attribution# Prenons un autre exemple de rapports tablis entre des variables gr:ce * une anal3se statisti ue5 soit celui des donnes prsentes au tableau $# Lous 3 vo3ons les rsultats 4en pourcentages7 obtenus avant et apr&s la participation au programme par des hommes et des femmes# !es statisti ues descriptives peuvent rvler les effets diffrents d.un programme pour divers groupes de participants# Ainsi5 la premi&re partie du tableau $ montre ue l.cart entre les rsultats avant et apr&s le programme est minime pour les hommes# ;l s.ensuit ue les descriptions laissent entendre ue le programme a eu des effets diffrents selon le groupe de participants# !es diffrences peuvent >tre des indices importants u.il conviendrait de mener d2autres vrifications pour dterminer leur importance statisti ue# 1ors u.on tudie les donnes prsentes aux tableaux ' et $5 on voit ue l.valuateur pourrait avoir recours * l.anal3se statisti ue par infrence pour estimer la force du rapport apparent5 * savoir ue les femmes ont obtenu de meilleurs rsultats ue les hommes# Des mthodes statisti ues telles ue l.anal3se de rgression 4ou l.anal3se loglinaire7 pourraient servir * tablir l.importance de la corrlation entre les variables * l.tude# Dans ce cas/ci5 le rapport entre les rsultats5 la participation ou la non/participation au programme et le sexe du participant pourrait >tre dtermin# En effet5 les techni ues statisti ues de ce genre peuvent contribuer * dterminer l.importance des rapports entre les rsultats d.un programme et les caractristi ues de ses participants# ;l est * noter ue5 m>me si les techni ues statisti ues dont nous venons de traiter 4comme l.anal3se de rgression7 sont souvent associes * l.anal3se statisti ue par infrence5 de nombreuses statisti ues descriptives sont aussi produites dans ce contexte# 1.valuateur devrait tablir une distinction entre le procd arithmti ue associ par exemple * l.estimation d.un coefficient de rgression et la mthode * utiliser pour en valuer l.importance# ;l s.agit dans le premier cas d.une description et dans le second d.une infrence# !ette distinction est particuli&rement importante lors u.on utilise un logiciel statisti ue pour produire de nombreuses statisti ues descriptives# En effet5 l.valuateur doit faire des infrences appropries * partir de ces statisti ues/l*#
89
!thodes ana #ti$ues
Chapitre 5
Tab!eau 2 Autres donn es des+ri"ti.es Distribution des rsultats selon le sexe B9""(S -/"Examen pass avant le programme Examen pass apr&s le programme %' c %' c "%/$%, c %$ c $%/0'( c '' c 0%/("- c "" c (%/%-%$ c %( c
4(""(S Examen pass avant le programme Examen pass apr&s le programme %- c (c %0 c $c '" c "' c '" c $" c %- c "' c
1.anal3se statisti ue peut aussi servir * gnraliser * une population plus nombreuse des constatations associes * un groupe donn# ;l se peut par exemple ue les rsultats mo3ens obtenus aux examens avant et apr&s la participation au programme ui sont prsents au tableau ' soient reprsentatifs de l.ensemble de la population des immigrants5 * condition u.on ait utilis des techni ues d.chantillonnage appropries ainsi ue des mthodes statisti ues acceptables pour tablir les estimations# Si le groupe valu tait suffisamment important et statisti uement reprsentatif de l.ensemble de la population des immigrants5 on devrait pouvoir s.attendre * obtenir des rsultats semblables si le programme devait prendre de l.ampleur# Dien excute5 l.anal3se statisti ue peut donc grandement amliorer la validit externe des conclusions# 1es mthodes statisti ues varient selon le niveau des mesures appli u aux donnes 4catgori ue5 ordinal5 intervalle et rapport7 ainsi ue selon le nombre de variables en 8eu# 1es mthodes paramtriques sont fondes sur l.h3poth&se ue les donnes sont drives d.une population a3ant une distribution normale 4ou une autre distribution uelcon ue7# D.autres mthodes IrobustesJ permettent toutefois * l.valuateur de s.carter fortement des h3poth&ses de normalit# Par exemple5 on peut utiliser un grand nombre de mthodes non paramtriques 6sans distribution2 pour les donnes ordinales#
90
Chapitre 5
!thodes ana #ti$ues
1es mthodes 0 variable unique portent sur le rapport statisti ue entre une variable et une autre5 alors ue les mthodes 0 plusieurs variables sont con<ues pour dterminer le rapport entre une ou plusieurs variables et un autre ensemble d.au moins deux variables# 1es mthodes * plusieurs variables peuvent >tre utilises par exemple pour dgager des tendances5 faire des comparaisons 8ustes5 prciser des comparaisons et tudier l.influence marginale d.une variable 4les effets des autres facteurs restant constants7# An distingue deux t3pes de mthodes * plusieurs variables5 celles ui sont fondes sur le mod&le linaire gnral 4c#/*/d# le mod&le paramtri ue normal75 et celles5 plus modernes5 u.on utilise pour l.anal3se de plusieurs variables de donnes catgori ues5 comme l.anal3se loglinaire# An peut aussi les rpartir en deux catgories : a7 mthodes servant * l.anal7se de la dpendance5 telles ue les mthodes de rgression 43 compris l.anal3se de la variancedcovariance75 la reprsentation fonctionnelle5 l.anal3se de tra8ectoires5 les mthodes * srie temporelle et * contingences multiples5 ainsi ue les mthodes ualitatives 4catgori ues7 et mixtes9 mthodes utilises pour l.anal7se de l!interdpendance5 telle ue l.anal3se t3pologi ue5 l.anal3se des composantes principales5 la corrlation canoni ue et les analogues catgori ues#
b7
1.anal3se statisti ue permet de rsumer les constatations d.une valuation de fa<on claire5 prcise et fiable9 c.est aussi une techni ue valide de dtermination de la valeur statisti ue attribuable aux conclusions ue l.valuateur tire des donnes# En dpit de ses nombreux avantages5 l.anal3se statisti ue prsente plusieurs inconvnients# ;l faut >tre comptent pour raliser une bonne anal3se statisti ue# 1.valuateur devrait consulter un statisticien professionnel aux tapes de la conception et de l.anal3se de son valuation# ;l faudrait viter de se laisser sduire par la facilit apparente de la manipulation statisti ue * l.aide de logiciels standard# 1es rsultats d.un programme ne peuvent pas tous >tre anal3ss par des mthodes statisti ues# Par exemple5 les rponses * une uestion ouverte sur les rsultats d.un programme peuvent renfermer de longues descriptions des avantages et des rpercussions nfastes du programme5 alors u.il peut >tre tr&s difficile de classer P et
91
!thodes ana #ti$ues
Chapitre 5
plus encore de uantifier P ces rponses d.une fa<on ui se pr>te * l.anal3se statisti ue sans perdre des nuances importantes5 uoi ue subtiles# 1a fa<on de classer les donnes peut tout aussi bien fausser les rsultats ue rvler d.importantes diffrences# M>me lors ue l.valuateur a obtenu des donnes uantitatives5 il devrait interprter avec soin les rsultats des anal3ses statisti ues# Ainsi5 les donnes figurant au tableau ' pourraient >tre reprsentes d.une fa<on diffrente5 comme on le voit au tableau ,# Au dpart5 les donnes sont identi ues5 mais les rsultats prsents au tableau , semblent rvler un effet beaucoup plus mar u ue ceux du tableau '# !et exemple montre bien l.importance d.utiliser des mthodes statisti ues supplmentaires pour vrifier la solidit des rapports apparents# En d.autres termes5 avant de conclure ue les diffrences apparentes entre le tableau ' ou le tableau , sont des rsultats du programme5 il faudrait pousser plus loin l.anal3se statisti ue infrencielle# Tab!eau 4 E8e$"!e de statisti9ues des+ri"ti.es $2 Prsentation des rsultats mo7ens ,(5$ 0+5' -/', Examen antrieur au programme Examen postrieur au programme %0 '0/)"( %% )%/%-%"0 L $( 4%-- c7 $' 4%-- c7 Examen antrieur au programme Examen postrieur au programme *2 Prsentation de la distribution des rsultats
1es praticiens ui se servent de l.anal3se statisti ue doivent connaNtre aussi bien les h3poth&ses sur les uelles la techni ue statisti ue emplo3e est fonde ue ses limites# Mne des grandes difficults d.utilisation des mthodes anal3ti ues5 c.est ue leur validit est fonction des h3poth&ses fondamentales u.elles posent sur les donnes# !ompte tenu de la grande disponibilit de logiciels statisti ues5 on court tou8ours le ris ue ue les techni ues utilises fassent appel * des donnes ui doivent prsenter certaines caractristi ues ue les donnes aux uelles on a acc&s n.ont pas# Dien entendu5 cela peut mener * des conclusions in8ustifies# Par cons uent5 il est essentiel ue l.valuateur connaisse les limites des techni ues u.il emploie# 1es mthodes statisti ues * plusieurs variables sont particuli&rement vulnrables * ce genre d.abus5 m>me si elles peuvent donner
92
Chapitre 5
!thodes ana #ti$ues
l.impression d.avoir bien t utilises# Pour ue lesdites mthodes soient acceptables5 il faut ue le mod&le causal sous/8acent soit correctement spcifi# 1a rgression * plusieurs variables peut notamment faire tomber l.valuateur dans les pi&ges suivants : @ @ @ @ fournir tant d.explications u.une diffrence relle est limine9 a8outer des lments superflus * un schma simple9 susciter un optimisme exagr uant * la solidit des rapports de causalit tablis * partir des donnes9 utiliser une mthode anal3ti ue incorrecte#
R.rences # $nal7se statistique

Dehn5 E#D# et T#V# Uaupel5 4uic& Anal.sis for Dus. %ivision Ma&ers5 LeS \orQ : Dasic DooQs5 %+("# !asle35 D#T# et K# Kumar5 'he *ollection Anal.sis and 0se of Monitoring and Evaluation %ata5 Vashington 4D!7 : Dan ue mondiale5 %+(+# Cienberg5 S#5 'he Anal.sis of *ross= classified *ategorical %ata 4"e dition75 !ambridge 4MA7 : Massachusetts ;nstitute of Technolog3 4M;T75 %+(-# Ranle35 T#A#5 IAppropriate Mses of Multivariate Anal3sis5J Annual RevieC of Public <ealth5 Palo Alto 4!A7 : Annual EevieSs ;nc#5 %+('5 p# %,, * %(-# RanusheQ5 E#A# et T#E# TacQson5 Statistical Methods for Social Scientists5 LeS \orQ : Academic Press5 %+))# Roaglin5 D#!#5 et alA5 %ata for %ecisions5 !ambridge 4MA7 : Abt DooQs5 %+("# Morris5 !#L# et T#E# Eolph5 -ntroduction to %ata Anal.sis and Statistical -nference5 EngleSood !liffs 4LT7 : Prentice Rall5 %+(%# Eagsdale5 !#T#5 Spreadsheet Modelling and %ecision Anal.sis5 !ambridge5 4MA7 : !ourse Technolog3 ;nc#5 %++,#
93
!thodes ana #ti$ues
Chapitre 5
'otes #
94
Chapitre 5
!thodes ana #ti$ues
4)/
Ana!>se de !in,or$ation 9ua!itati.e
1.anal3se non statisti ue est surtout appli ue * des donnes ualitatives5 telles ue les descriptions dtailles des dossiers administratifs ou des 8ournaux d.observation sur le terrain5 les affirmations directes en rponse * des uestions ouvertes5 la transcription de discussions en groupe et les observations de toutes sortes dont il a t bri&vement uestion aux sections $#% et $#$ * $#)# Dans la prsente section5 nous nous bornerons * une description succincte de l.anal3se non statisti ue# Pour obtenir des prcisions * ce su8et5 le lecteur est pri de consulter les rfrences cites * la fin de la section# 1.anal3se de donnes ualitatives5 ui se fait ordinairement de pair avec l.anal3se statisti ue et d.autres t3pes d.anal3ses de donnes uantitatives5 peut donner un aper<u holisti ue des phnom&nes tudis dans le contexte de l.valuation# 1a collecte et l.anal3se de l.information ualitative sont souvent InaturalistesJ et fondes sur des dductions# Au dbut de l.tape de collecte des donnes ou de l.anal3se5 l.valuateur ne s.appuie sur aucune thorie particuli&re * l.gard des phnom&nes * l.tude# 4Mn autre t3pe d.anal3se non statisti ue de donnes uantitatives est dcrit * la section ,#, ui porte sur l.utilisation de mod&les#7 ;l est possible ue l.anal3se non statisti ue de donnes fasse davantage appel au 8ugement professionnel de l.valuateur ue d.autres mthodes5 comme l.anal3se statisti ue# ;l s.ensuit u.en plus de devoir bien connaNtre les uestions ui font l.ob8et de l.valuation5 l.valuateur ui effectue une anal3se non statisti ue doit >tre conscient des nombreux biais ui sont susceptibles de fausser ses constatations# ;l 3 a plusieurs t3pes d.anal3se non statisti ue5 dont l.anal3se du contenu5 l.anal3se des tudes de cas5 l.anal3se inductive 43 compris l.tablissement de t3pologies7 et l.anal3se logi ue# Toutes ces mthodes sont censes faire ressortir des constantes5 des th&mes5 des tendances et des ImotifsJ des donnes5 en plus de fournir des interprtations et des explications de ces constantes et de ces autres lments# 1.anal3se des donnes devrait valuer la fiabilit et la validit des constatations5 par exemple gr:ce * une tude des h3poth&ses contradictoires5 et elle devrait aussi anal3ser les cas IdviantsJ ou exceptionnels et faire une ItriangulationJ en comparant des donnes tires de plusieurs sources ou obtenues gr:ce * d.autres mthodes de collecte et d.anal3se# 1es uatre principales dcisions * prendre dans le contexte d.une anal3se non statisti ue de donnes portent sur la mthode anal3ti ue 4rsum ualitatif5 comparaison ualitative ou anal3se statisti ue descriptive ou * plusieurs variables75 sur le niveau de l.anal3se5 sur le moment au uel il convient de la faire5 ce ui suppose des dcisions uant * l.enregistrement et au codage des donnes ainsi u.* l.opportunit de les uantifier5 et enfin sur la fa<on d.intgrer l.anal3se non statisti ue * l.anal3se statisti ue connexe#
95
!thodes ana #ti$ues
Chapitre 5
Dien ue l.anal3se non statisti ue 4et statisti ue7 des donnes suit normalement leur collecte5 les deux peuvent se faire simultanment# !ette fa<on de procder peut permettre * l.valuateur de poser de nouvelles h3poth&ses u.il peut vrifier aux tapes ultrieures de la collecte des donnes5 ainsi ue de cerner et de corriger d.ventuelles difficults * cet gard5 de m>me ue d.obtenir l.information ui semble faire dfaut dans les donnes recueillies au dbut# Par contre5 les conclusions fondes sur une anal3se h:tive ris uent de biaiser la collecte ultrieure des donnes5 voire de provo uer un changement prmatur de la conception ou de l.excution du programme5 ce ui rend bien dlicate l.interprtation des constatations fondes sur toute la gamme des donnes recueillies# ;l est prfrable de combiner l.anal3se non statisti ue des donnes avec une anal3se statisti ue de donnes connexes 4 uantitatives ou ualitatives7# = cette fin5 il faudrait concevoir l.valuation de fa<on * ce ue les deux sortes d.anal3ses pour les uelles on utilise des donnes diffrentes mais connexes s.appuient5 ou du moins s.clairent mutuellement#
1es principaux avantages de l.anal3se non statisti ue des donnes consistent * rendre possible l.examen de nombreuses uestions et notions difficiles * uantifier5 favorisant une approche plus holisti ue# En outre5 l.anal3se non statisti ue permet * l.valuateur de tirer profit de toute l.information disponible# ;l se peut ue les constatations tires d.une anal3se de ce genre soient plus dtailles ue celles tires d.une anal3se purement statisti ue# Toutefois5 les conclusions fondes uni uement sur une anal3se non statisti ue ris uent de ne pas >tre aussi crdibles ue d.autres fondes sur de l.information et des donnes provenant de sources multiples5 ainsi ue sur plusieurs mthodes d.anal3se# 1a validit et l.exactitude des conclusions d.une anal3se non statisti ue sont fonction de la comptence et du 8ugement de l.valuateur9 leur crdibilit dpend de la logi ue des arguments prsents# !ooQ et Eeichardt 4%+)+75 Kidder et Cine 4%+()7 ainsi ue Pearsol 4%+()75 entre autres5 ont tudi ces uestions de fa<on plus dtaille#
96
Chapitre 5
!thodes ana #ti$ues
R.rences # $nal7se non statistique de l!in.ormation qualitative

!ooQ5 T#D# et !#S# Eeichardt5 4ualitative and 4uantitative Methods Evaluation Research5 Thousand AaQs : Sage Publications5 %+)+# Xuba5 E#X#5 ILaturalistic Evaluation5J in !ordra35 D#S#5 et alA5 d#5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# Xuba5 E#X# et \#S# 1incoln5 Effective Evaluation : -mproving the 0sefulness of Evaluation Results 'hrough Responsive and 2aturalistic Approaches5 San Crancisco : Tosse3/Dass5 %+(%# Krueger5 E#A#5 Bocus $roups : A Practical $uide for Applied Research5 Thousand AaQs : Sage Publications5 %+((# 1evine5 M#5 I;nvestigative Eeporting as a Eesearch Method : An Anal3sis of Dernstein and VoodSard.s All the President#s MenJ5 American Ps.chologist5 Uol# ',5 %+(-5 p# 0"0 * 0'(# Miles5 M#D# et A#M# Ruberman5 4ualitative %ata Anal.sis : A Sourceboo& of 2eC Methods5 Thousand AaQs : Sage Publications5 %+($# Lachmias5 !# et D# Lachmias5 Research Methods in the Social Sciences LeS \orQ : St# Martin.s Press5 %+(%5 chapitre )# Patton5 M#H#5 4ualitative Evaluation Methods5 Thousand AaQs : Sage Publications5 %+(-# Pearsol5 T#A#5 d#5 ITustif3ing !onclusions in Laturalistic EvaluationsJ5 Evaluation and Program Planning5 Uol# %-5 Lo# $5 %+()5 p# '-) * ',(# Eossi5 P#R# et R#E# Creeman5 Evaluation : A S.stematic Approach 4"e dition75 Thousand AaQs : Sage Publications5 %+(+# Uan Maasen5 T#5 d#5 4ualitative Methodolog.5 Thousand AaQs : Sage Publications5 %+('# Vebb5 E#T# et alA5 2onreactive Measures in the Social Sciences 4"e dition75 Doston : Roughton Mifflin5 %+(%# Villiams5 D#D#5 d#5 2aturalistic Evaluation5 Uol# '- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()#
'otes #
97
!thodes ana #ti$ues
Chapitre 5
4)2
Ana!>se des autres r su!tats des "ro#ra$$es
1es valuations ont gnralement pour ob8et de mesurer les rsultats directs des programmes# Ar5 il arrive fr uemment ue les programmes aient des rpercussions plus gnrales ou * plus long terme ui prsentent elles aussi de l.intr>t# An anal3se fr uemment ces rpercussions en transformant les rsultats directs mesurs de fa<on * les dterminer# Au chapitre %5 nous avons distingu trois t3pes de rsultats d.un programme5 * savoir : @ @ les extrants 4 ui sont de nature oprationnelle79 les retombes intermdiaires 43 compris les avantages pour les clients du programme et5 parfois5 les inconvnients imprvus pour le client et pour d.autres personnes79 les retombes dfinitives 4 ui sont troitement lies aux ob8ectifs du programme et habituellement aux ob8ectifs globaux du gouvernement5 c2est/*/dire les avantages conomi ues5 l.amlioration de la sant5 de la scurit et du mieux/>tre7#
Dans les anal3ses de ce genre5 on utilise normalement un mod&le anal3ti ue con<u pour transposer les rsultats des deux premiers t3pes en rsultats du troisi&me 4ou en rsultats diffrents du deuxi&me7 : Activits du programme
Extrants oprationnelsd Avantages pour les clients
Avantages pour les clientsd retombes
Prenons un cas bien simple d.application de cette mthode5 celui du programme d.enseignement de la lecture aux immigrants ui est cens amliorer leurs perpectives d.emploi# 1.enchaNnement logi ue du programme est prsent graphi uement de la fa<on suivante : Programme d.enseignement de la lecture
Accroissement des comptences en lecture
Augmentation des revenusd meilleures perspectives d.emploi
Dans un cas comme celui/l*5 on emploierait une stratgie d.valuation visant * dterminer l.effet incrmentiel du programme d.enseignement de la lecture sur les comptences * cet gard5 puis on prendrait des mesures# An utiliserait ensuite un mod&le prtabli pour transformer les changements observs des comptences en lecture des participants en rsultats escompts pour leurs revenus et leurs perspectives d.emploi : les amliorations observes en ce ui concerne les comptences en lecture seraient donc transformes en retombes pour les perspectives d.emploi et les revenus5 le tout !tant fond! sur des recherches ant!rieures qui ont un !tabli un lien entre ces variables et les comp!tences en lectureA
98
Chapitre 5
!thodes ana #ti$ues
;l faut observer ue toutes les anal3ses de ce genre sont des solutions de rechange * l.valuation directe des rsultats gnraux d.un programme# Dans notre exemple5 l.valuateur pourrait mesurer directement les retombes du programme en ce ui concerne la capacit des participants d.obtenir des emplois mieux rmunrs# ;l pourrait notamment se servir d.un mod&le uasi exprimental pour comparer un groupe de participants au programme avec un groupe tmoin afin de dterminer si les premiers ont augment leurs revenus d.emploi comparativement aux membres du second# !ela dit5 les mthodes plus indirectes peuvent toutefois se rvler prfrables pour de nombreuses raisons# 1.anal3se de rsultats gnraux rend possible l.estimation des retombes * long terme# 1es effets secondaires ne sont pas souvent immdiats5 et les contraintes de l.valuation ne permettraient pas tou8ours d.assurer un suivi sur une longue priode# 1.anal3se des rsultats gnraux permet * l.valuateur de dterminer des retombes ui sont difficiles * mesurer directement# ;l peut >tre extr>mement difficile ou complexe d.valuer directement les rsultats gnraux5 particuli&rement dans le cadre d.un pro8et d.valuation donn# D.une certaine fa<on5 ces mthodes rduisent les ris ues ui se posent pendant l.valuation# En effet5 lors u.on mesure d.abord les rsultats immdiats5 on peut avoir confiance u.au moins certains d.entre eux auront t mesurs d.une mani&re valide# Par contre5 en allant directement aux rsultats gnraux5 ui peuvent se rvler difficiles * mesurer5 on ris ue de se retrouver sans aucune mesure valide# 1.anal3se des rsultats gnraux est utile pour l.valuation de retombes gnrales d8* tudies# En raison des difficults de mesure ue nous venons de dcrire5 l.valuateur pourrait >tre tent d.utiliser un rapport entre les effets * court terme et les rsultats gnraux d.un programme ui ont t dtermins gr:ce * des recherches antrieures 4si5 bien sFr5 on dispose d2une telle recherche7# Par exemple5 dans le cas du programme d.enseignement de la lecture5 il est vraisemblable u.on ait d8* fait des recherches pousses afin d.explorer le rapport entre les comptences en lecture5 les perspectives d.emploi et les revenus# En pareil cas5 l.valuateur pourrait se fonder sur les rsultats de ces recherches5 en dcidant d.axer sa stratgie d.valuation sur la mesure des amliorations des comptences en lecture rsultant du programme9 l.augmentation des revenus des participants ui s.ensuivrait vraisemblablement serait alors une conclusion ui a d8* t prouve par des recherches antrieures#
'otes #
99
!thodes ana #ti$ues
Chapitre 5
100
Chapitre 5
!thodes ana #ti$ues
4)4
Uti!isation de $od%!es
Toutes les valuations servant * tablir ue certains rsultats dcoulent des activits d.un programme sont fondes sur un mod&le implicite ou explicite# Sans thorie sur la fa<on dont le programme produit des rsultats observs5 l.valuateur travaillerait * l.aveuglette et serait incapable de lui attribuer des rsultats de fa<on crdible# !ela ne signifie toutefois pas ue les mod&les doivent >tre compl&tement structurs d&s le dbut du travail d.valuation# Xnralement5 ils sont rviss et amliors en cours de route5 * mesure ue l. uipe d.valuation dveloppe ses connaissances# 1es diverses disciplines des sciences sociales ont tendance * adopter des approches uel ue peu diffrentes face aux mod&les5 mais il reste uand m>me de nombreux points communs# 1es mod&les ue nous allons dcrire dans cette section sont les suivants : @ @ @ @ @ 4)4)& mod&les de simulation9 mod&les d.entres/sorties9 mod&les micro/conomi ues9 mod&les macro/conomi ues9 mod&les statisti ues# Mod%!es de si$u!ation
1a simulation peut s2avrer utile pour les valuateurs# Toute transformation des intrants du programme en extrants peut >tre expose sur une feuille de calcul et modlise par un valuateur a3ant une certaine formation et un peu de prati ue# 1.valuateur a souvent recours * un mod&le uantitatif explicite parce ue ses donnes sont incertaines# 1ors u.il doit traiter des intervalles de variation plut?t ue des chiffres5 en 8onglant avec les probabilits5 il peut lui >tre extr>mement utile de pouvoir simuler les probabilits d.extrants ou de rsultats# Dans les annes %++-5 le progiciel ui a amlior les capacits de simulation des tableurs lectroni ues a offert cette capacit * de nombreux valuateurs ui auraient peut/>tre eu moins tendance * opter pour des approches uantitatives5 dans d.autres conditions# Mn mod&le de simulation peut transformer des intrants en rsultats# Prenons par exemple un programme des Douanes aux postes frontaliers ui sont amnags au bord des autoroutes5 et disons u.on a formul une nouvelle srie de uestions * poser aux points d.entre# 1.administration du nouveau uestionnaire prend en mo3enne %% secondes de plus ue celle de l.ancien# An pourrait utiliser un mod&le pour valuer ses cons uences sur le temps d2attente des clients# Mn mod&le de simulation comporte essentiellement trois composantes5 soit des intrants5 un mod&le mathmati ue et des extrants# An utilise surtout deux t3pes de mod&les mathmati ues5 les stochastiques5 ui font intervenir des variables alatoires5 et les d!terministes5 ui ne contiennent pas de variables de ce genre#
101
!thodes ana #ti$ues
Chapitre 5
= certains gards5 les mod&les de simulation ressemblent aux autres mthodes statisti ues5 comme * l.anal3se de rgression5 ui sont d.ailleurs susceptibles d.>tre utilises pour les tablir# Mne fois tabli5 le mod&le de simulation traite les intrants comme des donnes u.il doit utiliser plut?t ue des lments sur les uels il doit se fonder# 1e mod&le mathmati ue gn&re des extrants ui peuvent >tre compars aux rsultats rels# 1es valuateurs s.intressent de plus en plus * un mod&le de simulation donn5 * savoir le mod&le de ris ue fond sur une feuille de calcul coFts/avantages# 1ors ue les intrants du mod&le coFts/avantages sont reprsents par des approximations et des probabilits 4plut?t ue comme des donnes certaines75 le mod&le de ris ue produit des donnes sur les prochaines valeurs et sur les probabilits du rsultat essentiel 4habituellement la valeur actualise nette7# !es donnes peuvent >tre tr&s utiles pour un gestionnaire ui tente d.valuer le degr de ris ue d.un programme5 ou pour un valuateur appel * faire une valuation du seuil de tolrance et du ris ue 4voir la section ,#05 Anal3se coFts/avantages et anal3se coFt/efficacit7#
1e principal avantage des mod&les de simulation est u.il permet * l.valuateur d.estimer les effets incrmentiels dans des situations complexes et incertaines# Par contre5 leur principal inconvnient est d.exiger une excellente comprhension de la d3nami ue du programme ainsi u.une certaine maNtrise de l.tablissement de mod&les uantitatifs# ;l faudrait galement noter ue les mod&les de simulation peuvent fournir de l2information valable ex ante5 soit de l2information sur les rpercussions ventuelles d2un mode d2action donn avant sa ralisation# De l2information de ce t3pe peut assurment >tre fort utile avant d2exclure des solutions de rechange indsirables# Ex post5 les rpercussions relles d2un nouveau programme ou des changements apports * un programme existant sont mieux values par les mthodes empiri ues5 comme une anal3se de rgression ou les mod&les prsents au chapitre '#
R.rences # "od1les de simulation

Duffa5 E#S# et T#S# D3er5 Management Science @perations Research : Model Bormulation and Solution Methods5 LeS \orQ : Tohn Vile3 and Sons5 %+))# !lemen5 E#T#5 Ma&ing <ard %ecisions# Duxbur3 Press5 %++%5 sections % * '# Eagsdale5 !#T#5 Spreadsheet Modelling and %ecision Anal.sis5 !ambridge 4MA7 : !ourse Technolog3 ;nc#5 %++,#
'otes #
102
Chapitre 5
!thodes ana #ti$ues
103
!thodes ana #ti$ues
Chapitre 5
4)4)-
Mod%!es dentr es@sorties
Mn mod&le d.entres/sorties est un mod&le conomi ue stati ue con<u pour dcrire l.interdpendance mutuelle de diffrentes parties d.une conomie# Dans ce contexte5 l.conomie est considre comme un s3st&me d.activits interdpendantes5 c2est/*/dire agissant directement et indirectement les unes sur les autres# 1e mod&le d.entres/sorties est utilis pour dcrire la fa<on dont un secteur utilise comme intrants des extrants d.autres secteurs5 et vice versa# !.est donc une dconstruction s3stmati ue de l2conomie ui dcrit l.change de biens et de services ncessaires * la fabrication de produits finis 4biens et services7# !e genre de mod&le peut >tre utilis pour driver des prvisions multisectorielles ui sont intrins& uement cohrentes avec les tendances conomi ues5 ainsi ue des valuations uantitatives dtailles des effets secondaires directs et indirects d.un programme uelcon ue5 ou de toute combinaison de programmes# Plus prcisment5 le mod&le d.entres/sorties peut produire une description dtaille de l.effet d.un programme gouvernemental sur la production et la consommation actuelles de biens et de services# 1a structure des entres de cha ue secteur de production est expli ue en fonction de sa technologie# 1e mod&le prcise les Icoefficients techni uesJ correspondant * la uantit de biens et de services5 3 compris la main/d.6uvre5 dont le secteur a besoin pour produire une unit d.extrant# ;l prcise aussi un ensemble de Icoefficients de capitalJ correspondant * l.ensemble des b:timents5 du matriel et des stocQs ncessaires * la transformation de la combinaison voulue d.intrants en extrants# 1es caractristi ues de la consommation dfinissent la demande d.intrants 4le revenu5 par exemple7 de tous les secteurs de production de l.conomie5 3 compris les mnages# An peut donc anal3ser ces caractristi ues5 de m>me ue la production et la consommation de n.importe uel bien ou service# Pour dmontrer l.utilit d.un mod&le d.entres/sorties5 il suffit d.imaginer l.effet de mesures fiscales slectives 4h3pothti ues7 sur l.emploi dans le secteur des tlcommunications# Supposons ue ces mesures fiscales assurent un traitement prfrentiel au secteur et influent donc directement sur la uantit5 la composition et le prix de ses extrants5 les uels influent * leur tour sur sa demande et sur son utilisation de main/d.6uvre# 1e mod&le fait appel * des coefficients correspondant * l.tat actuel de la technologie de pointe et * des uations permettant de prciser la consommation et la production attendues de cha ue secteur# Au dpart5 on commence par estimer l.importance des changements rsultant de l.application des mesures fiscales slectives5 en se fondant sur les valeurs de la consommation et de la production prvues du matriel de tlcommunication# 1e mod&le d.entres/sorties peut ensuite utiliser comme intrant l.augmentation de la consommation de ce matriel5 en produisant comme extrant l.accroissement estimatif de la main/d.6uvre du secteur des tlcommunications rsultant des mesures fiscales#
104
Chapitre 5
!thodes ana #ti$ues
Autrefois5 on utilisait plus fr uemment les mod&les d.entres/sorties dans les conomies * planification centrale# !es mod&les5 ponctuels et stati ues5 sont essentiellement descriptifs et5 par cons uent5 ils ne sont pas tr&s efficaces pour infrer des effets probables lis aux politi ues pour l2avenir# Malheureusement5 on a fr uemment mal utilis les mod&les de ce genre dans les valuations# 1e pire exemple est celui de l.anal3se des dpenses de programme dans un secteur afin d.estimer les IeffetsJ supposs ui en auraient rsult5 sans tenir compte de l.attnuation des effets ngatifs ui sont causs par les mesures fiscales ou les emprunts contracts pour financer le programme# En outre5 dans une conomie en pleine volution5 ces mod&les prsentent un autre inconvnient ma8eur5 puis u.ils ne tiennent pas ncessairement compte des changements des coefficients de production attribuables au progr&s technologi ue5 ni des changements relatifs des prix des intrants# Par cons uent5 lors ue ces changements se produisent5 le mod&le d.entres/sorties dcrit une composition incorrecte des intrants d.un secteur donn5 ce ui entraNne des estimations incorrectes des rsultats supplmentaires du programme tudi# = cet gard5 soulignons ue le mod&le d.entres/sorties de Statisti ue !anada est invitablement fond sur des donnes datant d.un certain nombre d.annes5 et ue5 en tant ue macro/mod&le5 il n.est pas particuli&rement bien adapt * la description des effets des petites dpenses t3pi ues de la plupart des programmes#
R.rences # "od1les d!entres-sorties

!anada5 Statisti ue !anada5 6a structure par entr!es=sorties de l#!conomie canadienne ;(P;= ;(L;5 AttaSa5 avril %+(+5 no de cat# %,/"-%C# !hener35 R# et P# !larQ5 -nter= industr. Economics5 LeS \orQ : Tohn Vile3 and Sons5 %+,+# 1eontief5 V#5 -nput= output Economics5 LeS \orQ : Axford Mniversit3 Press5 %+00#
'otes #
105
!thodes ana #ti$ues
Chapitre 5
4)4)/
Mod%!es $i+ro@ +ono$i9ues
1es mod&les micro/conomi ues dcrivent le comportement conomi ue d.units conomi ues individuelles 4personnes5 mnages5 entreprises ou autres organisations7 fonctionnant dans une structure de march et dans des circonstances donnes# !omme la plupart des programmes sont dirigs exactement * ce niveau5 ces mod&les peuvent >tre extr>mement utiles pour l.valuateur# ;ls sont fonds sur le s3st&me des prix et normalement reprsents par des uations correspondant aux fonctions de l.offre et de la demande d.un bien ou d.un service# !es uations dcrivent le rapport entre le prix et l.extrant5 et il est souvent possible d.en faire une reprsentation graphi ue avec des courbes de l.offre et de la demande# 1e rendement des mod&les micro/conomi ues est limit par un certain nombre d.h3poth&ses# Par exemple5 on suppose tou8ours ue les consommateurs se comportent de fa<on * maximiser leur degr de satisfaction et ce5 d.une fa<on rationnelle# 1es spcialistes se servent des mod&les micro/conomi ues pour modliser le comportement du march5 les combinaisons optimales des intrants5 le comportement des consommateurs en fonction des coFts et les niveaux de production optimaux# Dans la prati ue5 on peut avoir recours * des mod&les micro/conomi ues pour estimer les rsultats d.un programme dans la mesure o[ les prix et les extrants peuvent en dcrire les effets# 1a figure $ est un exemple d2un mod&le micro/conomi ue permettant de dcrire l.effet u.un programme de taxe d.accise sur les cigarettes aurait sur le revenu des fabricants ou sur le tabagisme cheO les adolescents# D2apr&s la figure $5 le prix et la uantit de cigarettes produites et consommes avant l.imposition de la taxe d.accise correspondraient respectivement * P- et H-# 1a taxe d.accise ferait augmenter le coFt des cigarettes et cette augmentation serait reprsente dans le mod&le micro/conomi ue par une courbe de l.offre croissante# 1e nouveau prix serait donc plus lev et la nouvelle production plus faible u.avant l.imposition de la taxe d.accise# = ce moment/l*5 les recettes de l.industrie des cigarettes uivalaient * P- x H-5 mais depuis5 avec la nouvelle taxe d.accise5 elles sont tombes * P% x H%# !ette baisse des recettes des fabricants de cigarettes par suite de l.imposition de la taxe d.accise serait fonction de la pente des courbes de l.offre et de la demande ui est elle/m>me dtermine par plusieurs facteurs#
;l faut normalement avoir recours * un conomiste pour tablir un mod&le micro/conomi ue des effets d.un programme5 mais cela en vaut souvent la peine5 puis ue ces mod&les peuvent apporter beaucoup d.information sur la raison d.>tre d.un programme et fournir une base pour mesurer ses effets et son efficacit#
106
Chapitre 5
Ci#ure 2 G Mode! o, t(e E,,e+t o, an E8+ise Ta8
!thodes ana #ti$ues
Ci#ure 2 Mod%!e de !e,,et dune ta8e da++ise A7 Avant l.imposition de la taxe Affre % Prix % Demande % H% D7 Effet initial de la taxe 4offre suprieure * la demande7 Affre % Prix " Prix % Demande % H" !7 H'
Louvel uilibre apr&s a8ustement des fabricants Affre " Affre % Prix " Prix % Demande % H" H%
107
!thodes ana #ti$ues
Chapitre 5
R.rences # "od1les micro-conomiques

Renderson5 T# et E# Huandt5 Micro= economic 'heor.5 LeS \orQ : McXraS/Rill5 %+0%# PolQinghorn5 E#S#5 Micro= theor. and Economic *hoices5 Eichard ;rSin ;nc#5 %+)+# Samuelson5 P#5 Boundations of Economic Anal.sis5 !ambridge 4MA7 : Rarvard Mniversit3 Press5 %+$)# Vatson5 D#S#5 Price 'heor. in Action5 Doston : Roughton Mifflin5 %+)-# Notes :
108
Chapitre 5
!thodes ana #ti$ues
4)4)2
Mod%!es $a+ro@ +ono$i9ues
1es mod&les macro/conomi ues sont essentiellement utiliss pour des tudes sur l.inflation5 le ch?mage et les su8ets faisant appel * d.importants ensembles de donnes5 comme le produit national brut# An s.en sert pour tenter d.expli uer et de prdire les rapports entre ces variables# !e sont des mod&les utiles parce u.ils rv&lent les retombes conomi ues P une amlioration de la production5 du revenu ou de l.emploi ou encore une hausse des taux d.intr>t ou de l.inflation P les plus susceptibles de dcouler de l.application d.une politi ue ou de l.excution d.un programme montaire et financier# Uoici un exemple d.utilisation d.un mod&le macro/conomi ue : supposons u.un valuateur cherche * valuer les retombes sur l.emploi d.un programme gouvernemental de subvention de certains t3pes d.exportation et ue les effets du programme sur les ventes * l.exportation ont d8* t mesurs# 1es donnes sur l.accroissement incrmentiel de ces ventes seraient introduites dans un mod&le macro/ conomi ue de l.conomie canadienne ui pourrait alors estimer les retombes du programme sur l.emploi#
1e mod&le macro/conomi ue a l.avantage de prciser les liens criti ues entre les variables gnrales globales# En outre5 il permet de brosser un tableau gnral u.on peut ensuite utiliser pour comparer des programmes canadiens * des programmes analogues mis en 6uvre dans d.autres pa3s 4* condition ue les h3poth&ses et les crit&res de validit du mod&le demeurent intacts7# Pour l.valuation des rsultats d.un programme5 le mod&le macro/conomi ue prsente toutefois de graves inconvnients# En effet5 il peut aboutir * des rsultats errons si l.on omet des facteurs cls# En outre5 ses donnes des intrants sont habituellement drives d.un autre mod&le plut?t ue directement mesures5 ce ui a8oute un autre lment d.incertitude * l.anal3se# Enfin5 dans bien des cas5 la valeur prdictive5 surtout * court terme5 du mod&le macro/conomi ue laisse vraiment * dsirer# Lanmoins5 c.est un outil u.on peut utiliser avec profit si les retombes drives * l.tude sont * long terme et si l.valuation porte sur un programme important pour l.conomie#
R.rences # "od1les macro-conomiques

Xordon5 E#A#5 Economic -nstabilit. and $roCth : 'he American Record5 Rarper e EoS5 %+)$# Reilbroner5 E#1# et 1#!# ThuroS5 Economics Explained5 Toronto : Simon and Schuster ;nc#5 %+()#
109
!thodes ana #ti$ues
Chapitre 5
Lelson5 E#5 Merton5 P# et E# KalacheQ5 'echnolog. Economic $roCth and Public Polic.5 Vashington 4D!7 : DrooQings ;nstitute5 %+0)# AQun5 A#5 'he Political Econom. of Prosperit.5 Lorton5 %+)-# SilQ5 1#5 'he Economists5 LeS \orQ : Avon DooQs5 %+)0# Notes :
110
Chapitre 5
!thodes ana #ti$ues
4)4)4
Mod%!es statisti9ues
1es tudes d.valuation font appel * beaucoup de t3pes de mod&les statisti ues dont le plus simple est une prsentation de donnes relatives * une seule variable organise de fa<on * en illustrer la configuration# 1es tableaux de corrlation de deux variables sont l.instrument de base de l.anal3se et du rapport d.valuation# En fait5 m>me les donnes anal3ses * l.aide d.autres mod&les sont souvent prsentes dans des tableaux de corrlation5 pour les rendre plus transparentes et plus accessibles aux dcideurs ue celles des mod&les plus complexes# Rabituellement5 les programmes clini ues 4dans les domaines de la sant et de l.ducation5 par exemple7 sont bass sur de petits chantillons5 de sorte ue l.valuateur doit utiliser des mod&les Id.anal3se de la varianceJ pour en prciser les effets# = l.inverse5 les programmes destins * une grande partie de la population 4subventions au commerce ou programmes d.emploi5 par exemple7 gn&rent normalement de vastes ensembles de donnes et on peut donc avoir recours alors * des Imod&les linairesJ d.anal3se de rgression pour en dterminer les effets# 1a plupart des programmes du gouvernement fdral sont de ce dernier t3pe5 et c.est pour uoi nous allons nous concentrer sur eux dans cette section# 1.anal3se de rgression peut servir * vrifier une relation h3pothti ue5 * tablir des relations entre des variables ui sont susceptibles d.expli uer les rsultats d.un programme5 * cerner les cas inhabituels 4valeurs aberrantes7 ui dvient des normes ou * faire des prvisions sur les retombes futures d.un programme# ;l s.agit l* d.une techni ue parfois exploratoire 4pour concocter des rapports approximatifs75 mais on l.emploie plus souvent comme confirmation et mesure finale d.une relation causale entre le programme et ses effets constats# De fait5 il est important ue le mod&le de rgression se fonde sur un raisonnement a piori au su8et de la causalit# ;l faudrait viter de rechercher des donnes au hasard5 au ris ue d.obtenir des rsultats sans valeur5 et c.est pour uoi il faut s.efforcer de spcifier et de calibrer le mod&le en utilisant seulement la moiti des donnes disponibles pour ensuite dterminer sa capacit de prdiction des rsultats rvls par l.autre moiti des donnes# S.il est un bon prdicteur5 le mod&le est probablement robuste# ;l faut se rappeler ue la corrlation n.impli ue pas ncessairement un rapport de causalit# Par exemple5 deux variables peuvent >tre simplement corrles simplement parce u.elles sont toutes deux causes par une troisi&me variable# Ainsi5 on peut tablir une corrlation entre la temprature diurne leve et le nombre de pr>ts agricoles consentis parce ue les deux se produisent surtout en t5 mais cela ne veut pas dire ue les pr>ts agricoles sont consentis parce u.il fait chaud durant la 8ourne# 1.anal3se de rgression tend aussi * inverser le rapport de causalit9 c.est d.ailleurs une de ses difficults reconnues# An peut observer5 par exemple5 ue les entreprises ui obtiennent des stimulations d.incitation d.un programme d.aide au commerce extrieur augmentent leurs ventes * l.exportation# Ar5 cela peut s.expli uer simplement du fait ue les entreprises ui ont de grosses ventes * l.tranger sont plus crdibles ue les autres5 et u.il leur est donc plus facile d.obtenir des subventions# An
111
!thodes ana #ti$ues
Chapitre 5
pourrait aussi dire ue ce sont leurs ventes * l.tranger ui font obtenir des subventions aux entreprises5 plut?t ue l.inverse# 1es mod&les statisti ues ont souvent une importance cruciale pour la dtermination des effets incrmentiels# Par exemple5 Sant !anada pourrait utiliser un mod&le pidmiologi ue pour prciser les effets de sa Stratgie nationale sur le sida5 tandis ue le minist&re des Cinances !anada pourrait utiliser un mod&le des revenus pour estimer les effets fiscaux d.un rgime ventuel d.aide * la famille# Pour arriver * constituer de tels mod&les5 il faut gnralement une connaissance approfondie du secteur de programmes anal3s5 ainsi u.une maNtrise de la techni ue statisti ue utilise#
1es mod&les statisti ues sont pol3valents# Dien construits5 ils fournissent des estimations tr&s utiles des rsultats d.un programme# Toutefois5 ils doivent >tre bien spcifis et valids si l.on veut ue les rsultats soient fiables5 ce ui n.est pas tou8ours aussi facile u.on pourrait le croire * prime abord# En outre5 l.valuateur n.arrive pas tou8ours * faire des infrences * partir d.un mod&le statisti ue# ;l se peut par exemple ue le mod&le porte uni uement sur certains groupes d.:ge5 ou seulement sur des personnes de certaines rgions5 au uel cas il est souvent impossible5 * partir des rsultats5 d.en gnraliser les effets ventuels * d.autres groupes d.:ge ou * d.autres rgions#
R.rences # "od1les statistiques

!hatter8ee5 S# et D# Price5 Regression Anal.sis b. Example 4"e dition75 LeS \orQ : Tohn Vile3 and Sons5 %++,# Cox5 T#5 6inear Statistical Models and Related Methods Cith Applications to Social Research5 LeS \orQ : Tohn Vile3 and Sons5 %+($# Ruff5 D#5 <oC to 6ie Cith Statistics5 Penguin5 %+)'# Tolliffe5 E#C#5 *ommon Sense Statistics for Economists and @thers5 Eoutledge and Kegan Paul5 %+)$# Mueller5 T#R#5 Statistical Reasoning in Sociolog.5 Doston : Roughton Mifflin5 %+))# Sprent5 P#5 Statistics in Action5 Penguin5 %+))# Notes :
112
Chapitre 5
!thodes ana #ti$ues
4)5
Ana!>se +o?ts@a.anta#es et ana!>se +o?t@e,,i+a+it
Tous les programmes visent * gnrer des avantages ui l.emportent sur leurs coFts# Apr&s avoir estim les divers coFts et avantages rsultant du programme5 l.valuateur peut comparer les deux pour dterminer si le programme est valable# 1es deux mthodes les plus fr uemment utilises * cette fin sont l.anal3se coFts/avantages et l.anal3se coFt/efficacit# Xnralement5 on s.en sert pour obtenir des renseignements sur la valeur actualise nette d.un programme# Dans l.anal3se coFts/ avantages5 les avantages du programme sont exprims en termes montaires et compars * ses coFts5 alors ue5 dans l.anal3se coFt/efficacit5 les rsultats du programme5 exprims en units non montaires P par exemple le nombre de vies sauves P sont compars * ses coFts exprims en dollars# = l.tape de la planification5 on peut mener des anal3ses coFts/avantages et coFt/efficacit ex ante 4avant coup7 en se fondant sur des estimations des coFts et des avantages escompts# 1a plupart des ouvrages et des publications sur l.anal3se coFts/ avantages la consid&rent comme un instrument d.anal3se a piori5 et surtout comme un mo3en d.examiner les avantages nets d.un pro8et ou d.un programme propos ncessitant des investissements ou des immobilisations considrables 4voir par exemple Mishan5 %+)"9 Rarberger5 %+)'9 1a3ard5 %+)"9 Sassone et Schaffer5 %+)( et Schmid5 %+(+7# 1ors u.un programme fonctionne depuis un certain temps5 on peut aussi avoir recours * une anal3se coFts/avantages ou coFt/efficacit ex post 4apr&s coup7 pour dterminer si les coFts r!els du programme sont 8ustifis par ses avantages r!els# Pour une tude plus dtaille de l.utilisation de l.anal3se coFts/avantages dans le contexte de l.valuation5 voir Thompson 4%+(-7 ou Eossi et Creeman 4%+(+7# ;l 3 a aussi un aper<u de cette mthode dans le $uide de l#anal.se avantages=co"ts 4%++)75 une publication du !onseil du Trsor5 ainsi ue dans les tudes de cas connexes# 1.anal3se coFts/avantages consiste * comparer les avantages tangibles et intangibles d.un programme * ses coFts directs et indirects# Apr&s avoir cern et mesur 4ou estim7 les avantages et les coFts5 on les transforme pour les exprimer en termes communs5 habituellement montaires5 de fa<on * pouvoir les comparer en calculant la valeur actualise nette du programme# Huand les coFts et les avantages sont tals dans le temps5 il faut les actualiser pour les ramener * une anne commune avec le taux d.actualisation appropri# Pour faire une anal3se de ce genre5 il faut d.abord choisir le point de vue * partir du uel les coFts et les avantages du programme seront calculs# 9n en reconnaCt habituellement trois/ soit le point de vue de la personne/ le point de vue .inancier du gouvernement .dral et le point de vue social 6pour l!ensemble du Canada2% 1es coFts et les avantages d.un programme varient gnralement selon le point de vue# 1e plus courant pour les anal3ses avantages/coFts dans l.administration fdrale est le point de vue social5 ui tient compte de tous les coFts et avantages pour la socit# Toutefois5 le point de vue de la personne et le point de vue financier du gouvernement peuvent contribuer * faire ressortir des perspectives diffrentes sur la valeur du programme ou encore * expli uer les raisons de sa russite ou de son chec#
113
!thodes ana #ti$ues
Chapitre 5
Eossi et Creeman 4%+(+7 ont produit une anal3se plus approfondie des diffrences entre les trois points de vue# An part du point de vue de la personne pour examiner les coFts et les avantages du programme pour le participant 4 ui pourrait >tre une personne5 une famille5 une entreprise ou une organisation sans but lucratif7# 1es anal3ses coFts/ avantages pour les uelles on adopte ce point de vue aboutissent souvent * des rapports avantages/coFts levs5 parce ue le gouvernement ou la socit subventionnent le programme dont le participant bnficie# D.un autre c?t5 lors ue l.anal3se est effectue du point de vue .inancier du gouvernement .dral5 les coFts et les avantages sont valus du point de vue de la source du financement# ;l s.agit essentiellement d.une anal3se financi&re dans la uelle on examine les coFts financiers et les avantages financiers directs pour l.Btat# 1es flux de trsorerie u.on tudierait normalement dans ce contexte comprendraient les coFts d.administration du programme5 les sorties de fonds directes 4les subventions75 les taxes et imp?ts per<us par le gouvernement 4notamment l.imp?t sur le revenu des socits5 l.imp?t sur le revenu des particuliers5 les taxes de vente fdrale et autres droits75 la rduction des prestations d.assurance/ch?mage ou d.assurance/emploi et les changements ventuels des paiements de pr uation et de transfert# Par contre5 pour l!anal7se coDts-avantages du point de vue social5 on part du point de vue de l.ensemble de la socit5 de sorte ue l.anal3se est * la fois plus exhaustive et plus difficile5 puis u.il faut tenir compte des r!sultats gnraux du programme5 et ue les prix du march5 ui sont un bon indicateur des coFts et des avantages pour la personne ou pour une organisation 4l.Btat7 ris uent de ne pas reflter fid&lement la valeur relle de ces deux variables pour la socit# ;ls peuvent >tre fausss5 par exemple5 en raison des subventions ou des taxes et imp?ts# M>me s.ils ressemblent * ceux ui sont utiliss dans les anal3ses du point de vue du particulier et de celui du gouvernement5 les lments examins dans l.anal3se coFts/avantages du point de vue social sont apprcis et calculs diffremment 4voir Veisbrod et al#5 %+(-7# Par exemple5 les co"ts d#opportunit! pour la socit sont diffrents de ceux u.assume un participant au programme# En outre5 les paiements de transfert sont exclus des coFts dans le contexte d.une anal3se coFts/avantages du point de vue social5 puis u.ils doivent aussi >tre considrs comme des avantages pour la socit et ue les deux s.annulent par cons uent# 1es anal3ses coFts/avantages faites du point de vue du gouvernement ou du point de vue social tendent * produire des rapports avantages/coFts infrieurs * ceux des anal3ses analogues ui sont ralises du point de vue de la personne parce ue l.Btat ou la socit assument gnralement la totalit du coFt du programme5 alors ue la personne5 elle5 peut bnficier de tous ses avantages5 en n.assumant u.une fraction infime du coFt total# Lanmoins5 les anal3ses coFts/avantages des programmes gouvernementaux devraient >tre faites du point de vue social# Pour sa part5 l!anal7se coDt-e..icacit exige aussi ue les coFts et les avantages du programme tudi soient uantifis5 uoi ue les avantages 4ou les effets7 ne sont pas alors exprims en dollars# ;l s.agit plut?t de combiner les donnes sur les
114
Chapitre 5
!thodes ana #ti$ues
effets ou l.efficacit du programme aux donnes sur ses coFts de fa<on * pouvoir comparer le coFt et l.efficacit du programme# Par exemple5 dans une anal3se coFt/ efficacit5 on exprimerait les rsultats d.un programme d.ducation en parlant de la progression mo3enne d2un niveau de lecture 4donnes sur les rsultats7 par tranche de % --- f 4donnes sur les coFts7 investis dans le programme# 1es avantages 4effets7 sont exprims en termes uantitatifs P mais pas en dollars P dans l.anal3se coFt/ efficacit# !e genre d.anal3se est fond sur les m>mes principes ue l.anal3se coFts/ avantages# 1es h3poth&ses utilises5 par exemple pour le calcul des coFts et l.actualisation5 sont les m>mes dans les deux cas# Au fond5 l.anal3se coFt/efficacit permet de comparer et de classer des programmes en fonction du coFt pour atteindre certains buts# 1es donnes sur l.efficacit peuvent >tre combines avec celles sur les coFts pour dterminer l.efficacit maximale correspondant * un coFt donn5 ou encore le coFt le plus bas permettant d.atteindre un degr d.efficacit particulier# 1es donnes ui sont ncessaires * l.excution d.anal3ses coFts/avantages et coFt/efficacit peuvent provenir de diverses sources# Dien entendu5 les recherches dans les dossiers dtaills des programmes devraient gnrer beaucoup d.informations sur les coFts5 et ces donnes peuvent souvent >tre compltes gr:ce * des sondages aupr&s des bnficiaires# D.autre part5 les donnes sur les avantages peuvent >tre recueillies par n.importe uelle des autres mthodes dont nous avons d8* parl dans cette publication# Supposons par exemple u.on a entrepris une valuation pour vrifier l.h3poth&se u.un programme de sant mentale re8etant l.hospitalisation en lui prfrant la prestation de soins de sant dans la collectivit serait plus efficace ue la mthode de traitement prvalant * l.heure actuelle5 et supposons aussi u.on a emplo3 un mod&le exprimental pour obtenir une estimation des effets incrmentiels de ce programme innovateur# D&s ue les effets incrmentiels seraient connus5 l.anal3se coFts/avantages pourrait permettre de les valuer et de les comparer aux coFts#
1a documentation sur les avantages et les inconvnients de l.anal3se coFts/ avantages et de l.anal3se coFt/efficacit abonde 4voir par exemple Xreer et Xreer5 %+("5 ainsi ue Lobel5 %+))7# Lous nous contenterons ici de faire valoir succinctement un certain nombre de points * cet gard# 1.anal3se coFts/avantages porte sur la valeur nette d.un programme#
115
!thodes ana #ti$ues
Chapitre 5
;l ne s.agit pas5 en l.occurrence5 d.estimer des avantages et des coFts prcis d.un programme5 mais plut?t de les rsumer de fa<on u.on puisse 8uger et comparer des solutions de rechange# ;l faut mesurer dans un autre contexte le degr au uel les ob8ectifs ont t atteints5 en faisant appel * un autre mod&le d.valuation et * des mthodes diffrentes de collecte des donnes# Par la suite5 les donnes sur les rsultats du programme peuvent >tre utilises comme intrants pour les anal3ses globales coFts/ avantages et coFt/efficacit# 1.valuateur doit aborder la uestion de l.attribution ou des effets incrmentiels avant de raliser une anal3se coFts/avantages# Par exemple5 de %++$ * %++)5 le gouvernement fdral a mis en 6uvre un programme d.infrastructures * frais partags avec les municipalits et les provinces# Avant de pouvoir anal3ser les coFts et les avantages de ce programme ou de ses solutions de rechange5 il faudrait tablir des mesures des effets incrmentiels afin de dterminer 8us u.* uel point le programme a chang ou acclr les travaux d.infrastructure municipaux# !.est seulement apr&s avoir dtermin les effets incrmentiels u.on peut raisonnablement passer * l.valuation et * la comparaison des coFts et des avantages# 1es anal3ses coFts/avantages et coFt/efficacit aident souvent l.valuateur * dterminer tous les coFts et tous les rsultats d.un programme# = elles seules5 les anal3ses coFts/avantages et coFt/efficacit ne suffisent pas * expli uer des effets et des rsultats particuliers# !es techni ues ne permettent pas de dterminer pour uoi un ob8ectif donn n.a pas t atteint5 ni pour uoi un effet particulier s.est produit# Toutefois5 comme elles comparent s3stmati uement les avantages et les coFts5 elles sont utiles puis u.elles fournissent des renseignements valides aux dcideurs# !es anal3ses comportent de nombreuses difficults mthodologi ues# ;l est souvent difficile d.exprimer en dollars les avantages et les coFts d.un programme# ;l peut >tre tr&s malais d.attribuer une valeur montaire * des rsultats dans les domaines de l.ducation5 de la sant 4 uelle valeur attribuer * la vie humaine ou encore * sa ualit75 voire de l. uit et de la rpartition du revenu# Toutes les valuations de cet ordre sont et resteront tou8ours tr&s discutables# En outre5 m>me lors u.on russit * les exprimer en dollars5 les coFts et les avantages doivent >tre actualiss * un point commun dans le temps afin u.on puisse les comparer# 1es auteurs traitant des anal3ses coFts/avantages sont loin de l2unanimit * ce su8et# ;ls continuent * discuter du taux d.actualisation optimal# Dans son $uide de l#anal.se avantages=co"ts5 le !onseil du Trsor recommande * l.valuateur de faire une anal3se de ris ue 4simulation75 avec une fourchette de taux se situant autour de %- p# %-- par anne5 compte tenu de l.inflation#
116
Chapitre 5
!thodes ana #ti$ues
1.valuateur devrait tou8ours faire une anal3se de sensibilit des h3poth&ses sous/8acentes aux anal3ses coFts/avantages et coFt/ efficacit5 pour vrifier la solidit des rsultats obtenus# !ompte tenu des h3poth&ses u.il faut poser pour comparer les avantages et les coFts d.un programme5 l.valuateur aurait intr>t * effectuer une anal3se de sensibilit afin de dterminer dans uelle mesure ses conclusions sont fonction de chacune de ses h3poth&ses# En outre5 il devrait s.efforcer de vrifier * uel degr ces conclusions varient lors ue les h3poth&ses changent# Si les rsultats de l.anal3se dpendent largement de la valeur d.un intrant donn5 il peut valoir la peine de supporter le coFt d.tudes supplmentaires pour vrifier cette valeur# Soulignons ue5 contrairement * certains autres t3pes de mthodes d.valuation5 l.anal3se coFt/efficacit permet * l.valuateur d.effectuer une anal3se de sensibilit * la fois s3stmati ue et rigoureuse# An a parfois recours * l.anal3se coFt/efficacit lors u.il est trop difficile de convertir en termes montaires les valeurs u.elle utilise# 1.anal3se coFt/efficacit permet parfois * l.valuateur de comparer et de classer les solutions de rechange mais5 comme les avantages ne sont pas convertis en dollars5 il est impossible de dterminer la valeur nette du programme ou de comparer des programmes diffrents en se fondant sur les m>mes crit&res# Par contre5 l.anal3se coFts/avantages permet d.utiliser des techni ues gr:ce aux uelles il est possible de comparer et d.valuer m>me des coFts et des avantages ui sont difficiles * mesurer en termes montaires# Malheureusement5 elle exige souvent des a8ustements dlicats des mesures des coFts et des avantages en raison de l.utilisation d.h3poth&ses incertaines5 ce ui ris ue d.in uiter les gestionnaires ui craignent souvent5 parfois * raison5 ue ces h3poth&ses et ces a8ustements ris uent de favoriser la manipulation des rsultats en privilgiant n.importe uel biais ventuel de l.anal3ste# De plus5 la dtermination des coFts et des avantages est souvent d.autant plus difficile ue les minist&res et organismes publics ne conservent pas * cet gard des dossiers gr:ce aux uels il serait facile de les comparer# Pour la plupart des programmes5 les donnes sur les coFts ue les services intresss conservent ont trait * de nombreuses activits et sont organises pour faciliter la t:che des administrateurs5 et non celle de l.valuateur#
R.rences # $nal7se coDts-avantages et anal7se coDt-e..icacit

Angelsen5 Arild et Mssif Eashid Sumaila5 <ard Methods for Soft Policies : Environmental and Social *ost= benefit Anal.sis5 Dergen5 Lorv&ge : ;nstitut Michelsen5 %++,# Australie5 minist&re des Cinances5 <andboo& of *ost= benefit Anal.sis5 !anberra5 %++%# Dan ue mondiale5 ;nstitut de dveloppement conomi ue5 'he Economics of Project Anal.sis : A Practitioner#s $uide5 Vashington 4D!75 %++%#
117
!thodes ana #ti$ues
Chapitre 5
Delli5 P#5 $uide to Economic Appraisal of %evelopment Projects5 Vashington 4D!7 : Dan ue mondiale5 %++0# DentQover5 T#D#5 !ovdlo5 U#T# et T# MumpoSer5 Denefits Assessment : 'he State of the Art#5 Dordrecht5 Pa3s/Das : D# Eeidel Publishing !o#5 %+(0# !anada5 Dureau du Urificateur gnral5 I1e choix et l.application des techni ues de collecte des lments probants en vrification d.optimisation des ressourcesJ5 Anal.se co"ts=avantages5 AttaSa5 %++$5 annexe D,# !anada5 Secrtariat du !onseil du Trsor5 $uide de l#anal.se avantages=co"ts5 AttaSa5 %++) 4doit paraNtre pendant l2t %++)7# Rarberger5 A#!#5 Project Evaluation : *ollected Papers5 !hicago : MarQham Publishing !o#5 %+)'# Miller5 T#!# ;;; et D# \andle5 Denefit= cost Anal.ses of Social Regulation5 Vashington : American Enterprise ;nstitute5 %+)+# Sang5 R#K#5 Project Evaluation5 LeS \orQ : Vilson Press5 %+((# Sassone5 P#X# et V#A# Schaffer5 *ost= benefit Anal.sis : A <andboo&5 LeS \orQ : Academic Press5 %+)(# Schmid5 A#A#5 Denefit= cost Anal.sis : A Political Econom. Approach5 Doulder : VestvieS Press5 %+(+# Self5 P#5 Econocrats and the Polic. Process : 'he Politics and Philosoph. of *ost= benefit Anal.sis5 1ondres : Macmillan5 %+),# SQabursQis5 Andre8s et CredricQ !# !ollignon5 I!ost/effectiveness Anal3sis of Uocational Eehabilitation ServicesJ5 *anadian 9ournal of Program Evaluation5 Uol# 05 Lo "5 octobre/novembre %++%5 p# % * "$# SQelton5 ;an#5 ISensitivit3 Anal3sis in Multi/criteria Decision Aids : A Demonstration of !hild !are Leed AssessmentJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo# %5 avril/mai %++'5 p# %-' * %%0# Sugden5 E# et A# Villiams5 'he Principles of Practical *ost= benefit Anal.sis5 Axford : Axford Mniversit3 Press5 %+)(# Thompson5 M#5 Denefit= cost Anal.sis for Program Evaluation5 Thousand AaQs : Sage Publications5 %+(-# Uan Pelt5 M# et E# Timmer5 *ost= benefit Anal.sis for 2on= Economists5 ;nstitut d.conomie des Pa3s/Das5 %++"# Vatson5 Kenneth5 IThe Social Discount EateJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# ++ * %%(#
118
Chapitre 5
!thodes ana #ti$ues
\ates5 Drian T#5 Anal.,ing *osts Procedures Processes and @utcomes in <uman Services5 Thousand AaQs : Sage Publications5 %++0#
'otes #
119
!thodes ana #ti$ues
Chapitre 5
4)7
R su$
Dans ce chapitre5 nous avons dcrit plusieurs mthodes d.anal3se des donnes ui devraient faire partie intgrante de la stratgie d.valuation5 dans la prati ue# 1es lments de cette stratgie devraient d.ailleurs former un tout cohrent dans le uel les uestions * valuer5 le mod&le5 les mthodes de collecte des donnes et la techni ue d.anal3se des donnes optimale devraient s.agencer aussi harmonieusement ue possible# Lous avons tudi une vaste gamme de mthodes d.anal3se dans ce manuel5 en dcrivant plusieurs t3pes d.anal3ses statisti ues et non statisti ues d.valuation des rsultats d.un programme et de mthodes d.estimation de leurs retombes5 notamment gr:ce * l.utilisation de mod&les5 ainsi ue des mthodes de dtermination des coFts# ;l sera bien sFr tou8ours difficile de dcider uand et comment utiliser une mthode donne5 puis de le faire habilement et 8udicieusement#
120
Chapitre 6
Conc usion
'(a"itre 5 'ON'LUSIONS
Lous avons anal3s les principaux facteurs dont l.valuateur devrait tenir compte lors u.il con<oit des stratgies d.valuation des rsultats d.un programme5 en concentrant notre anal3se sur l.interaction entre les facteurs suivants : @ @ le contexte du programme et de la prise de dcisions9 la stratgie d.valuation elle/m>me 4mod&les5 collecte des donnes et anal3se des donnes7#
Lous avons consacr trois chapitres aux principaux aspects de l.laboration des stratgies d.valuation : les mod&les 4chapitre '75 la collecte des donnes 4chapitre $7 et les mthodes anal3ti ues 4chapitre ,7# En l.occurrence5 l.ob8ectif est le suivant : les valuations doivent produire des constatations et des conclusions sur le rendement du programme * la fois opportunes5 pertinentes5 crdibles et ob8ectives5 fondes sur une collecte et une anal3se des donnes valides et fiables# En outre5 les rapports d.valuation devraient prsenter les constatations et les conclusions clairement5 de fa<on uilibre5 tout en prcisant leur fiabilit# !.est notamment sur ces normes ue les minist&res et les organismes fdraux se fondent pour mener leurs activits internes d.auto/valuation et d.amlioration de la ualit# = mesure ue l.exprience du !anada en mati&re d.valuation s.largira et s.approfondira5 il viendra5 sans aucun doute5 s.3 a8outer d.autres normes de ualit prsentant un intr>t particulier pour divers groupes d.valuateurs canadiens et pour leurs clients#
121
%n$u&tes
'nne(e 1
Anne8e & EN0UATES

Dans la section $#,5 nous avons tudi les en u>tes en tant ue mthodes de collecte des donnes pour l.valuation des programmes9 nous avons 8oint * cette section une liste de rfrences * consulter pour obtenir des renseignements supplmentaires * ce su8et# !.tait ncessaire parce ue la conception d.une en u>te devrait normalement mettre * profit la comptence des spcialistes du domaine# !ompte tenu de la fr uence d.utilisation des en u>tes dans les valuations5 nous avons 8ug opportun d.a8outer la prsente annexe au manuel pour 3 prsenter une anal3se plus dtaille des principaux facteurs dont il faut tenir compte dans la conception d.une en u>te# 'anmoins/ cette annexe ne doit pas tre considre comme substituable 0 la consultation de spcialistes% 1a conception d.une en u>te comporte trois volets fondamentaux : la conception de l.!chantillonnage5 le choix de la m!thode d#enquIte et l.tablissement de l.instrument de mesure# Lous avons anal3s bri&vement chacun de ces volets en prcisant les principaux cueils ui 3 sont associs#
&)&
+(anti!!onna#e
1ors u.il n.est ni possible ni efficient d.tudier toute la population vise par le programme5 il faut utiliser une mthode d.chantillonnage# 1a porte et la nature de cette mthode devraient satisfaire aux trois exigences suivantes#
)es constatations doivent tre gnralisables 0 l!ensemble de la population vise%

Si l.valuateur doit prsenter des conclusions au su8et de l.ensemble de la population vise en se fondant sur une en u>te aupr&s d.un chantillon5 il doit s.assurer ue les constatations tires de l.en u>te seront gnralisables * toute cette population# Si tel est le cas5 il doit habituellement avoir recours * un chantillon alatoire 4plut?t u.* un chantillon non alaloire7# 1.valuateur doit >tre tr&s conscient du ris ue de biais statisti ues ui se produisent normalement lors u.un chantillon non alatoire est considr comme un chantillon alatoire et u.on en tire des infrences in8ustifies# !es biais sont souvent attribuables * une utilisation inapproprie ou ngligente des mthodes d.chantillonnage alatoire#
122
'nne(e 1
%n$u&tes
)a mthode choisie doit satis.aire aux exigences minimales de prcision%

1e degr de prcision et le niveau de confiance attendus de l.en u>te doivent >tre prciss# 1a thorie statisti ue peut fournir des estimations de l.erreur d.chantillonnage pour des chantillons de diffrentes tailles5 autrement dit de la prcision des estimations# ;l s.ensuit ue la taille de l.chantillon serait fonction du degr de prcision recherch# 1.valuateur devrait accorder plus d.importance * la prcision u.* la taille de l.chantillon5 prise isolment# Eappelons ici u.il existe diffrentes formules de calcul de la taille de l.chantillon ainsi ue diffrents t3pes de mesures 4ou d.estimations75 notamment l.importance d.une caractristi ue de la population et la proportion de la population dans une catgorie donne# ;l n.est pas rare u.on utilise la mauvaise formule pour calculer la taille minimale de l.chantillon ncessaire#
)es coDts d!chantillonnage doivent respecter les limites du budget%

!ertaines mthodes d.chantillonnage5 comme l.chantillonnage stratifi et l.chantillonnage rpt5 ont t con<ues afin de rduire * la fois la taille de l.chantillon et le coFt de la prise des mesures# = cet gard5 il convient de souligner ue le raffinement des mthodes d.chantillonnage peut se rvler rentable# Apr&s avoir pos ces trois exigences5 on peut passer * l.tablissement du processus d.chantillonnage5 ui comprend les six tapes suivantes# 4i7 D.inir la population% !ette dfinition doit >tre prcise et dtaille9 elle comprend souvent la date5 le lieu et les caractristi ues socio/ conomi ues pertinentes# Par exemple : toutes des femmes5 de %( ans et plus5 habitant l.Antario5 a3ant particip au programme entre le %, et le '- novembre %+(" et a3ant actuellement un emploi# Prciser la base de sondage% 1a base de sondage est une liste des lments de la population 4p# ex#5 noms dans un annuaire tlphoni ue5 liste d.lecteurs5 liste de prestataires au dossier7# Si elle n.existe pas5 il peut falloir la crer 4totalement ou partiellement7 en appli uant une stratgie d.chantillonnage# Prciser l!unit d!chantillonnage% An entend par l* l.unit emplo3e pour l.chantillonnage5 comme le lieu5 le p:t de maisons5 le mnage ou l.entreprise# Prciser la mthode d!chantillonnage% !.est la mthode utilise pour choisir les units d.chantillonnage 4p# ex#5 chantillonnage s3stmati ue ou stratifi7# Dterminer la taille de l!chantillon% ;l s.agit alors de dterminer le nombre d.units d.chantillonnage ainsi ue le pourcentage de la population * inclure dans l.chantillon#
4ii7
4iii7
4iv7
4v7
123
%n$u&tes
'nne(e 1
4vi7
Choisir l!chantillon%
Des erreurs attribuables * d.autres facteurs u.* l.chantillonnage peuvent se glisser * cha ue tape de ce processus# Par exemple5 la population dfinie peut ne pas correspondre * la population cible ou la base de sondage peut ne pas cogncider exactement avec la population# En pareil cas5 les mesures ou infrences affectes peuvent >tre biaises5 et donc trompeuses# Supposons par exemple u.on effectue un sondage aupr&s des bnficiaires de subventions dans le cadre d.une valuation d.un programme d.aide * un secteur d.activit industrielle et ue la base de sondage des entreprises se limite * celles ui ont re<u plus u.un certain montant# Dans ces conditions5 il est bien vident ue toute gnralisation des rsultats portant sur l.ensemble des bnficiaires de subventions ne serait pas valide si elle tait fonde sur un chantillon choisi * partir de cette base# !es erreurs attribuables * d.autres facteurs peuvent aussi s.introduire dans pres ue toutes les activits d.en u>te# Par exemple5 les rpondants peuvent interprter diffremment les uestions5 les proposs au traitement des rsultats peuvent faire des erreurs5 et il est tou8ours possible u.il 3 ait des erreurs dans la base de sondage m>me# Dref5 il peut 3 avoir des erreurs autres ue celles ui sont attribuables * l.chantillonnage5 aussi bien dans les en u>tes sur des chantillons ue dans les recensements5 alors ue les erreurs d.chantillonnage ne sont possibles5 bien entendu5 ue dans le premier de ces deux t3pes d.en u>te#
&)-
M t(odes den9u;te
!.est habituellement la techni ue de collecte des donnes utilise ui dtermine le genre d.en u>te# 1e choix de cette techni ue est donc extr>mement important pour toutes les en u>tes fondes sur des rponses individuelles# Lous allons maintenant anal3ser les trois mthodes d.en u>te de base#
(ntrevues tlphoniques
Pour tablir son chantillon5 l.en u>teur part d.une base de sondage contenant des numros de tlphone5 choisit une unit d.chantillonnage dans cette base et ralise une entrevue tlphoni ue avec une personne bien prcise ui rpond * l.appel ou encore avec la premi&re personne ui 3 rpond# ;l existe aussi une autre techni ue5 dite de composition alatoire5 o[ l.en u>teur compose un numro choisi au hasard sans m>me savoir s.il existe ou si l.abonn est une entreprise5 un h?pital ou un mnage# Dans la prati ue5 les deux techni ues sont utilises ensemble# Par exemple5 il est courant d.avoir recours * celle de la composition alatoire pour produire une premi&re liste de numros# Ensuite5 on choisit au hasard des numros dans cette liste pour produire le 8eu de numros de l.chantillon#
(ntrevues directes
;l existe essentiellement trois fa<ons de recueillir des renseignements gr:ce * des entrevues9 elles se pr>tent toutes bien aux entrevues directes# M>me si elles sont toutes
124
'nne(e 1
%n$u&tes
utilisables aussi pour raliser des entrevues tlphoni ues5 il est extr>mement rare ue l.une ou l.autre des deux premi&res donnent de bons rsultats dans ce contexte# !hacune suppose une prparation5 une conceptualisation et des instruments diffrents5 et chacune prsente des avantages et des inconvnients# Uoici les trois fa<ons de raliser des entrevues : @ @ @ entrevues non structures9 entrevues fondes sur un guide9 entrevues suivant une prsentation t3pe# (ntrevues non structures !ette fa<on de procder est enti&rement fonde sur des uestions poses de fa<on spontane au cours de l.entrevue5 souvent dans le cadre d.une observation continue des activits du programme# Dans ce genre d.entrevue5 il arrive ue l.interlocuteur ne se rende m>me pas compte u.il est interrog# 1.avantage de cette fa<on de procder est de permettre * l.valuateur de tenir compte des diffrences individuelles et situationnelles9 il peut personnaliser ses uestions de fa<on * avoir un change en profondeur avec son interlocuteur5 dans une atmosph&re dtendue# !.est une techni ue particuli&rement utile lors ue l.valuateur peut la mettre * profit pour explorer le programme sur une priode asseO longue5 ce ui lui permet de prparer ses entrevues en se fondant sur les rponses u.il a obtenues auparavant# Malheureusement5 les entrevues non structures ont l.inconvnient de s.tendre sur une longue priode5 puis u.il faut parfois plusieurs conversations avant d.obtenir rponse * une srie uniforme de uestions# En outre5 c.est une fa<on de procder plus vulnrable ue les autres aux effets et aux biais intervenant pendant l.entrevue5 puis u.elle dpend largement de l.habilet de l.en u>teur# (ntrevues .ondes sur un guide 1es guides d.entrevue sont des listes de uestions ou de th&mes * soulever pendant l.entrevue# ;ls sont con<us pour faire en sorte ue les m>mes uestions de base soient traites dans toutes les entrevues et proposent * l.en u>teur des aspects ou des su8ets u.il est libre d.explorer afin d.approfondir une uestion donne# Autrement dit5 ce sont des cadres5 dans les uels l.en u>teur con<oit et organise ses uestions et dcide des points * approfondir# !ette fa<on de procder a l.avantage de permettre * l.en u>teur d.exploiter au maximum le temps limit dont il dispose# 1.entrevue est plus s3stmati ue et plus compl&te parce ue les uestions * discuter sont prcises * l.avance# !.est une mthode particuli&rement utile pour les entrevues de groupe5 car elle permet * l.en u>teur de faire en sorte ue les participants ne s.cartent pas du su8et5 tout en tenant compte des points de vue individuels# Pourtant5 c.est une fa<on de procder ui prsente plusieurs inconvnients# En effet5 m>me avec un guide d.entrevue5 l.en u>teur peut parfois oublier des uestions
125
%n$u&tes
'nne(e 1
importantes# 1a souplesse dont il dispose pour l.enchaNnement et la formulation des uestions peut en outre rduire nettement la comparabilit des rponses# De plus5 la techni ue peut aussi sembler tr&s intimidante pour l.interlocuteur5 et l.impression ue celui/ci se fait de l.en u>teur peut aussi saper la validit et la fiabilit des rponses# (ntrevues suivant une prsentation t7pe 1ors u.il faut obtenir de cha ue personne interroge des renseignements strictement comparables5 on peut avoir recours * une prsentation t3pe permettant * l.en u>teur de poser les m>mes uestions * chacune# Avant le dbut des entrevues5 on rdige le texte des uestions ouvertes et fermes telles u.elles seront poses# Toutes les explications et les prcisions ncessaires sont formules * l.avance dans le texte5 comme d.ailleurs toutes les uestions ventuelles d.exploration# !ette mthode rduit le ris ue de biais de l.en u>teur5 puis ue celui/ci doit poser les m>mes uestions * cha ue rpondant# 1.entrevue est s3stmati ue et ne fait * peu pr&s pas appel au 8ugement de l.en u>teur# En outre5 l.anal3se des donnes est facilite5 puis u.on peut regrouper les uestions et les rponses ui se ressemblent# De plus5 le texte m>me du uestionnaire peut >tre soumis aux dcideurs avant le dbut des entrevues# Enfin5 comme l.en u>teur doit fonctionner dans un cadre prcis5 les entrevues sont habituellement plus courtes avec cette mthode u.avec les autres# Par contre5 ce genre d.entrevue ne permet pas * l.en u>teur d.approfondir les th&mes ui pourraient >tre soulevs seulement au cours de la conversation5 m>me si l.emploi de uestions ouvertes permet de mitiger un peu cet inconvnient# De plus5 c.est une fa<on de procder ui emp>che 8us u.* un certain point le chercheur de tenir compte des diffrences individuelles et des circonstances# "thodes combines Dans les tudes d.valuation5 la meilleure fa<on de procder est souvent une combinaison de la mthode du guide d.entrevue et de l.entrevue avec prsentation t3pe# ;l s.ensuit ue5 dans la plupart des cas5 un certain nombre de uestions sont formules d.avance5 uoi ue l.en u>teur dispose de la latitude voulue pour poser d.autres uestions et pour dcider uand il vaut la peine d.approfondir certains points# An utilise souvent une prsentation t3pe au dbut de cha ue entrevue5 apr&s uoi l.en u>teur est plus libre de s.intresser * d.autres su8ets gnraux pour le reste de l.entrevue#
(nqu te postale
1a troisi&me mthode d.en u>te de base consiste * envo3er le uestionnaire par la poste au rpondant5 en l.invitant * 3 rpondre et * le retourner * l.expditeur# Pour obtenir les taux de rponse levs indispensables * une bonne anal3se5 on utilise essentiellement des uestions fermes dans la plupart des en u>tes de ce genre# !.est une mthode ui a l.avantage d.atteindre un gros chantillon de rpondants * un coFt relativement modi ue# En outre5 avec des uestions uantitatives fermes5 l.anal3se des donnes est relativement simple5 puis u.on peut comparer directement les rponses
126
'nne(e 1
%n$u&tes
et les rsumer et les regrouper facilement# Par contre5 cette mthode prsente l.inconvnient ue les rpondants doivent adapter leur vcu et leurs opinions pour les faire correspondre * des catgories prtablies5 ce ui peut fausser ce u.ils voulaient dire en limitant leurs choix# Pour pallier ces difficults5 on a8oute souvent des uestions ouvertes afin ue les rpondants puissent prciser et dvelopper leurs rponses# !ela dit5 l.un des principaux cueils associs aux en u>tes postales est leur faible taux de rponse5 ui peut aussi poser un probl&me dans le cas des en u>tes tlphoni ues et des entrevues directes5 uoi ue dans une moindre mesure# Mn faible taux de rponse peut >tre imputable * de nombreux facteurs5 dont la non/disponibilit des rpondants ou le refus de participer# An a fr uemment recours aux trois stratgies suivantes pour accroNtre le taux de rponse : @ @ @ relancer les non/rpondants par tlphone9 interroger les non/rpondants9 faire un suivi par la poste#
Dans le premier cas5 l.en u>teur tlphone aux non/rpondants P apr&s un certain temps P pour les presser de remplir le uestionnaire# 1a deuxi&me stratgie consiste * prendre un chantillon de non/rpondants pour remplir le uestionnaire avec eux au cours d.une entrevue tlphoni ue ou directe# Ensuite5 on pond&re les rsultats de ces entrevues afin u.ils soient reprsentatifs de l.ensemble de la population des non/rpondants5 puis5 en combinant les rsultats avec ceux des rpondants5 on arrive * faire des gnralisations non biaises * l.ensemble de la population# Toutefois5 pour ue cette techni ue soit valide5 il faut avoir tabli scientifi uement l.chantillon des non/rpondants sollicits# 1a troisi&me stratgie5 le suivi postal5 ressemble * celle de la relance tlphoni ue5 mais elle est habituellement moins efficace# Elle consiste * envo3er de nouveau le uestionnaire aux non/rpondants apr&s un certain temps5 en leur demandant de bien vouloir le remplir# De toute vidence5 il peut arriver u.on ne puisse pas faire grand/chose pour amliorer le taux de rponse5 faute de temps et d.argent# ;l faut donc tenir compte du taux de non/rponse uand on tire des conclusions sur la population tudie * partir de l.information recueillie aupr&s des membres de l.chantillon# Mn taux de rponse faible dforme l.estimation des rsultats5 tant donn u.il est possible ue les attitudes ou les intr>ts des non/rpondants ne correspondent pas * ceux des rpondants# Reureusement5 il existe plusieurs mthodes ui permettent de corriger le biais attribuable * un mauvais taux de rponse5 comme le sous/ chantillonnage des non/rpondants#
127
%n$u&tes
'nne(e 1
(nqu te sur des ob-ets 6inventaire2

1es mthodes d.en u>te ue nous venons de dcrire s.appli uent * des personnes5 mais on peut aussi raliser des en u>tes sur des ob8ets5 comme des immeubles5 des maisons ou toutes sortes d.articles# 1es principes d.chantillonnage utiliss dans le cas des personnes valent galement pour les ob8ets# En fait5 l.lment le plus important d.une en u>te est un en u>teur comptent5 car c.est * lui de veiller * ce ue des mesures appropries soient prises5 de les colliger et de les transmettre fid&lement# Dans les en u>tes sur des ob8ets5 le ris ue de distorsion des mesures est au moins aussi lev ue le ris ue de dformation attribuable aux biais de l.en u>teur dans les en u>tes bases sur des entrevues# Prenons par exemple le cas d.un programme d.aide * un secteur d.activit industrielle con<u pour inciter les entreprises * mettre au point du matriel d.usine moins nergivore# An pourrait mener une tude scientifi ue sur un chantillon de ce matriel afin de mesurer les conomies d.nergie u.il rendrait possibles# Dans une situation comme celle/l*5 il est manifestement indispensable d.avoir recours * des en u>teurs spcialiss capables de prendre les mesures ncessaires avec prcision#
&)/
Instru$ents de $esure
1a collecte de donnes suppose gnralement u.on prenne des mesures# Ar5 comme la ualit d.une valuation est fonction de celle des mesures prises5 il faudrait prendre soin de se donner des instruments de mesure capables de produire des donnes valides et fiables# 4Pour une excellente anal3se de l.laboration de uestionnaires5 voir Dradburn et alA5 %+)+#7 Dans les en u>tes5 l.instrument de mesure est un uestionnaire9 or5 la prparation de uestionnaires est loin d.>tre une science exacte# An estime d.ailleurs u.au moins "- * '- p# %-- de la marge d.erreur des en u>tes est attribuable * l.ambigugt des uestions# Statisti ue !anada distribue * ce su8et un guide de sa conception intitul *onception d#un questionnaire de base# 1a conception d.un uestionnaire comprend les cin tapes suivantes :
D.inir les concepts 0 mesurer

!ela peut sembler tonnant5 mais la t:che la plus difficile pour la conception d.un uestionnaire consiste * prciser exactement l.information recherche# = cette fin5 il faut habituellement : @ @ @ @ dpouiller des tudes analogues5 voire effectuer des recherches exploratoires9 bien comprendre les uestions * valuer dans l.en u>te9 comprendre les concepts * mesurer et la fa<on de le faire9 formuler l.h3poth&se * valuer9
128
'nne(e 1
%n$u&tes
@ @
comprendre comment les rponses obtenues fourniront des indications sur les uestions * valuer9 avoir une bonne ide du degr de validit et de fiabilit ncessaire pour arriver * produire de l.information5 des donnes ou des lments de preuve crdibles#
Avant de passer * l.tape suivante5 la deuxi&me5 il faut traduire les ob8ectifs de la recherche en besoins d.information ue l.en u>te est susceptible de combler#
Choisir les questions 6ou les points 0 mesurer2 et tablir les chelles de pondration
1es uestions peuvent >tre prsentes de diverses fa<ons 4ouvertes ou fermes5 * choix uni ue ou * choix multiples5 et ainsi de suite7# 1.chelle choisie pour l.attribution de valeurs aux rponses ventuelles a elle aussi son importance5 compte tenu de son incidence sur la validit des mesures#
Rdiger les questions

!.est essentiellement un travail de communication5 car il s.agit de savoir comment formuler des uestions sans donner prise * l.ambigugt ou * des biais5 compte tenu des caractristi ues des rpondants# Dans bien des secteurs de programme5 il existe des uestions et des mesures toutes faites dont l.valuateur peut se servir avec profit# Par exemple5 le !entre de recherche sur les en u>tes de l.Mniversit du Michigan a dcrit divers mo3ens de mesurer les attitudes ps3chosociologi ues et valu les avantages et les inconvnients de chacun d.entre eux 4Eobinson et Shaver5 %+)'7#
Dcider de l!enchaCnement des questions et de la prsentation du questionnaire

;l faut ue l.enchaNnement des uestions veille l.intr>t des rpondants5 tout en ne provo uant aucun biais5 comme celui ui se manifeste lors ue l.ordre des uestions semble mener * une conclusion prdtermine#
4aire un essai pralable du questionnaire

Mn essai pralable du uestionnaire permet de dtecter les uestions ambigu^s5 les formulations boiteuses et les omissions# !et essai devrait >tre ralis aupr&s d.un petit chantillon de la population vise 4voir Smith5 %+),7#
&)2
Esti$ation des +o?ts
Pour estimer les coFts d.une en u>te5 il faut diviser son excution en plusieurs lments distincts5 puis calculer le coFt de revient de chacun d.entre eux5 selon u.ils seront raliss * l.interne ou * l.externe# 1e coFt par entrevue pourrait >tre fond sur
129
%n$u&tes
'nne(e 1
les coFts de la conception de l.en u>te5 de la collecte et de la mise en forme des donnes5 du codage et de la transcription des donnes brutes sous forme exploitable par machine5 ainsi ue de la compilation ou de l.anal3se des donnes# An peut confier des en u>tes * contrat aux groupes des en u>tes spciales de Statisti ue !anada ou * des entreprises prives spcialises# Statisti ue !anada publie d.ailleurs un rpertoire des organismes d.en u>te dans le uel leurs domaines de spcialisation sont prciss#
&)4
A.anta#es et in+on. nients
Lous allons maintenant passer * l.tude de trois mthodes d.en u>te portant sur des personnes5 dans le contexte des valuations# Pour une anal3se des avantages et des inconvnients des aspects statisti ues des en u>tes5 voir Smith 4%+),75 le chapitre ( et Xaltung 4%+0)7#
(ntrevues directes
1.entrevue directe veille l.intr>t des rpondants et accroNt le taux de participation# !.est une mthode ui permet * l.en u>teur de poser des uestions complexes5 pouvant exiger des explications ou des aides visuelles et mcani ues# Elle a aussi l.avantage de lui donner l.occasion de se faire prciser les rponses# An opte gnralement pour elle lors u.il faut obtenir beaucoup de renseignements dtaills des rpondants# En outre5 elle est tr&s souple5 puis ue l.en u>teur peut sauter les uestions ui lui semblent non pertinentes et en poser d.autres# 1.en u>teur peut aussi observer les caractristi ues des rpondants et les noter# Hui plus est5 c.est une mthode * la uelle on peut avoir recours lors u.il est impossible d.tablir une base de sondage ou une liste des rpondants# D.un autre c?t5 elle prend beaucoup de temps5 elle est difficile * administrer et * contr?ler et5 de plus5 elle est tr&s coFteuse# Enfin5 elle est vulnrable aux biais attribuables * l.en u>teur et aux rpondants lo uaces5 ce dernier se manifestant lors ue certaines personnes s.expriment plus ouvertement ue d.autres5 de sorte ue leurs opinions sont plus en vidence#
(ntrevues tlphoniques
1.entrevue tlphoni ue est une mthode * la fois rapide5 conomi ue et facile * administrer et * contr?ler5 * condition d.>tre ralise * partir d.un point central# 1es rsultats peuvent >tre entrs directement dans un ordinateur5 si le s3st&me tlphoni ue est raccord * un terminal5 ce ui rend cette approche tr&s efficace# !e genre d.entrevue est un excellent mo3en d.avoir acc&s * des gens difficiles * 8oindre5 comme des cadres suprieurs occups# Par contre5 lors u.on communi ue par tlphone5 il est difficile de faire de longues entrevues5 de poser des uestions complexes ou d.utiliser les aides visuelles ou mcani ues# De plus5 comme certaines personnes ont des numros de tlphone confidentiels ou n.ont pas le tlphone5 c.est une mthode ui peut comporter un biais attribuable * l.chantillonnage# Enfin5 le biais attribuable * la non/rponse peut lui aussi poser un probl&me5 puis ue le rpondant
130
'nne(e 1
%n$u&tes
peut raccrocher n.importe uand# ;l ne faut pas non plus oublier le ris ue de biais attribuables aux rpondants lo uaces#
(nqu tes postales

1e principal avantage des en u>tes postales est leur coFt modi ue9 leur principal inconvnient est imputable au nombre lev de variables dont il est impossible de tenir compte puis u.il n.3 a pas d.en u>teur5 par exemple5 l.identit du rpondant5 les personnes ue celui/ci peut avoir consultes pour l.aider * rpondre au uestionnaire5 la vitesse de rponse5 l.ordre dans le uel les rponses sont donnes ou la comprhension u.a le rpondant des uestions# Lanmoins5 pour bien des t3pes de uestions5 l.exprience a clairement prouv ue les en u>tes postales donnent des rsultats plus prcis ue les autres mthodes d.en u>te# De plus5 elles permettent d.atteindre beaucoup de gens5 et les rpondants sont souvent plus ouverts lors u.ils rpondent par crit ue lors u.ils doivent rpondre de vive voix# Malheureusement5 si cette mthode a l.avantage d.>tre peu coFteuse5 elle a aussi l.inconvnient ma8eur d.un taux de rponse peu lev et d.un biais attribuable * la non/rponse# En outre5 les en u>tes postales exigent beaucoup de temps 4pour l.envoi5 le traitement et la rponse7 et elles emp>chent l.en u>teur d.approfondir et de clarifier certains points#
Rsum
!omme nous l.avons vu5 cha ue mthode d.en u>te a ses avantages et ses inconvnients# Pour l2valuation5 il faut tenir compte des facteurs suivants : @ @ @ @ @ @ @ @ exactitude 4absence de biais79 uantit de donnes * recueillir9 souplesse 4possibilit d.avoir recours * diverses techni ues d.entrevue79 biais attribuable * l.chantillonnage 4possibilit de constituer un chantillon reprsentatif79 biais attribuable * la non/rponse 4ris ue ue les non/rpondants soient s3stmati uement diffrents des rpondants79 coFt par entrevue9 vitesse de rponse9 faisabilit oprationnelle 4possibilit de respecter les contraintes oprationnelles5 telles ue les coFts et le personnel7#
1es en u>tes sur les ob8ets impli uent la collecte de renseignements ob8ectifs5 habituellement plus valides et plus crdibles ue les opinions et les impressions d.ventuels rpondants# Pourtant5 ces en u>tes ne sont pas exemptes de nombreuses erreurs5 notamment d.chantillonnage 41.chantillon est/il bien reprsentatif des
131
%n$u&tes
'nne(e 1
ob8etsG7 et de mesure 41.instrument de mesure utilis est/il prcis5 et l.valuateur s.en sert/il correctementG7# Enfin5 si bien con<ue soit/elle5 l.en u>te peut produire des donnes inutilisables lors u.elle est mal excute# 1es en u>teurs doivent >tre bien forms# ;l est essentiel de consacrer le temps et les ressources ncessaires * leur formation et * celle des prposs au codage# En effet5 il est possible d.accroNtre la fiabilit et la validit des rsultats en favorisant la plus grande uniformit possible de la comprhension du uestionnaire u.ont les en u>teurs et les codeurs5 de leur comptence et des instructions u.on leur donne#
'otes #
132
'nne(e 2
) ossaire
Anne8e GLOSSAIRE
$mpleur # Porte d.une mesure# $nal7se coDts-avantages # Anal3se comparant les avantages ue procure un programme aux coFts associs * son excution# Mne valeur montaire est attribue aux avantages et aux coFts# $nal7se coDt-e..icacit # Anal3se comparant les coFts d2un programme * ses retombes# Dans cette anal3se5 les retombes ne sont pas traduites en valeur montaire# $nal7se coDts-avantagesEcoDt-e..icacit ex ante # Anal3se coFts/avantages ou coFts/efficacit portant non pas sur les avantages et les coFts rels d.un programme5 mais sur des h3poth&ses de coFts et d2avantages tablies a priori# !e genre d.anal3se est utilis pour la planification plut?t ue pour l.valuation# $nal7se coDts-avantagesEcoDt-e..icacit ex post # Anal3se coFts/avantages ou coFts/efficacit effectue lors u.un programme fonctionne depuis un certain temps afin d2valuer les coFts et les avantages r!els# $nal7se statistique # Manipulation de donnes numri ues ou catgori ues afin de prvoir des phnom&nes5 de tirer des conclusions sur des rapports entre variables ou de gnraliser des rsultats# $nal7se statistique descriptive # !hiffres et tableaux servant * rsumer et * prsenter succinctement une information uantitative# $nal7se in.rentielle statistique # Anal3se statisti ue utilisant des mod&les pour confirmer les rapports entre variables ou pour gnraliser les constatations * l2ensemble de la population# $ppariement des su-ets # Division de la population en IblocsJ tablis selon une ou plusieurs variables autres ue le programme susceptibles d.exercer une influence sur l.effet du programme# $spects d!e..icacit # !atgorie d.aspects sur les uels porte une valuation5 lis * la ralisation des ob8ectifs d.un programme et aux autres cons uences et effets escompts ou non du programme# $ttribution # Estimation de la mesure dans la uelle les rsultats observs sont attribuables * un programme5 ce ui signifie ue le programme a eu des effets incrmentiels#
133
) ossaire
'nne(e 2
$ttrition # Cait pour les participants * un traitement 4ou les membres d.un groupe tmoin7 de dlaisser le programme# !e facteur peut nuire * la comparabilit des groupes exprimental et tmoin et constituer un obstacle * la validit interne# *ase de sondage # 1iste des lments de la population sonde# *iais attribuable 0 la slection # Cait5 pour les groupes exprimental et tmoin relatifs * un programme5 d.>tre au dpart ingaux sur le plan statisti ue5 pour un ou plusieurs facteurs importants# !.est un obstacle * la validit interne# *iais attribuable 0 l!enqu teur # ;nfluence ue l.en u>teur exerce sur le rpondant# !ette influence peut >tre attribuable * plusieurs facteurs5 dont les caractristi ues ph3si ues et ps3chologi ues de l.en u>teur5 ui peuvent susciter des rponses diffrentes selon le rpondant# *iais attribuable 0 l'ordre des rponses # Cacteur de distorsion des rsultats caus par l.ordre dans le uel les uestions sont poses dans une en u>te# *iais attribuable aux essais # !hangements observs dans le cadre d.une uasi/exprience ui peuvent >tre attribuables au fait ue les participants connaissent bien l.instrument de mesure# !.est un obstacle possible * la validit interne# *iais attribuable aux instruments # !ons uence d.un changement d.instrument selon la mesure lors u.on a recours * des en u>teurs diffrents# !.est un obstacle * la validit interne# *iais attribuable aux rpondants loquaces # Diais ui se produit lors ue certaines personnes s.expriment plus franchement ue d.autres5 et ue leurs points de vue ressortent davantage# *iais de non-rponse # Cacteur de distorsion attribuable * la non/rponse : les rponses provenant d.units d.chantillonnage ui fournissent une information peuvent ne pas correspondre aux rponses des units d.chantillonnage ui ne rpondent pas5 et ce sur des aspects importants# *iais principaux # Effets distincts de cha ue variable exprimentale# *iais statistiquement signi.icati. # Diais observ et probablement pas exclusivement attribuable au hasard# !e biais peut >tre vrifi au mo3en de tests statisti ues# Composition alatoire # Techni ue utilise pour les entrevues par tlphone et permettant de choisir un chantillon# 1.en u>teur compose un numro * l2aide d2un s3st&me de composition alatoire uelcon ue5 sans savoir si ce numro existe ni s.il s2agit du numro d.une entreprise5 d.un h?pital ou d.un mnage# Consultation de spcialistes # Mthode de collecte des donnes faisant appel aux opinions et aux connaissances de spcialistes dans des domaines fonctionnels en tant u.indicateurs des rsultats d.un programme# Dpouillement de la documentation spcialise # Mthode de collecte des donnes ui comprend l.examen de rapports de recherche5 de publications et de livres#
134
'nne(e 2
) ossaire
Di..usion ou imitation du traitement # Cait pour les rpondants appartenant * un groupe tmoin de ressentir eux aussi les effets destins au groupe exprimental 4expos au programme7# !.est un obstacle * la validit interne# Donnes longitudinales # Donnes recueillies au cours d.une priode9 il peut aussi s2agir d2une srie de donnes accumules concernant des personnes ou des entits# Donnes ob-ectives # Abservations dnues d.impressions personnelles et fondes sur des faits observables# 1es donnes ob8ectives peuvent >tre mesures uantitativement ou ualitativement# Donnes primaires # Donnes recueillies par une uipe d.valuation expressment pour l.valuation# Donnes qualitatives # Abservations catgori ues plut?t ue numri ues portant souvent sur les attitudes5 les perceptions et les intentions# Donnes quantitatives # Abservations numri ues# Donnes secondaires # Donnes recueillies et consignes par une autre personne ou une autre organisation 4ordinairement * une date antrieure75 habituellement * des fins autres ue celles de l.valuation en cours# Donnes sub-ectives # Abservations dans les uelles entrent en 8eu des sentiments5 des attitudes et des perceptions personnelles# 1es donnes sub8ectives peuvent >tre mesures uantitativement ou ualitativement# Donnes transversales # Donnes recueillies au m>me moment aupr&s de diverses entits# +cart t7pe # 1.cart t3pe d.un ensemble de mesures numri ues 4sur une Ichelle d.intervallesJ7 indi ue le degr de regroupement des mesures individuelles autour de la mo3enne# +chantillonnage alatoire # Slection d.units d.une population fonde sur le principe de la rpartition au hasard# ;l existe pour cha ue unit de la population une probabilit calculable 4diffrente de Oro7 d.>tre choisie# +chantillonnage non alatoire # !hoix des units d.un chantillon effectu de fa<on * ce cha ue unit de la population n2ait pas une probabilit calculable diffrente de Oro d.>tre choisie pour faire partie de l.chantillon# +chantillonnage par liste # Techni ue principalement utilise pour les entrevues tlphoni ues afin de prlever un chantillonnage# 1.en u>teur part d.une base de sondage renfermant des numros de tlphone5 choisit une unit dans cette base et ralise une entrevue tlphoni ue soit avec une personne prcise5 soit avec la premi&re ui rpond * ce numro# +chantillonnage strati.i # Techni ue d.chantillonnage alatoire suivant la uelle une population est divise en couches relativement homog&nes appeles strates# Des chantillons appropris sont choisis dans cha ue strate#
135
) ossaire
'nne(e 2
+chantillonnage subdivis # Techni ue d.chantillonnage alatoire impli uant le choix d.un certain nombre d.chantillons indpendants * partir d.une population plut?t ue celui d.un seul chantillon# !ha ue sous/chantillon est appel chantillon subdivis et est choisi indpendamment des autres en fonction du m>me plan d.chantillonnage# (..et d!interaction # Effet net combin d.au moins deux variables ui influent sur le rsultat d.une uasi/exprience# (nqu te # Mthode de collecte des donnes ui suppose une dmarche planifie en vue de recueillir les donnes re uises aupr&s d.un chantillon de la population vise 4ou au mo3en d.un recensement complet7# 1a population vise est compose des personnes ou des entits touches par le programme 4ou de personnes ou entits semblables7# (ntrevue non structure # Techni ue d.entrevue utilisant une conversation normale menant * des uestions spontanes5 souvent dans le cadre de l.observation rguli&re des activits d.un programme# (ntrevue suivant une prsentation t7pe # Techni ue d.entrevue utilisant des uestions ouvertes et des uestions fermes dont le texte est rdig avant l.entrevue# (rreur autre que d!chantillonnage # T3pe d.erreur non attribuable * l.chantillonnage se produisant dans pres ue toute activit d.en u>te 4m>me un recensement7# ;l peut s2agir par exemple de l.interprtation diffrente ue les rpondants donnent aux uestions5 d2erreurs de traitement des rsultats ou d2erreurs dans la base de sondage# (rreur d!chantillonnage # Erreur attribue * l.chantillonnage et * la mesure d.un segment de la population pour viter de devoir excuter un recensement dans les m>mes conditions gnrales# +tude de cas # Mthode de collecte des donnes ui suppose des tudes en profondeur de cas ou de pro8ets lis * un programme# !ette mthode comporte une ou plusieurs techni ues de collecte des donnes 4p# ex#5 entrevues5 tude de dossiers7# +tude de dossiers # Mthode de collecte des donnes impli uant l.examen des dossiers d2un programme# ;l existe ordinairement deux sortes de dossiers : les dossiers * caract&re gnral au su8et d.un programme et les dossiers portant sur des pro8ets5 clients ou participants particuliers# +vnements historiques # Bvnements non lis au programme5 mais influant sur les ractions des intresss# (xactitude # Diffrence entre une estimation faite * partir d.un chantillon et des rsultats obtenus * la suite d.un recensement# Dans les estimations non biaises5 prcision et exactitude sont s3non3mes# (xhaustivit # Btendue et profondeur maximales de l.examen des uestions faisant l2ob8et de l.valuation#
136
'nne(e 2
) ossaire
4acteurs de rgression # Pseudo/changements des rsultats d.un programme ui se produisent lors u.on a choisi pour un programme des personnes ou des units de traitement en raison de leurs rsultats extr>mes# !es facteurs sont un obstacle * la validit interne# 4iabilit # Degr au uel une mesure appli ue de fa<on rpte * une situation donne produit les m>mes rsultats5 pourvu ue la situation ne change pas d.une application * une autre# 1a fiabilit peut correspondre * la stabilit de la mesure dans le temps ou * la permanence de la mesure d.un endroit * un autre# 4ormule de la taille de l!chantillon # B uation utilise pour dterminer la taille minimale re uise de l.chantillon# !ette uation varie selon la sorte d.estimation * faire5 le degr de prcision recherch et la mthode d.chantillonnage# Froupe de comparaison # Xroupe ui n.est pas expos * un programme ou * un traitement# Uoir galement Igroupe tmoinJ# Froupe exprimental # En recherche5 groupe de su8ets ui bnficie du programme9 aussi appel groupe de traitement ou groupe expos au programme# Froupe tmoin # Dans les mod&les uasi/exprimentaux5 groupe de su8ets ui prouve toutes les influences5 sauf celles du programme5 exactement de la m>me fa<on ue le groupe expos * un traitement 4 u.on appelle aussi Igroupe exprimentalJ7# An peut l.appeler groupe non expos au programme# Fuide d!entrevue # 1iste de su8ets * aborder ou de uestions * poser au cours de l.entrevue# B7poth1ses plausibles # Autres fa<ons possibles d.expli uer les rsultats d.un programme5 c.est/*/dire influences autres ue celle du programme# &n.rence causale # Processus logi ue utilis pour tirer des conclusions * partir des donnes ou des lments de preuve sur les retombes d2un programme# 1ors u.on dit u.un programme a produit ou caus un certain rsultat5 cela signifie ue5 s.il n.avait pas exist 4ou s.il avait exist sous une forme ou avec une ampleur diffrentes75 le rsultat obtenu 4ou le niveau de rsultat7 ne se serait pas produit# &nstruments de mesure # ;nstruments utiliss pour recueillir des donnes 4p# ex#5 uestionnaires5 directives d.entrevue5 formulaires d.inscription des observations7# &nteraction entre la slection et le programme # Eceptivit inhabituelle des participants * un programme attribuable au fait u.ils sont conscients de participer au programme ou * une en u>te# !.est un obstacle * la validit interne et externe# &nteraction entre le milieu et le programme # Lon/reprsentativit du milieu dans le uel se droule le pro8et exprimental ou pilote par rapport au milieu envisag pour le programme# !.est un obstacle * la validit externe# &nteraction entre les vnements historiques et le programme # !onditions dans les uelles s.est droul le programme et ui ne sont pas reprsentatives des conditions futures# !.est un obstacle * la validit externe#
137
) ossaire
'nne(e 2
"aturation # !hangements des rsultats attribuables au temps plut?t u.au programme5 par exemple le vieillissement des participants# !.est un obstacle * la validit interne# "thode d!chantillonnage # Mthode de choix des units d.chantillonnage 4p# ex#5 chantillonnage s3stmati ue5 stratifi7# "thode de collecte des donnes # Mani&re dont sont runis les faits relatifs * un programme et * ses rsultats# 1e dpouillement de la documentation spcialise5 l.tude de dossiers5 les observations directes5 les en u>tes5 la consultation de spcialistes et les tudes de cas figurent parmi les mthodes de collecte des donnes fr uemment utilises pour l.valuation de programmes# "thodes anal7tiques directes # Mthodes utilises pour traiter les donnes afin de fournir des lments de preuve sur les retombes ou les effets directs d.un programme# "odalits multiples d!tablissement de la preuve # Mtilisation de plusieurs stratgies d.valuation indpendantes pour examiner la m>me uestion d2valuation5 * partir de sources de donnes ou de mthodes anal3ti ues des donnes diffrentes# "od1le d!entres-sorties # Mod&le conomi ue pouvant servir * anal3ser les dpendances mutuelles entre diffrents lments d.une conomie# !.est un mod&le s3stmati ue ui prsente les changes de biens et de services entre les segments de production et de consommation d.une conomie# "od1le d!valuation # Mod&le logi ue ou cadre conceptuel utilis pour tirer des conclusions au su8et des rsultats# "od1le d!valuation idal # !omparaison conceptuelle de deux ou de plusieurs situations identi ues en tout point5 sauf ue le programme s.appli ue dans un seul cas# Mn seul groupe 4le groupe exprimental7 bnficie du programme9 l.autre9 les autres groupes 4groupes tmoins7 sont exposs * toutes les influences pertinentes5 sauf celles du programme5 exactement de la m>me fa<on ue le groupe exprimental# 1es rsultats sont mesurs de mani&re identi ue pour cha ue groupe5 et toute diffrence observe peut >tre attribue au programme# "od1le implicite # Mod&le dans le uel il n.3 a pas de groupe tmoin officiel5 et o[ les mesures sont prises apr&s l.exposition au programme# "od1le macro-conomique # Mod&le des interactions entre les marchs des produits5 de la main/d.6uvre et des biens d.une conomie ui s2intresse aux niveaux de production et des prix5 compte tenu des interactions entre l.offre et la demande globales# "od1le micro-conomique # Mod&le du comportement conomi ue des acheteurs et vendeurs individuels sur un march donn et dans des circonstances particuli&res# "od1le quasi exprimental # Structure d.tude utilisant des groupes de comparaison pour faire des infrences causales5 mais sans recours * la randomisation pour constituer un groupe exprimental et un groupe tmoin# 1e premier groupe est ordinairement
138
'nne(e 2
) ossaire
ac uis9 le groupe exprimental est choisi pour correspondre le plus possible avec lui5 de fa<on * permettre des infrences sur les effets incrmentiels du programme# "od1le statistique # Mod&le ordinairement fond sur des recherches antrieures et permettant de transformer une mesure prcise des effets en une autre mesure prcise des effets5 une mesure prcise des effets en une gamme d.autres mesures des effets ou une gamme de mesures des effets en une autre gamme de mesures des effets# "od1les exprimentaux 6ou alatoires2 # Mod&les utiliss pour tablir l. uivalence initiale entre un ou plusieurs groupes tmoins et le groupe expos * un traitement en crant administrativement des groupes par assignation alatoire5 ce ui permet d.en assurer l. uivalence mathmati ue# !omme exemples de mod&les exprimentaux ou alatoires5 signalons les suivants : les mod&les avec groupes alatoires5 les mod&les * carr latin5 les mod&les fractionnels et les uatre groupes de Salomon# 'iveau de con.iance # Affirmation selon la uelle la valeur relle d.un param&tre pour une population donne se situe * l2intrieur d2un certain niveau de probabilit dans une fourchette spcifie de valeurs# 'on-rponse # Situation ui se produit lors u.on ne peut pas obtenir d.information aupr&s d.units d.chantillonnage# 9b-ectivit # Hualit des lments de preuve et des conclusions ui peut >tre vrifie par une personne autre ue les auteurs# 9bservation sur le terrain # Mthode de collecte des donnes ui suppose des visites aux endroits o[ un programme est excut# Elle a pour but d.valuer directement le contexte du programme5 ses activits et les personnes ui 3 participent# Politique montaire # Mesure de l.Btat exer<ant une influence sur la masse montaire et les taux d.intr>t# ;l peut aussi s.agir d.un programme# Population # Ensemble des units aux uelles s.appli uent les rsultats d.une en u>te# Pro.ondeur # Degr d.exactitude et de dtail d.une mesure# Randomisation # Mtilisation d.un plan de probabilit pour tablir un chantillon# An peut utiliser des tables de nombres alatoires5 des ordinateurs5 des ds5 des cartes5 etc# Stratgie d!valuation # Mthode utilise pour recueillir des donnes sur les retombes d2un programme# Elle comprend un mod&le d.valuation5 une mthode de collecte des donnes et une techni ue d.anal3se# Taille de l!chantillon # Lombre d.units * chantillonner# ,nit d!chantillonnage # Mnit utilise pour l.chantillonnage# 1a population devrait >tre divisible en un nombre fini d.units distinctes ui ne se chevauchent pas5 afin ue cha ue membre de la population n.appartienne u.* une unit d.chantillonnage# 5alidit de la mesure # Mne mesure est valable si elle reprsente ce u.elle est cense reprsenter# 1es mesures valables ne prsentent pas de biais s3stmati ue#
139
) ossaire
'nne(e 2
5alidit des conclusions # Aptitude * gnraliser les conclusions tires d2un programme actuel et * les appli uer * d2autres endroits5 lieux ou situations# Pour formuler des conclusions gnralisables5 il faut satisfaire aux crit&res de validit interne et de validit externe# 5alidit externe # Aptitude * gnraliser les conclusions tires d2un programme et * les appli uer * des conditions futures ou diffrentes# 1es obstacles * la validit externe comprennent l.interaction entre la slection et le programme5 l.interaction entre le milieu et le programme et l.interaction entre les vnements histori ues et le programme# 5alidit interne # Aptitude * affirmer u.un programme a eu des rsultats mesurs 48us u.* un certain point75 malgr d.autres explications plausibles# 1es obstacles * la validit interne les plus courants sont les vnements histori ues5 la maturation5 l.attrition5 les biais attribuables * la slection5 les facteurs de rgression statisti ue5 la diffusion et l.imitation du traitement5 ainsi ue l.essai#
140
'nne(e 3
*i+ iographie
Anne8e / BIBLIOGRAPHIE
Abt5 !#X#5 d#5 'he Evaluation of Social Programs5 Thousand AaQs : Sage Publications5 %+)0# Alberta5 minist&re du Trsor5 Measuring Performance : A Reference $uide5 septembre %++0# AlQin5 M#!#5 A $uide for Evaluation %ecision Ma&ers5 Thousand AaQs : Sage Publications5 %+(0# Angelsen5 Arild et Mssif Eashid Sumaila5 <ard Methods for Soft Policies : Environmental and Social *ost= Denefit Anal.sis5 Dergen5 Lorv&ge : ;nstitut Michelsen5 %++,# Australie5 minist&re des Cinances5 <andboo& of *ost= Denefit Anal.sis5 !anberra5 %++%# Dabbie5 E#E#5 Surve. Research Methods Delmont : VadsSorth5 %+)'# Daird5 D#C#5 Managerial %ecisions 0nder 0ncertaint.5 LeS \orQ : Vile3 ;nterscience5 %+(+# Dehn5 E#D# et T#V# Uaupel5 4uic& Anal.sis for Dus. %ivision Ma&ers5 LeS \orQ : Dasic DooQs5 %+("# Delli5 P#5 $uide to Economic Appraisal of %evelopment Projects5 Vashington 4D!7 : Dan ue mondiale5 %++0# DentQover5 T#D#5 !ovdlo5 U#T# et T# MumpoSer5 Denefits Assessment : 'he State of the Art5 Dordrecht5 Pa3s/Das : D# Eeidel Publishing !o#5 %+(0# DerQ5 Eichard A# et Peter R# Eossi5 'hin&ing About Program Evaluation5 Thousand AaQs : Sage Publications5 %++-# DicQman5 1#5 d#5 0sing Program 'heor. in Program Evaluation5 Uol# '' de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# DlalocQ5 R#M#5 Tr#5 Measurement in the Social Sciences : 'heories and Strategies5 !hicago : Aldine5 %+)$# DlalocQ5 R#M#5 Tr#5 d#5 *ausal Models in the Social Sciences5 !hicago : Aldine5 %+)%#
141
*i+ iographie
'nne(e 3
Doberg5 Alice 1# et Sher3l A# Morris/Khoo5 IThe Delphi Method : A EevieS of Methodolog3 and an Application in the Evaluation of a Righer Education ProgramJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai5 %++"5 p# ") * $-# Doruch5 E#C#5 I!onducting Social ExperimentsJ5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()5 p# $, * 00# Doruch5 E#C#5 et alA5 Reanal.sing Program Evaluations + Policies and Practices for Secondar. Anal.sis for Social and Education Programs5 San Crancisco : Tosse3/Dass5 %+(%# Doruch5 E#C#5 IAn !ommon !ontentions About EandomiOed Cield ExperimentsJ5 in Xlass5 Xene U#5 d#5 Evaluation Studies RevieC Annual5 Thousand AaQs : Sage Publications5 %+)0# Dradburn5 L#M# et S# Sudman5 -mproving -ntervieC Methods and 4uestionnaire %esign5 San Crancisco : Tosse3/Dass5 %+)+# Draverman5 MarQ T# et Tana Ka3 Slater5 Advances in Surve. Research5 Uol# )- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %++0# Duffa5 E#S# et T#S# D3er5 Management Science @perations Research : Model Bormulation and Solution Methods5 LeS \orQ : Tohn Vile3 and Sons5 %+))# !abatoff5 Kenneth A#5 IXetting An and Aff the Polic3 Agenda : A Dualistic Theor3 of Program Evaluation MtiliOationJ5 *anadian 9ournal of Program Evaluation5 Uol# %%5 Lo "5 automne %++05 p# ', * 0-# !ampbell5 D#5 I!onsidering the !ase Against Experimental Evaluations of Social ;nnovationsJ5 Administrative Science 4uarterl. 5Uol# %,5 Lo %5 %+)-5 p# %%% * %""# !ampbell5 D#T#5 IDegrees of Creedom and the !ase Stud3J5 *omparative Political Studies5 Uol# (5 %+),5 p# %)( * %+'# !ampbell5 D#T# et T#!# Stanle35 Experimental and 4uasi= Experimental %esigns for Research5 !hicago : Eand/McLall35 %+0'# !anada5 Dureau du Urificateur gnral du !anada5 Dulletin LM= N5 Photographies et autres aides visuelles# !anada5 Dureau du Urificateur gnral5 I1e choix et l.application des techni ues de collecte des lments probants en vrification d.optimisation des ressourcesJ5 Anal.se co"ts=avantages5 %++$5 annexe D,# !anada5 Secrtariat du !onseil du Trsor5 Aborder les ann!es () : Perspectives gouvernementales pour l#!valuation de programmes5 AttaSa5 %++%#
142
'nne(e 3
*i+ iographie
!anada5 Secrtariat du !onseil du Trsor5 IExamen5 vrification interne et valuationJ5 Manuel du *onseil du 'r!sor5 AttaSa5 derni&re rvision en %++$# !anada5 Secrtariat du !onseil du Trsor5 $uide de l#anal.se avantages=co"ts5 AttaSa5 %++)# !anada5 Secrtariat du !onseil du Trsor5 $uide de la gestion de la qualit! AttaSa5 octobre %++"# !anada5 Secrtariat du !onseil du Trsor5 $uides des services de qualit! : Services de qualit! K 'our d#hori,on AttaSa5 octobre %++,# $uide - K *onsultation des clients5 AttaSa5 octobre %++,# $uide -- K Mesure de la satisfaction des clients5 AttaSa5 octobre %++,# $uide --- K *ollaboration avec les s.ndicats5 AttaSa5 octobre %++,# $uide -/ K 0n milieu propice 1 l#apprentissage5 AttaSa5 octobre %++,# $uide / K Reconnaissance du m!rite5 AttaSa5 octobre %++,# $uide /- K Sondage auprs des emplo.!s5 AttaSa5 octobre %++,# $uide /-- K 2ormes de service5 octobre %++,# $uide /--- K Anal.ses comparatives et meilleures pratiques5 AttaSa5 octobre %++,# $uide -3 K *ommunications5 AttaSa5 octobre %++,# $uide 3 K Anal.se comparative et partage des pratiques examplaires K Mise 1 jour du $uide 3- K $estion efficace des plaintes5 AttaSa5 8uin %++0# $uide 3-- K 4ui est le client5 K %ocument de travail5 AttaSa5 8uillet %++0# $uide 3--- K $uide des gestionnaires pour la prestation de services de qualit! 5 AttaSa5 septembre %++0# !anada5 Secrtariat du !onseil du Trsor5 6#!valuation des programmes f!d!raux : R!pertoire sur l#utilisation des !valuations AttaSa5 %++%# !anada5 Secrtariat du !onseil du Trsor5 6es normes de service : 0n guide pour l#initiative5 AttaSa5 fvrier %++,# !anada5 Secrtariat du !onseil du Trsor5 Mesure de la satisfaction des clients K *oncevoir et adopter de saines pratiques de mesure et de suivi de la satisfaction des clients5 AttaSa5 octobre %++%# !anada5 Secrtariat du !onseil du Trsor5 2ormes d#!valuation de programmes dans les ministres et organismes f!d!raux AttaSa5 8uillet %+(+# !anada5 Secrtariat du !onseil du Trsor5 Pour offrir aux *anadiens et aux *anadiennes un service de qualit! 1 un prix raisonnable K 7tablissement de normes de service au gouvernement f!d!ral5 AttaSa5 dcembre %++$# !anada5 Secrtariat du !onseil du Trsor5 Pour une fonction d#examen plus efficace K Rapport annuel au Parlement par le Pr!sident du *onseil du 'r!sor5 AttaSa5 octobre %++,#
143
*i+ iographie
'nne(e 3
!anada5 Secrtariat du !onseil du Trsor5 Repenser le r8le de l#7tat : Am!liorer la mesure des r!sultats et de la responsabilisation K Rapport annuel au Parlement par le Pr!sident du *onseil du 'r!sor5 AttaSa5 octobre %++0# !anada5 Statisti ue !anada5 6a structure par entr!es=sorties de l#!conomie canadienne ;(P;= ;(L;5 AttaSa5 avril %+(+5 no de cat# %,/"-%C# !anada5 Statisti ue !anada5 6ignes directrices concernant la qualit! 4"e dition75 AttaSa5 %+()# !anada5 Statisti ue !anada5 R!pertoire des m!thodes d#!valuation des erreurs dans les recensements et les enquItes5 AttaSa5 %+("5 !S!!D/C# !aron5 Daniel T#5 IKnoSledge Ee uired to Perform the Duties of an EvaluatorJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo %5 avril/mai %++'5 p# ,+ * )(# !asle35 D#T# et K# Kumar5 'he *ollection Anal.sis and 0se of Monitoring and Evaluation %ata5 Vashington 4D!7 : Dan ue mondiale5 %+(+# !hatter8ee5 S# et D# Price5 Regression Anal.sis b. Example 4"e dition75 LeS \orQ : Tohn Vile3 and Sons5 %++,# !helimsQ35 Eleanor9 d#5 Program Evaluation : Patterns and %irections5 Vashington : American Societ3 for Public Administration5 %+(,# !helimsQ35 Eleanor et Villiam E# Shadish5 d#5 Evaluation for the :;st *entur. : A <andboo&5 Thousand AaQs : Sage Publications5 %++)# !hen5 R#T# et P#R# Eossi5 IEvaluating Sith Sense : the Theor3/Driven ApproachJ5 Evaluation RevieC5 Uol# )5 %+('5 p# "(' * '-"# !hen5 Rue3/Ts3h5 'heor.=%riven Evaluations5 Thousand AaQs : Sage Publications5 %++-# !hener35 R# et P# !larQ5 -nter= industr. Economics5 LeS \orQ : Tohn Vile3 and Sons5 %+,+# !iarlo5 T#5 d#5 0tili,ing Evaluation5 Thousand AaQs : Sage Publications5 %+($# !lemen5 E#T#5 Ma&ing <ard %ecisions5 Duxbur3 Press5 %++%5 sections % * '# !ooQ5 T#D# et D#T# !ampbell5 4uasi= Experimentation : %esigns and Anal.sis -ssues for Bield Settings5 !hicago : Eand/McLall35 %+)+# !ooQ5 T#D# et !#S# Eeichardt5 d#5 4ualitative and 4uantitative Methods in Evaluation Research5 Thousand AaQs : Sage Publications5 %+)+# !ordra35 D#S#5 IHuasi/Experimental Anal3sis : A Mixture of Methods and TudgementJ5 in Trochim5 V#M#K#5 d#5 Advances in 4uasi= Experimental %esign and
144
'nne(e 3
*i+ iographie
Anal.sis5 p# + * ")5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# Datta 1# et E# Perloff#5 -mproving Evaluations5 Thousand AaQs : Sage Publications5 %+)+5 section ;;# Delbec 5 A#1#5 et alA5 $roup 'echniques in Program Planning : A $uide to the 2ominal $roup and %elphi Processes5 XlenvieS : Scott5 Coresman5 %+),# Dexter5 1#A#5 Elite and Speciali,ed -ntervieCing5 Evanston 4;llinois7 : LorthSestern Mniversit3 Press5 %+)-# Duncan5 D#D#5 -ntroduction to Structural Equation Models5 LeS \orQ : Academic Press5 %+),# Eaton5 CranQ5 IMeasuring Program Effects in the Presence of Selection Dias : The Evolution of PracticeJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# ,) * )-# Cavaro5 Paul et Marie Dillinger5 IA !omprehensive Evaluation Model for ArganiOational DevelopmentJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo "5 octobre/novembre %++'5 p# $, * 0-# Cienberg5 S#5 'he Anal.sis of *ross= classified *ategorical %ata 4"e dition75 !ambridge : M;T 4Massachusetts ;nstitute of Technolog375 %+(-# CitOgibbon5 !#T# et 1#1# Morris5 Evaluator#s >it 4"e dition75 Thousand AaQs : Sage Publications5 %+((# CoSler5 Clo3d T#5 -mproving Surve. 4uestions : %esign and Evaluation5 Thousand AaQs : Sage Publications5 %++,# Cox5 T#5 6inear Statistical Models and Related Methods Cith Applications to Social Research5 LeS \orQ : Vile35 %+($# Xauthier5 D#5 d#5 Recherche sociale : de la probl!matique 1 la collecte des donn!es5 Montral : 1es Presses de l.Mniversit du Hubec5 %+($# XliQsman5 1ouis5 et alA5 IEesponders vs# Lon/Eesponders to a Mail Surve3 : Are The3 DifferentGJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo "5 octobre/ novembre %++"5 p# %'% * %'(# Xloberson5 Ar35 et alA5 Fou *an#t Manage Ghat Fou %on#t Measure : *ontrol and Evaluation in @rgani,ations5 DrooQfield : XoSer Publications5 %++%# Xoldberger5 A#S# et D#D# Duncan5 Structural Equation Models in the Social Sciences5 LeS \orQ : Seminar Press5 %+)'#
145
*i+ iographie
'nne(e 3
Xoldman5 Crancis et Edith Drashares5 IPerformance and Accountabilit3 : Dudget Eeform in LeS WealandJ5 Public Dudgeting and Binance5 Uol# %%5 Lo $5 hiver %++%5 p# ), * (,# Xoode5 V#T# et Paul K# Rutt5 Methods in Social Research5 LeS \orQ : McXraS/Rill5 %+,"5 chapitre +# Xordon5 E#A#5 Economic -nstabilit. and $roCth : 'he American Record5 Rarper e EoS5 %+)$# Xuba5 E#X#5 ILaturalistic EvaluationJ5 in !ordra35 D#S#5 et alA5 d#5 Evaluation Practice in RevieC5 Uol# '$ de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# Xuba5 E#X# et \#S# 1incoln5 Effective Evaluation : -mproving the 0sefulness of Evaluation Results 'hrough Responsive and 2aturalistic Approaches5 San Crancisco : Tosse3/Dass5 %+(%# Ranle35 T#A#5 IAppropriate Mses of Multivariate Anal3sisJ5 Annual RevieC of Public <ealth5 Palo Alto : Annual EevieSs ;nc#5 %+('5 p# %,, * %(-# RanusheQ5 E#A# et T#E# TacQson5 Statistical Methods for Social Scientists5 LeS \orQ : Academic Press5 %+))# Rarberger5 A#!#5 Project Evaluation : *ollected Papers5 !hicago : MarQham Publishing !o#5 %+)'# Reilbroner5 E#1# et 1#!# ThuroS5 Economics Explained5 Toronto : Simon and Schuster ;nc#5 %+()# Reise5 D#E#5 *ausal Anal.sis5 LeS \orQ : Vile35 %+),# Renderson5 T# et E# Huandt5 Micro= economic 'heor.5 LeS \orQ : McXraS/Rill5 %+0%# Roaglin5 D#!# et alA5 %ata for %ecisions5 !ambridge 4MA7 : Abt DooQs5 %+("# Rudson5 Toe5 et alA5 d#5 Action @riented Evaluation in @rgani,ations : *anadian Practices5 Toronto : Vall and Emerson5 %++"# Ruff5 D#5 <oC to 6ie Cith Statistics5 Penguin5 %+)'# Tolliffe5 E#C#5 *ommon Sense Statistics for Economists and @thers5 Eoutledge and Kegan Paul5 %+)$# Tor8ani5 Ramid5 IThe Rolistic Perspective in the Evaluation of Public Programs : A !onceptual CrameSorQJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# )% * +"#
146
'nne(e 3
*i+ iographie
KatO5 V#A#5 -ntroduction to Reference Gor& : Reference Services and Reference Processes Uol# ;;5 LeS \orQ : McXraS/Rill5 %+("5 chapitre $# Kenn35 D#A#5 *orrelation and *ausalit.5 Toronto : Tohn Vile3 and Sons5 %+)+# Kerlinger5 C#L#5 Dehavioural Research : A *onceptual Approach5 LeS \orQ : Rolt5 Einehart and Vinston5 %+)+# Kidder5 1#R# et M# Cine5 IHualitative and Huantitative Methods : Shen Stories !onvergeJ5 in Multiple Methods in Program Evaluation5 Uol# ', de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+()# Kish5 1#5 Surve. Sampling5 LeS \orQ : Vile35 %+0,# Krause5 Daniel Eobert5 Effective Program Evaluation : An -ntroduction 5 !hicago : Lelson/Rall5 %++0# Krueger5 E#A#5 Bocus $roups : A Practical $uide for Applied Research5 Thousand AaQs : Sage Publications5 %+((# 1eeuS5 Crans 1#5 IPerformance Auditing and Polic3 Evaluation : Discussing Similarities and DissimilaritiesJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# ,' * 0(# 1eontief5 V#5 -nput= @utput Economics5 LeS \orQ : Axford Mniversit3 Press5 %+00# 1evine5 M#5 I;nvestigative Eeporting as a Eesearch Method : an Anal3sis of Dernstein and VoodSard.s hAll The President.s Men.J5 American Ps.chologist5 Uol# ',5 %+(-5 p# 0"0 * 0'(# 1ove5 Arnold T#5 Evaluation Methods Sourceboo& --5 AttaSa : Socit canadienne d.valuation5 %++,# MarQ5 M#M#5 IUalidit3 T3pologies and the 1ogic and Practice of Huasi/ExperimentationJ5 in V#M#K# Trochim5 d#5 Advances in 4uasi= Experimental %esign and Anal.sis5 p# $) * 005 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# Martin5 1aSrence 1# et Peter M# Kettner5 Measuring the Performance of <uman Service Programs5 Thousand AaQs : Sage Publications5 %++0# Martin5 Michael A# et U#S# Mullis5 d#5 4ualit. Assurance -n %ata *ollection5 !hestnut Rill : !enter for the Stud3 of Testing5 Evaluation5 and Educational Polic35 Doston !ollege5 %++0# MaxSell5 Toseph A#5 4ualitative Research %esign : An -nteractive Approach5 Thousand AaQs : Sage Publications5 %++0#
147
*i+ iographie
'nne(e 3
Ma3ne5 Tohn et Eduardo Wapico/XoYi5 Monitoring Performance in the Public Sector : Buture %irections Brom -nternational Experience5 LeS DrunsSicQ 4LT7 : Transaction Publishers5 %++0# Ma3ne5 Tohn5 et alA5 d#5 Advancing Public Polic. Evaluation : 6earning Brom -nternational Experiences5 Amsterdam : Lorth/Rolland5 %++"# Ma3ne5 Tohn et E#S# Ma3ne5 IVill Program Evaluation be Msed in Cormulating Polic3GJ5 in AtQinson5 M# et M# !handler5 d#5 'he Politics of *anadian Public Polic.5 Toronto : Mniversit3 of Toronto Press5 %+('# Ma3ne5 Tohn5 I;n Defense of Program EvaluationJ5 *anadian 9ournal of Program Evaluation Uol# %5 Lo "5 %+(05 p# +) * %-"# Mc!lintocQ5 !#!#5 et alA5 IAppl3ing the 1ogic of Sample Surve3s to Hualitative !ase Studies : The !ase !luster MethodJ5 in Uan Maanen5 T#5 d#5 4ualitative Methodolog.5 Thousand AaQs : Sage Publications5 %+)+# Mercer5 ShaSna 1# et UiveQ Xoel5 IProgram Evaluation in the Absence of Xoals : A !omprehensive Approach to the Evaluation of a Population/Dased Dreast !ancer Screening ProgramJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo %5 avril/ mai %++$5 p# +) * %%"# Miles5 M#D# et A#M# Ruberman5 4ualitative %ata Anal.sis : A Sourceboo& and 2eC Methods5 Thousand AaQs : Sage Publications5 %+($# Miller5 T#!# ;;; et D# \andle5 Denefit= *ost Anal.ses of Social Regulation5 Vashington : American Enterprise ;nstitute5 %+)+# Moore5 M#R#5 *reating Public /alue : Strategic Management in $overnment5 Doston : Rarvard Mniversit3 Press5 %++,# Morris5 !#L# et T#E# Eolph5 -ntroduction to %ata Anal.sis and Statistical -nference5 EngleSood !liffs : Prentice Rall5 %+(%# Mueller5 T#R#5 Statistical Reasoning in Sociolog.5 Doston : Roughton Mifflin5 %+))# Lachmias5 !# et D# Lachmias5 Research Methods in the Social Sciences LeS \orQ : St# Martin.s Press5 %+(%5 chapitre )# Lelson5 E#5 Merton5 P# et E# KalacheQ5 'echnolog. Economic $roCth and Public Polic.5 Vashington 4D!7 : DrooQings ;nstitute5 %+0)# Lutt5 P#!# et E#V# DacQoff5 Strategic Management of Public and 'hird Sector @rgani,ations5 San Crancisco : Tosse3/Dass5 %++"# A.Drecht5 Michael5 IStaQeholder Pressures and ArganiOational StructureJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo "5 octobre/novembre %++"5 p# %'+ * %$)#
148
'nne(e 3
*i+ iographie
AQun5 A#5 'he Political Econom. of Prosperit.5 Lorton5 %+)-# Pa uet5 Xilles et Eobert Shepherd5 IThe Program EevieS Process : A DeconstructionJ5 AttaSa : Cacult d.administration5 Mniversit d.AttaSa5 %++0# Patton5 M#H#5 4ualitative Evaluation Methods5 Thousand AaQs : Sage Publications5 %+(-# Patton5 M#H#5 *reative Evaluation 4"e dition75 Thousand AaQs : Sage Publications5 %+(0# Patton5 M#H#5 Practical Evaluation5 Thousand AaQs : Sage Publications5 %+("# Patton5 M#H#5 0tili,ation=Bocused Evaluation 4"e dition75 Thousand AaQs : Sage Publications5 %+(0# Pearsol5 T#A#5 d#5 ITustif3ing !onclusions in Laturalistic EvaluationsJ5 Evaluation and Program Planning5 Uol# %-5 Lo $5 %+()5 p# '-) * ',(# Perret5 Dernard5 I1e contexte fran<ais de l.valuation : Approche comparativeJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# +' * %%$# Peters5 Xu3 D# et Donald T# Savoie5 $overnance in a *hanging Environment5 !entre canadien de gestion5 Montral e Kingston : McXill/Hueen2s Mniversit3 Press5 %++'# PolQinghorn5 E#S#5 Micro= theor. and Economic *hoices5 Eichard ;rSin ;nc#5 %+)+# Posavac5 Emil T# et Ea3mond X# !are35 Program Evaluation : Methods and *ase Studies 4,e dition75 Mpper Saddle Eiver 4LT7 : Prentice Rall5 %++)# Pressman5 T#1# et A# VildavsQ35 -mplementation 1os Angeles : M!1A Press5 %+)'# Eagsdale5 !#T#5 Spreadsheet Modelling and %ecision Anal.sis5 !ambridge : !ourse Technolog3 ;nc#5 %++,# Eeav35 Pat5 et alA5 IEvaluation as Management Support : The Eole of the EvaluatorJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo "5 octobre/novembre %++'5 p# +, * %-$# EindsQopf5 D#5 ILeS Developments in Selection Modeling for Huasi/ExperimentationJ5 in V#M#K# Trochim5 d#5 Advances in 4uasi= Experimental %esign and Anal.sis5 p# )+ * (+5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# Eist5 Ea3 !#5 d#5 Program Evaluation and the Management of the $overnment5 LeS DrunsSicQ 4LT7 : Transaction Publishers5 %++-# Eobinson5 T#P# et P#E# Shaver5 Measurement of Social Ps.chological Attitudes5 Ann Arbor : Surve3 Eesearch !entre5 Mniversit3 of Michigan5 %+)'#
149
*i+ iographie
'nne(e 3
Eossi5 P#R# et R#E# Creeman5 Evaluation : A S.stematic Approach 4"e dition75 Thousand AaQs : Sage Publications5 %+(+# Eossi5 P#R#5 Vright5 T#D# et A#D# Anderson5 d#5 <andboo& of Surve. Research5 Arlando : Academic Press5 %+(,# Eush5 Drian et Alan Agborne5 IProgram 1ogic Models : Expanding their Eole and Structure for Program Planning and EvaluationJ5 *anadian 9ournal of Program Evaluation5 Uol# 05 Lo "5 octobre/novembre %++%5 p# +, * %-0# Eutman5 1# et Tohn Ma3ne5 I;nstitutionaliOation of Program Evaluation in !anada : The Cederal 1evelJ5 in M#H# Patton5 d#5 *ulture and Evaluation5 Uol# ", de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(,# E3an5 Allan X# et !aroline KrentO5 IAll Pulling Together : VorQing ToSard a Successful EvaluationJ5 *anadian 9ournal of Program Evaluation5 Uol# +5 Lo "5 octobre/novembre %++$5 p# %'% * %,-# E3an5 Drenda et EliOabeth ToSnsend5 I!riteria MappingJ5 *anadian 9ournal of Program Evaluation5 Uol# $5 Lo "5 octobre/novembre %+(+5 p# $) * ,(# Samuelson5 P#5 Boundations of Economic Anal.sis5 !ambridge : Rarvard Mniversit3 Press5 %+$)# Sang5 R#K#5 Project Evaluation5 LeS \orQ : Vilson Press5 %+((# Sassone5 P#X# et V#A# Schaffer5 *ost= Denefit Anal.sis : A <andboo&5 LeS \orQ : Academic Press5 %+)(# SchicQ5 Allen5 'he Spirit of Reform : Managing the 2eC Eealand State5 rapport command par le minist&re du Trsor et la !ommission des services aux Btats de la Louvelle/Wlande5 %++0# Schmid5 A#A#5 Denefit= *ost Anal.sis : A Political Econom. Approach5 Doulder : VestvieS Press5 %+(+# Seidle5 1eslie#5 Rethin&ing the %eliver. of Public Services to *iti,ens5 Montral : ;nstitut de recherche en politi ues publi ues 4;EPP75 %++,# Self5 P#5 Econocrats and the Polic. Process : 'he Politics and Philosoph. of *ost= Denefit Anal.sis5 1ondres : MacMillan5 %+),# Shadish5 Villiam E#5 et alA Boundations of Program Evaluation : 'heories of Practice5 Thousand AaQs : Sage Publications5 %++%# Shea5 Michael P# et Tohn R# 1eSQo5 IMse of a StaQeholder Advisor3 Xroup to Cacilitate the MtiliOation of Evaluation EesultsJ5 *anadian 9ournal of Program Evaluation5 Uol# %-5 Lo %5 avril/mai %++,5 p# %,+ * %0"#
150
'nne(e 3
*i+ iographie
Shea5 Michael P# et Shelagh M#T# ToSson5 IExtent of Evaluation Activit3 and Evaluation MtiliOation of !ES MembersJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo %5 avril/mai %++'5 p# )+ * ((# SilQ5 1#5 'he Economists5 Avon DooQs5 %+)0# Simon5 R#5 I!ausationJ5 in D#1# Sill5 d#5 -nternational Enc.clopedia of the Social Sciences5 Uol# "5 LeS \orQ : Macmillan5 %+0(5 p# ',- * ',,# SQabursQis5 Andre8s et CredricQ !# !ollignon5 I!ost/Effectiveness Anal3sis of Uocational Eehabilitation ServicesJ5 *anadian 9ournal of Program Evaluation5 Uol# 05 Lo "5 octobre/novembre %++%5 p# % * "$# SQelton5 ;an5 ISensitivit3 Anal3sis in Multi/criteria Decision Aids : A Demonstration of !hild !are Leed AssessmentJ5 *anadian 9ournal of Program Evaluation5 Uol# (5 Lo %5 avril/mai %++'5 p# %-' * %%0# Socit canadienne d.valuation5 !omit de normalisation5 IStandards for Program Evaluation in !anada : A Discussion PaperJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# %,) * %)-# Sprent5 P#5 Statistics in Action5 Penguin5 %+))# StolOenberg5 T#E#M# et K#!# 1and5 I!ausal Modeling and Surve3 EesearchJ5 in Eossi5 P#R#5 et alA5 T;TEE MALHMALT5 Arlando : Academic Press5 %+('5 p# 0%' * 0),# Stouthamer/1oeber5 Magda et Velmoet DoQ van Kammen5 %ata *ollection and Management : A Practical $uide5 Thousand AaQs : Sage Publications5 %++,# Suchman5 E#A#5 Evaluative Research : Principles and Practice in Public Service and Social Action Programs5 LeS \orQ : Eussell Sage5 %+0)# Sugden5 E# et A# Villiams5 'he Principles of Practical *ost= benefit Anal.sis5 Axford : Axford Mniversit3 Press5 %+)(# Tellier5 1uc/Lormand5 M!thodes d#!valuation des projets publics5 Sainte/Co3 : Presses de l.Mniversit du Hubec5 %++$5 %++,# Thomas5 Paul X#5 IThe Politics and Management of Performance Measurement and Service StandardsJ5 Vinnipeg : St/Tohn.s !ollege5 Mniversit3 of Manitoba5 %++0# Thompson5 M#5 Denefit= *ost Anal.sis for Program Evaluation5 Thousand AaQs : Sage Publications5 %+(-# Thurston5 V#E#5 IDecision/MaQing Theor3 and the EvaluatorJ5 *anadian 9ournal of Program Evaluation5 Uol# ,5 Lo "5 octobre/novembre %++-5 p# "+ * $0#
151
*i+ iographie
'nne(e 3
Trochim5 V#M#K#5 d#5 Advances in 4uasi= Experimental %esign and Anal.sis5 Uol# '% de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# Mhl5 Lorman et !arol3n VentOel5 IEvaluating a Three/Da3 Exercise to Abtain !onvergence of ApinionJ5 *anadian 9ournal of Program Evaluation5 Uol# %-5 Lo %5 avril/mai %++,5 p# %,% * %,(# Uan Pelt5 M# et E# Timmer5 *ost= Denefit Anal.sis for 2on= Economists5 ;nstitut d.conomie des Pa3s/Das5 %++"# Uan Maasen5 T#5 d#5 4ualitative Methodolog.5 Thousand AaQs : Sage Publications5 %+('# VarSicQ5 D#P# et !#A# 1ininger5 'he Surve. Sample : 'heor. and Practice5 LeS \orQ : McXraS/Rill5 %+),# Vatson5 D#S#5 Price 'heor. in Action5 Doston : Roughton Mifflin5 %+)-# Vatson5 Kenneth5 ISelecting and EanQing ;ssues in Program Evaluations and Ualue/ for/Mone3 AuditsJ5 *anadian 9ournal of Program Evaluation5 Uol# ,5 Lo "5 octobre/ novembre %++-5 p# %, * "(# Vatson5 Kenneth5 IThe Social Discount EateJ5 *anadian 9ournal of Program Evaluation5 Uol# )5 Lo %5 avril/mai %++"5 p# ++ * %%(# Vebb5 E#T#5 et alA5 2onreactive Measures in the Social Sciences 4"e dition75 Doston : Roughton Mifflin5 %+(%# Veisberg5 Rerbert C#5 KrosmicQ5 Ton A# et Druce D# DoSen5 d#5 An -ntroduction to Surve. Research Polling and %ata Anal.sis5 Thousand AaQs : Sage Publications5 %++0# Veisler5 !arl E#5 M#S# Xeneral Accounting Affice5 RevieC 'opics in Evaluation : Ghat %o Fou Mean b. Secondar. Anal.sis5 Villiams5 D#D#5 d#5 2aturalistic Evaluation5 Uol# '- de 2eC %irections in Program Evaluation5 San Crancisco : Tosse3/Dass5 %+(0# V3e5 !hristopher X# et Eichard !# Sonnichsen5 d#5 Evaluation in the Bederal $overnment : *hanges 'rends and @pportunities5 San Crancisco : Tosse3/Dass5 %++"# \ates5 Drian T#5 Anal.,ing *osts Procedures Processes and @utcomes in <uman Services5 Thousand AaQs : Sage Publications5 %++0# \in5 E#5 'he *ase Stud. as a Rigorous Research Method5 Thousand AaQs : Sage Publications5 %+(0#
152
'nne(e 3
*i+ iographie
WanaQis5 S#R#5 et alA5 IA EevieS of Program Evaluation and Cund Allocation Methods Sithin the Service and XovernmentJ5 Socio= Economic Planning Sciences5 Uol# "+5 Lo %5 mars %++,5 p# ,+ * )+# WZYiga5 Eicardo5 6#!valuation dans l#action : choix de buts et choix de proc!dures5 Montral : 1ibrairie de l.Mniversit de Montral5 %++"#
153
'utres r,rences
'nne(e 4
Anne8e 2 AUTRES RCREN'ES

Administrative Science 4uarterl. American Sociological RevieC 'he *anadian 9ournal of Program Evaluation5 8ournal officiel de la Socit canadienne d.valuation *anadian Public Administration *anadian Public Polic. Evaluation and Program Planning Evaluation Practice5 anciennement Evaluation 4uarterl. Evaluation RevieC <uman @rgani,ation -nternational RevieC of Administrative Sciences 9ournal of the American Statistical Association 9ournal of Polic. Anal.sis and Management Management Science 2eC %irections in Program Evaluation5 8ournal officiel de l.American Evaluation Association @ptimum Polic. Sciences Ps.chological Dulletin Public Administration Public Administration RevieC
154
'nne(e 4
'utres r,rences
'he Public -nterest Public Polic. Surve. Methodolog. 9ournal 1e lecteur pourra aussi consulter avec profit d.autres publications sur l.valuation portant sur des secteurs de programme particuliers5 comme les services de sant5 l.ducation5 les services sociaux et la 8ustice pnale#
155

Méthode D'évaluation Des Programmes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Méthode D'évaluation Des Programmes

Transféré par

Droits d'auteur :

Formats disponibles

MTHODES DVALUATION DES PROGRAMMES :

Mesure et attribution des r su!tats des "ro#ra$$es

Tab!e des $ati%res

5554 5: 774 7< :& :2

:4 :4 :4 <4 <: &3&

Tab!eau 4 D E8e$"!e de statisti9ues des+ri"ti.es

'(a"itre & INTRODU'TION

Anal3se de la raison d.>tre 4Modle logique7

Cormulation et anal3se des options d.tude d.valuation 4Sujets m!thodes et co"ts7

Bvaluation Schma d.valuation pour l .option retenue

S3nth&se des conclusions

R.rences # &ntroduction 0 l!valuation

Stratgies dva uation

'(a"itre STRATGIES DVALUATION

In, ren+e +ausa!e en .a!uation

Stratgies dva uation

In, ren+es +ausa!es

Stratgies dva uation

Stratgies dva uation

Xroupe expos au programme

1.effet d.autres influences est le m>me ue celui du groupe tmoin

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

R.rences # &n.rence causale

Stratgies dva uation

Strat #ies d .a!uation

Stratgies dva uation

Ci#ure / F +(a9ue as"e+t sa strat #ie

Huestion stratgi ue ncessitant du 8ugement

!oncevoir une mesure ui fournira la rponse#

Dterminer la dcision * prendre

Dterminer les renseignements les plus utiles pour les dcideurs

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

R.rences # Stratgies d!valuation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

R.rences 8 )e contexte dcisionnel

Stratgies dva uation

Stratgies dva uation

Stratgies dva uation

R.rences # Stratgies multiples

Stratgies dva uation

!od" es dva uation

'(a"itre / MOD6LES DVALUATION

!od" es dva uation

Exposition au programme Xroupe exprimental Xroupe tmoin _

Mesure apr&s -' -$

!od" es dva uation

Exposition au programme Xroupe exprimental _

!od" es dva uation

R.rences # "od1les d!valuation

!od" es dva uation

Mod%!es e8" ri$entau8 a! atoires

!od" es dva uation