valuation:modlesetoutilspouruneutilisationplusstratgique

Votreorganisationsouhaitemesureretamliorersescapacitsenvaluation?Laprofesseure
IsabelleBourgeoisdresseunportraitdemodlesetdoutilsdemesure,donnantainsiunaperu
desressourcesactuellementdisponiblespourvousaiderproduiredesvaluationsdequalit
susceptiblesdecontribuerdirectementlaprisededcisiondesdirigeantsetdesdcideurs
politiques.

Bienquelvaluationdeprogrammessoitunoutildegestionprisdanslesorganisations
publiquesdepuisplusde40ans,ltudedelutilisationquienestfaitesepoursuit.

Parmilestypesdutilisation,mentionnons:
Amliorationdesprogrammesetdespolitiques(utilisationinstrumentale)
Meilleurecomprhensiondelamiseenuvredespolitiquessurleterrain
(utilisationconceptuelle)
Engagementdespartiesprenantes(utilisationduprocessus)
Justificationdedcisionsdjprises(utilisationsymbolique)
Changementsorganisationnelsetdcisionsstratgiques(utilisationstratgique)

Engnral,leschercheursquisepenchentsurlutilisationdelvaluationsentendentpourdire
quelesorganisationspubliquesutilisentlesvaluationsdemaniresinstrumentaleet
conceptuelle.Onvoitaussioccasionnellementuneutilisationduprocessus,surtoutdansle
cadredvaluationsparticipatives,etuneutilisationsymbolique.Cependant,lutilisation
stratgiquedelvaluationestbeaucoupplusrare;engnral,lvaluationsertpeusouventla
raffectationdesbudgetsparexemple,oummeconfirmerouliminerdesprogrammes.

Pourquoinyatilpasplusdutilisationstratgique?

Pendantlongtemps,nousavonsmislaccentsurlescomptencesindividuellesdesvaluateurs.
Nousavonsformdesvaluateursquisonttrscomptentsdunpointdevuetechnique.Par
technique,nousentendonslescomptencesassocieslarecherchesocialeainsiqueles
comptenceslieslaplanificationetlaconceptualisationdelvaluation.

Lespaysindustrialissontaussibeaucoupinvestidansledveloppementdeleurssystmes
nationauxdvaluation.AugouvernementfdralduCanada,parexemple,laPolitiquesurles
rsultatsreprsentelaboutissementde40ansdepolitiquesetdedirectivesenmatire
dvaluation.Cettepolitiqueidentifieclairementlorganisation,lerleetlesrsultatsattendus
delafonctiondvaluationfdrale.Unedirectiveestaussienplaceaugouvernementdu
Qubecdepuis2014etjoueunrlesemblable,mmesimoinsinstitutionnalis.

Lonousavonsmoinsinvesti,cestauniveaudesorganisationsellesmmes.Lesorganisations
ontellesaussidescapacitsenvaluationdontilfauttenircompteafindassurerlutilisation
stratgiquedelvaluation.

Cestdoncductdescapacitsorganisationnellesquenousconcentronsnoseffortsence
moment.Lestravauxmentionnsdanscetexteportentsurlescapacitsorganisationnelles
domestiques,cestdiredesinstitutionscanadiennesetqubcoisespluttquinternationales.

1
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Ledveloppementdescapacitsenvaluationdespaysenvoiededveloppementestunautre
domainedintrtdeschercheursenvaluation,maisdpasselaportedenotretexte.

Quentendonparcapacitsorganisationnellesenvaluation?

Lescapacitsorganisationnellesenvaluationrfrentauxcomptences,systmes,ressources,
etstructuresquiappuientlaproductiondvaluationsdehautequalitainsiqueleurutilisation
pourlaprisededcisions.

Ceconceptsedcoupeendeuxvolets:

1 Comptencesindividuellesettechniquespourproduiredesvaluationsdequalit
Lacapacitorganisationnellepasseavanttoutparlesindividusquifontdelvaluation
danslesorganisations.Ilsdoiventavoirdeshabiletstechniquesauniveaudelacollecte
etlanalysededonnes,lamodlisationdesprogrammes,lagestiondeprojets
dvaluation,etbiendautres.Ilsdoiventaussiavoirdescomptences
interpersonnelles,essentiellesladmarchevaluativeentermesdengagementdes
partiesprenantes.

2 Structuresorganisationnellesquipermettentlaproductionet,surtout,lutilisationdes
valuations
Onpensenotammentauxbudgetsdvaluation,quidoiventtresuffisants,auxoutils
techniquesetrseauxutilissparlesvaluateurs,ouencore,auxcomitsquireoivent
lesrapportsdvaluationetdoiventyrpondre.

Lesmodles

Quelquesmodlestententdedcrirelacapacitenvaluation;certainssepenchentsurles
dimensionsdecettecapacit,oucommentellepeutsedvelopperdanslesorganisations,
tandisquedautresmodlesidentifientlesstratgiesquipermettentauxorganisationsde
renforcerleurscapacits.

2
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


ModlemultidisciplinaireduRCE
PreskilletBoyle(2008)

Cemodledcritlafoislamiseenuvredunestratgiederenforcementdescapacitsainsi
quelesstratgiesellesmmes.

Dunct,onretrouvelinitiation,laplanification,laconceptionetlamiseenuvredela
stratgie.Onyprsentelesobjectifsdurenforcementdescapacitsorganisationnellesen
valuation(RCE),commeledveloppementdeconnaissancesetcomptencesenvaluation.On
yvoitaussiqueceuxquimettentenuvreleRCEsontmotivslefairepourplusieursraisons
etontdesattentesprcisesquidterminentenpartielastratgieemploye.Onretrouve
galement10stratgiesdeRCEquipermettrontauxindividusdacqurirlescomptences
souhaites.Lacomposantedemiseenuvrerfreplusspcifiquementaumomentchoisi
pourlamiseenuvredelastratgie,lexpertisedelanimateurouduformateur,laqualitetla
frquencedeparticipationdesindividusetlafiabilitdelimplantationdelastratgie.Ondoit
aussi,seloncemodle,valuernoseffortsdeRCEafindelesamliorer.

Delautrect,onretrouvelesprocessus,lespratiques,lespolitiquesetlesressources
ncessaireslapratiquecontinueetdurabledelvaluation.Ellesreprsententenfaitdes
objectifslislapprentissageorganisationnel,quidpassentlaportedelvaluation.

Entrelesdeuxcts,onretrouveuneflchequifaitrfrenceautransfertdesapprentissages,
soitlapplicationdesnouvellescomptencesdansletravail.Cetteflchelielescomptences
individuellesauxstructuresetsystmesorganisationnelsenplace.Lesauteurssoulvent
commelmentsimportantsleleadership,lacultureorganisationnelleetlessystmeset
structuresncessaireslapratiquedelvaluation,ainsiquelesmcanismesdecommunication
disponiblesdanslorganisation.

3
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Finalement,lemodlefaitaussirfrenceladiffusion.Lesauteursconsidrentqueles
participantsauxactivitsdeRCEdoiventaussipartagerleursnouvellesconnaissanceset
comptenceslchelledelorganisation,etquecepartagemneraaussiunecapacit
organisationnelleenrichiedanslorganisation.

ModleintgrduRCE
Labinetcollaborateurs(2012)

CesauteursontchoisideprsenterleRCEcommeunmodlelogique.Endautresmots,ce
modlesintresseaurenforcementdescapacitsentantquinterventionpluttqula
descriptiondescapacits.Ilsedclineentroissections:

1 Besoinpourquoi

Lapremiresectionrfreaubesoinderenforcementdescapacitsenvaluation.Desfacteurs
interneset/ouexternespeuventexpliquerunrecoursunestratgiedeRCE.Onidentifie
notammenttroisfacteursimportants:lamotivation,lesattentesetlidentificationdobjectifs
prcisparrapportauRCE.Lesauteursnotentquuneanalysedesbesoinsestdemiseiciafinde

4
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


bienslectionnerlastratgieadopter.Lescaractristiquesdelorganisationpeuventaussi
affecterlechoixdunestratgieainsiquesonefficacit.Ilestdoncimportantdelesconsidrer.
Lesauteursrfrentauxattitudesparrapportlvaluation,ladisponibilitderessourcespour
implanterlastratgiedeRCE,lexpertiseinterneenvaluation,leleadershipetlaculture
organisationnelle.Ondfinitcescaractristiquesdanslemodlecommetantdesatoutset
ressources.

2 Activitsquoietcomment

LadeuximesectionidentifielesstratgiesdeRCEetcommentellesserontmisesenuvreet
values.LesstratgiesdeRCEpeuventtreimplantesdeplusieursfaons,commedes
rencontresenpersonne,destlconfrences,descommunicationslectroniquesouautres.Ces
stratgiespeuventtenterdemodifierdescomportementsindividuelsetorganisationnels.Au
niveauindividuel,onparlepluttdescomptencestechniquesncessaireslaproduction
dvaluations,tandisquauniveauorganisationnel,onparlepluttdesressourcesetsystmes
ncessaireslimplantationdelvaluationdurable.

Lesauteursidentifientaussicertainesvariablesquipeuventaltrerlatteintedesobjectifsdu
RCE.Parexemple,desvariablesrelieslapopulation,lecontexteorganisationnel,lafrquence
etledosagedesinterventionsdeRCEpeuventchangerlesrsultatsduRCEetncessitent
parfoiscertainsajustementsencoursderoute.

3 RsultatsduRCE

LesrsultatsvissparlesstratgiesdeRCEsont,encoreunefois,dunordreindividuelet
organisationnel.Lescaractristiquesorganisationnellespeuventaffecterlamesuredanslaquelle
lapprentissageindividuelalieu,parexemple.Auniveaudesrsultatsorganisationnels,on
retrouvelexistencedepolitiques,depratiquesetdeprocessuslislaproductionet
lutilisationdesvaluations,leleadershipncessaireauchangementorganisationnel,laculture
organisationnellequisoutientounuitlaproductionetlutilisationdvaluationsetladurabilit
delvaluation,cestdiresonintgrationdanslesprocessusdeprisededcisionsde
lorganisation.

Finalement,lesauteurssoutiennentquelesrsultatsvissparlesprogrammesetles
organisationsfontpartieintgraledumodle,puisquelvaluationreprsentelundesmoyens
parlesquelslorganisationpeutlesatteindre.Certainsrsultatsngatifsseretrouvent
galementdanslemodle.

5
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Modleetinstrumentdemesuredelacapacitorganisationnelleenvaluation
Nielsen,LemireetSkov(2011)

Cemodleatdveloppdanslecadredunetudedescapacitsorganisationnellesen
valuationdesgouvernementsmunicipauxauDanemark.Ilaservidebaseconceptuelleun
instrumentdesondagedveloppparlesauteurs.Ici,onconsidrequelvaluationestlundes
moyensemploysparlorganisationdanssaprisededcisions.Laprsencedemcanismesde
productionetdutilisationdesvaluationsreflte,selonlesauteurs,lintentiondelorganisation
parrapportlvaluation.

Lesstructuresetlesprocessusrfrentlapplicationdeconnaissancesissuesdelvaluationau
fonctionnementgnraldelorganisation.Parexemple,existetilunefonctiondvaluation?O
setrouvetelledanslorganigramme?Letravaildesvaluateursestaussiimportantselonce
modle.Laportedesactivitsdvaluationetlesressourcesfinanciresquileursont
consacresnouspermettentdinfrerlademandequiexistedanslorganisationpour
lvaluation.Lesressourcessontdailleursncessairespourassurerlaproductiondvaluations
dequalit.

Lecapitalhumaincomprendlescomptencesdesvaluateursainsiqueleurniveaudducation
formelleetleurformationenvaluation.Deplus,onconsidreaussilexpriencedes
valuateursentantquindicateurdelacomplexitetdelaqualitdestravauxdvaluationqui
sontralissdanslorganisation.Lescomptencestransversales,commelanalysedesdonnes
etlaproductiondeconnaissances,tmoignentaussidelimpactquepeuventavoirles
valuateursdansleurorganisation.

Latechnologiedisponibledanslorganisationrfreauxmoyensetressourcesdisponiblesetqui
permettentlaproductiondvaluationsdequalit.Ilestessentiel,parexemple,queles
valuateursaientaccsauxoutilsinformatiquesncessairespourfaireleurtravail.Dautres

6
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


recours,commelessystmesdecollectededonnesdurendement,parexemple,fontaussi
partiedecesressources.

Lesauteursprsententunmodledeproductionetdedemandedvaluation.Lademandeest
diviseendeuxsections:lesobjectifsdunepartetlesstructuresetprocessusdautrepart.On
parleicidesobjectifsexplicitesdelorganisationenplusdesstructuresetsystmesquiexigent
laproductiondvaluationsetsenservent.Laproductiondvaluationsconcernela
combinaisonducapitalhumainetdelatechnologie,quipermetensuitelaconceptionetmise
enuvredvaluations.Douzesouscomposantesonttajoutescesquatrelments
principaux.

Dimensionsdelacapacitorganisationnelleenvaluation
BourgeoisetCousins(2008,2013)

7
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Cemodlechercheidentifierleslmentsconcretsquitmoignentdelacapaciten
valuationduneorganisation.Ilcomportelafoisdesdimensionsquidcriventlacapacit
raliser,ouproduire,desvaluationsdequalit,ainsiquedesdimensionsquiportentpluttsur
lacapacitutiliserouintgrerlesrsultatsdesvaluationspourunemeilleureprisede
dcisions.Lessixgrandesdimensionsdumodlesontdcritescidessous;chacunedentreelles
peuttrediviseencomposantesplusprcises,quisontlabaseduninstrumentdemesurede
lacapacitorganisationnelleenvaluationdveloppparBourgeois,Toews,Whynotet
Lamarche(2013).

Capacitraliser
1 Ressourceshumaines:
Portesurlescomptencestechniquesetinterpersonnellesdesvaluateursetdu
responsabledelvaluationdanslorganisation
2 Ressourcesorganisationnelles:
Portesurlesressourcesfinanciresetorganisationnellesdontladirectiondvaluation
disposepourfairesontravail
3 Planificationetactivitsdvaluation:
Portesurlaqualitdesvaluationsetleurplanificationselonlesbesoinsde
lorganisation

Capacitutiliser
4 Comptencesenvaluation:
Portesurlesconnaissancesetcomptencesrelieslvaluationquedtiennent
lensembledesmembresdelorganisation
5 Prisededcisionsorganisationnelles:
Portesurlutilisationdelvaluationdesfinsmultiples
6 Apprentissagebnfices:
Utilisationdelvaluationaudeldelapplicationdirectedesrsultats

Similaritsentrelesmodles:
lmentsclsdelacapacitorganisationnelleenvaluation

lasuitedelanalysedesdiversmodles,nousretenonscertainslmentsquisontreprispar
plusieursauteurs:

Capacitraliser
Comptencestechniques:lesmodlesrfrenttousauxcomptencesspcifiquesque
doiventpossderlesvaluateurs.Onpensenotammentlaconceptiondune
valuation,auxmthodesderechercheetdanalyse,lardactionderapportset
lengagementdespartiesprenantes.
Attitudesparrapportlvaluation:lesmodlesindiquentaussiquelorganisationdoit
engnraltreouvertelapprentissageetlvaluationafindepermettreune
valuationrigoureuseetcompltedesprogrammesetpolitiques.

Capacitutiliser

8
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Ressourcesfinancires:bienquelesressourcesfinanciressoientaussiimportantes
pourlaralisationdesvaluations,lesmodlessoutiennentquelesorganisations
doiventdisposerdesressourcesncessaireslamiseenuvredesrsultatsdes
valuationspourenassurerlutilisation.
Politiquesetprocduresrelativeslvaluation:plusieurstudesetmodles
dmontrentquuneorganisationquisouhaiteamliorersacapacitenvaluationdoit
sedoterdespolitiquesetprocduresncessaireslaproductionetlutilisationde
lvaluation.
Leadershipenmatiredvaluation:lesorganisationsquiontunefortecapaciten
valuationonthabituellementunoudeuxchampionsdelvaluationparmileurscadres.

Quellesstratgieslesorganisationspeuventellesadopterpourrenforcerleurs
capacitsenvaluation?

Faireundiagnosticdesescapacits:
Mesurerlescapacitsactuellesafindidentifierleslacunesdelorganisationenmatire
dvaluation
Dvelopperunestratgiederenforcementquitientcomptedesforcesdelorganisation
ettentedelarenforcerdefaonstratgique

Haussersacapacitraliser:
Embaucheetformationdesvaluateurs(cours,mentorat,perfectionnement,etc.)
Collectedesdonnesdeperformanceencontinuafindalimenterlesvaluations
Dveloppementdeprocduresetdepolitiquesconcrtessoutenantlapratique
rigoureuseetlutilisationdelvaluation

Amliorersacapacitutiliser:
Adaptationdesmcanismesdediffusionauxutilisateursparlentremisederapports,de
prsentations,degraphiques,etc.
Intgrationdesvaluateursauprocessusdeprisededcisionseninvitantleoulachef
delvaluationauxrencontresducomitexcutifdelorganisationouautresinstances
dcisionnelles

Quelquesprojetsderecherchercents

Organismesfdraux,provinciauxetcommunautaires:comparaisondelacapacit
organisationnelle
(Bourgeois,ThriaultetWhynot,2015)
Nousavonsmesurlacapacitorganisationnelleenvaluationdetroistypesdorganismes:
deuxorganisationsfdrales,unministreprovincialetunorganismecommunautaire.Les
rsultatsdmontrentclairementquepluslvaluationestinstitutionnalisedefaonformelle,
plusgrandeestsacapacitdutilisation.

SantpubliqueOntario:rsultatspour32centresdesantpublique
(Bourgeois,Simmons,Hotte,etOsseni,2016)
Nousavonsmesurlacapacitorganisationnelleenvaluationde32centresdesantpublique
situspartoutenOntario.Nonseulementcettetudenousapermisdemesurerlacapacitde

9
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


chacunedecesorganisationsindividuellement,maisnousavonsaussipudresserunportrait
gnraldelacapacitenvaluationdelensembledescentresdesantpublique.Grceces
rsultats,lescentreslaborentactuellementdesstratgiesconcrtesderenforcementdeleur
capacit.Cesstratgiesfontlobjetdunenouvelletudequenouslanonscethiver.

tudesdecassurlacapacitorganisationnelleenvaluation
(CousinsetBourgeois,2014,Eds.)
Nousavonsmenhuittudesdecassurlacapacitorganisationnelleenvaluationdansdes
organismesgouvernementauxetcommunautaires.Lesleonstiresdeceshuittudesdecas
ontfaitlobjetdunnumrodelarevueNewDirectionsforEvaluation.

Utilisationdelvaluationparorganismesfdraux:tudesdecas
(BourgeoisetNar,2015;BourgeoisetWhynot,souspresse)
NousavonsreuunesubventionduConseilderecherchesenscienceshumainesduCanada
(CRSH)pourraliserunetudequiportesurlutilisationstratgiquedelvaluationpardes
organismesfdraux.Iciaussi,ilsagitdtudesdecas.Notretudenouspermetdeconstater
quelesvaluationssontutilisesdesfinsinstrumentales,maispeustratgiques.

RFRENCES

Bourgeois,I.,andCousins,J.B.(2013).Understandingdimensionsoforganizationalevaluation
capacity.AmericanJournalofEvaluation,34(3),299319.

Labin,S.,Duffy,J.L.,Meyers,D.C.,Wandersman,A.,&Lesesne,C.A.(2012).Aresearch
synthesisoftheevaluationcapacitybuildingliterature.AmericanJournalofEvaluation,33,307
338.

Preskill,H.,&Boyle,S.(2008).Amultidisciplinarymodelofevaluationcapacitybuilding.
AmericanJournalofEvaluation,29(4),443459.

Nielsen,S.B.,Lemire,S.,&Skov,M.(2011).MeasuringEvaluationCapacityResultsand
ImplicationsofaDanishStudy.AmericanJournalofEvaluation,32(3),324344.

Bourgeois,I.,Toews,E.,Whynot,J.,andLamarche,M.K.,(2013).Measuringorganizational
evaluationcapacityintheCanadianfederalgovernment.CanadianJournalofProgram
Evaluation,28(2),119.

Bourgeois,I.,etWhynot,J.(accept).StrategicevaluationutilizationintheCanadianfederal
government.Revuecanadiennedvaluationdeprogramme,33(3),2018.

Bourgeois,I.,Simmons,L.Hotte,N.,etOsseni,R.(2016).Measuringorganizationalevaluation
capacityinOntariopublichealthunits:Anempiricalinvestigation.Revuecanadienne
dvaluationdeprogramme,31(2),165183.

Bourgeois,I.(2016).Performancemeasurementasprecursortoorganizationalevaluation
capacity.JournalofAustralasianEvaluation,16(1),1118.

10
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.


Bourgeois,I.,etNar,C.(2015).Theusabilityofevaluationreports:Aprecursorto
evaluationuseingovernmentorganizations.JournalofMultidisciplinaryEvaluation,11(25),
6067.

Bourgeois,I.,Whynot,J.,etThriault,.(2015).ApplicationoftheOrganizationalEvaluation
CapacitySelfAssessmentInstrumentindifferentorganizations:Similaritiesandlessonslearned.
EvaluationandProgramPlanning,50,p.4755.

11
ProfesseureIsabelleBourgeois,colenationaledadministrationpublique,2017.