Académique Documents
Professionnel Documents
Culture Documents
Martine Leblanc-Constant
Juin 2012
Remerciements
Je ne peux passer à côté de l'occasion de remercier chaleureusement celle qui m'a fait confiance
et qui m'a tant appris en peu de temps, ma responsable de stage Claire Bard . C'est grâce à la
générosité et l'expérience de cette dernière que j'ai pu accomplir mes mandats. Aujourd'hui, si j'ai
le désir de faire accroître la fonction d'évaluation de programme au sein de l'Administration
gouvernementale, c'est principalement dû par la passion que cette dernière me partage.
Je tiens à remercier également mon professeur M. Pierre Cliche qui a accepté avec grande
générosité de référer ma candidature en plus de m'accompagner dans cette expérience. Lors de
mes études à la maîtrise, M. Cliche est également le professeur qui m'a le plus remuée quant à
. la rigueur attendue de ses élèves et pour cela, je lui en remercie.
Lors de mon stage, j'ai pu découvrir des collègues formidables, notamment Isabelle et Daniel, qui
m'ont intégrée rapidement en plus d'avoir la chance d'avoir une directrice, Sonia, qui a cru en
mes capacités et pour cela, je tiens également à les remercier.
Un rapport de stage constitue pour moi l'achèvement d'un long parcours universitaire. Pour cela,
je tiens à remercier affectueusement toute ma famille pour leurs encouragements, mais
spécialement mes parents, Sylvie et Marcel, pour leur soutien et leur fierté. Un dernier merci
spécial à mes amis et collègues enapiens, Jean-Sébastien et Florence, qui m'ont supportée,
mais surtout à mon amoureux, Mathieu, pour m'avoir forcée à étudier et encouragée à tout
moment.
v
Avant-propos
iii
Table des matières
"'· Suivi auprès de la direction .... ..... ............. ............ .... ...... .... ...... ........ .... .... .. ...... ... .... .... ..... ...... .. ...... ..... Il
~ . .. Consultation à des fins de validation du contenu ............... .... ... ....... ... ....... ..... .. .. ................. .. ...... .. ..... JI
1·- Réception des commentaires .. .... ... ..... .... ... ......... ... ... ... .... ... .... .... ... .. ..... ....... ... .. .... .... .. ...... .. ......... .... .... 12
t...:
Préparation de la version finale et son plan de communication ............................. .... ........................ 12
l"-- Remise du document ........................ ..... ........ .... ................ .... .. ... .... .. ....... ..... ..... ... ... .... ... .. ...... ........... ... 13
Écarts entre la démarche proposée et la démarche réalisée .......... .... ......... ...... ... ........ ......... .. .. ... .... .. . 13
CADRE DE SUIVI ET D'ÉVALUATION .......................... ,........................................................ ~··········· 15
DÉMARCHE PROPOSÉE ... ....... .... .... ... ... ... ......... .. ........... ... .... .. ... .. .. ........ ..... .... ... .. ..... ........ ... .... .. ..... ..... .. .......... 15
DÉMARCHE RÉALISÉE ... ..... .... ... ......... .... ... ..... ... ................ ... . .... ..... .. .... ..... ......... .............. .... ... .. ......... .. ........ ... 15
Prendre connaissance des documents existants ............... .. ........................................................ .... ... .. 16
Proposition du contenu ........ .. ........ ..... ..... ...... ...... ..... ................ .. .. ........ .. ..... ... ... .. ......... .... ..... ... .... .. .... 16
Consultation à des fins de validation du contenu ....... ..... .. .............. ............... .. ...... ...... ............ ... .... .... 16
Préparation de la version finale et son plan de communication ... .. ..... .. ............. .... ...... ............... .... ... 16
Remise du document ......... ............ ...... ... .... .... .. .. .. ... ... ... ............... ... ....... ......... .... ........ .... ...... ...... ..... .. .. 16
Écarts entre la démarche proposée et la démarche réalisée ... ..... .. ...... .. ... ...... ....... .. ............ .. ............. 17
vii
CONTRIBUTION À D'AUTRES PROJETS .......................................................................................... 19
CONSEILS ET LEÇONS APPRISES ...................................................................................................... 20
CONCLUSION ........................................................................................................................................... 22
RÉFÉRENCES UTILISÉES POUR LE GLOSSAIRE ........................................................................... 24
RÉFÉRENCES UTILISÉES POUR LE CADRE DE SUIVI ET D'ÉVALUATION ........................... 35
ANNEXE 1- ORGANIGRAMME ...................................................................................................................... 37
viii
Introduction
L'appareil gouvernemental québécois est sans cesse en quête des meilleures pratiques de
gestion. En 2000, le Québec s'est doté de la Loi sur l'administration publique accordant la priorité
à la qualité des services aux citoyens et instaurant un nouveau cadre de gestion axée sur les
résultats. En ce sens, l'ensemble des ministères et organismes assujettis à cette loi a dû revoir
certaines de ses pratiques de gestion.
L'un des rôles du Secrétariat du Conseil du trésor du gouvernement du Québec.confié par cette
loi est de favoriser « l'adaptation du cadre de gestion à la situation ·de chacun des ministères et
organismes tout en mettant en œuvre les actions requises pour respecter la politique budgétaire
1
du gouvernement » . La Direction de la mise en œuvre de la Loi sur l'administration publique
(DMOLAP) est l'unité du Secrétariat du Conseil du trésor responsable de ce cadre de gestion et
de la mise en œuvre de la Loi. Elle a pour rôle de faciliter l'application du cadre de gestion
gouvernemental dans les ministères et organismes assujettis. . Cette même loi est également
celle qui établit les rôles et les responsabilités du Secrétariat du Conseil du trésor et de son
secrétaire.
C'est dans un contexte de soutien en matière des meilleures pratiques de gestion que le stage a
été effectué . Le mandataire, la DMOLAP, a confié le mandat de travailler au développement du
coffre à outils du coordonnateur de la fonction d'évaluation et des évaluateurs de programme au
sein de l'appareil gouvernemental québécois.
Ce rapport de stage relate le déroulement du stage. Il propose en premier lieu une description du
mandat, de l'organisation mandataire, des livrables demandés et de la démarche réalisée. En
deuxième lieu, il pésente une rétroaction sur la démarche et présente les acquis et les leçons
apprises. Il se termine par une conclusion générale de l'expérience.
1
http://www2.publicationsduquebec.gouv.qc.ca/dynamicSearch/telecharge.php?type=2&file=/A 6 01/A6 01 .html
Présentation de l'organisation
Mandats et activités
Le mandat qui oriente les actions transversales de la DMOLAP est le suivant : « Assister le
Conseil du trésor et sa présidente dans leurs fonctions de gouverne. À cet effet, elle voit à la
mise en œuvre du cadre de référence gouvernemental afin de faire évoluer la gestion axée sur
2
les résultats et de placer la qualité des services au cœur des préoccupations. Aussi, elle assiste
2
et conseille les ministères et organismes en ces matières. »
• Effectuer des activités de veille sur les meilleures pratiques en lien avec
les différents aspects de la gestion axée sur les résultats» 3 .
2
Intranet du Secrétariat du Conseil du trésor.
3
Objectifs de l'organisation
Les objectifs stratégiques de cette organisation sont les suivants :
• faciliter l'application des meilleures pratiques en matière de gestion axée sur les
4
résultats » .
• Loi sur le régime de négociation des conventions collectives dans les secteurs public et
parapublic;
3
Ibidem
4
Intranet du Secrétariat du Conseil du trésor.
5
/bidem
4
• Lois concernant les régimes de retraite des employés de I'Ëtat;
5
6
Le stage confié
• un glossaire annoté qui propose des définitions pour les termes courants en
évaluation de programme adaptées au contexte de la pratique au Québec;
6
Voir le document original «Offre de seNice» à l'annexe Il.
6
• La préparation d'un projet de nouvelles orientations ou de directive qui s'inscrit
de manière cohérente ou en soutien à d'autres initiatives comme l'élaboration
d'un outil d'évaluation de la performance des programmes.
Il a été attendu que la stagiaire peut, dans la mesure où le cheminement de ses livrables
identifiés lui permet de s'y impliquer, être mise à contribution dans ces deux projets. Toutefois,
aucun livrable autre que ses analyses, commentaires et rétroactions organisés ne sont attendus.
Le stage a été d'une durée de 15 semaines, à un rythme de 35 heures par semaine. Il a débuté
le 9 janvier et s'est terminé le 20 avril 2012. Le stage a été effectué dans les bureaux du
Secrétariat du Conseil du trésor.
7
Glossaire des termes usuels en évaluation de programme
Le glossaire a été préparé dans la perspective de doter les personnes intéressées à l'évaluation
de programme de définitions adaptées au contexte québécois. Annoté et illustré, il permettra à
ses utilisateurs une compréhension facile et rapide des termes.
Démarche proposée
Pour la préparation du glossaire annoté proposant des définitions des termes courants en
évaluation de programme adaptées au contexte de la pratique au Québec, la démarche qui a été
proposée est la suivante :
3. Faire une recherche dans les banques de données sur les articles scientifiques
d'évaluation de programme spécifiquement aux États-Unis, en Grande-Bretagne et au
Canada concernant des définitions existantes sur les termes courants en évaluation de
programme;
8
Démarche réalisée
Tout au long du stage, plusieurs facteurs sont intervenus et ont modifié la démarche proposée.
Cette partie du rapport met en évidence la démarche réellement réalisée au cours du stage et
met en relief les différences entre la démarche anticipée et la démarche exécutée sans jamais
toutefois différer de l'entente initiale entre la stagiaire et le mandataire. La section sera divisée de
façon à mettre en évidence la démarche réalisée pour arriver aux livrables attendus.
Lors de l'amorce d'un projet de la sorte qui n'a jamais été réalisé auparavant par les personnes
impliquées, il est normal d'avoir une vision préliminaire de la démarche. Ainsi, une démarche
préalable avait été conçue qui se résume à : prendre connai$sance de la documentation
existante au sein du gouvernement québécois, canadien, des États-Unis, de la France et de la
Grande-Bretagne, fouiller davantage les glossaires et lexiques existants au sein de plusieurs
autres communautés (universitaire, organisation internationale, associations diverses), élaborer
une première version du glossaire soutenue sur la base des renseignements recueillis de ceux-ci,
valider son contenu par un groupe d'experts de plusieurs horizons incluant la pratique et la
recherche pour enfin, préparer une version finale du glossaire et son plan de communication.
La logique de cette démarche a été maintenue. Cependant, plusieurs éléments ont entravé le
cours prévu de cette dernière. C'est pourquoi la démarche réalisée, présentée dans les
paragraphes qui suivent, correspond davantage à la réalité . Les nuances à apporter entre ces
démarches concernent davantage l'exécution de chacune des étapes que la démarche en tant
que telle. De façon plus détaillée, les prochains paragraphes présenteront les différences entre la
démarche planifiée et la démarche suivie. À la fin de cette section, un tableau reprenant
l'échéancier d'origine et présentant l'échéancier réalisé met en évidence ces différences.
9
Document de travail
P·our chacun des mots retenus, les définitions trouvées dans toutes les références ont été
recensées dans un même document. De cette façon , la formulation de définitions adaptées au
contexte gouvernemental québécois serait reprise ou inspirée de plusieurs définitions véhiculées
dans la communauté des évaluateurs, mais en · même temps original. À ce propos, dès les
premières définitions reprises dans le document de travail, un document de références mis en
page concurremment se créait pour ne pas avoir à rechercher l'ensemble des références
utilisées et à les mettre en forme plus tard. Cette rigueur apportée dans la préparation du
document de travail, en écrivant la source de façon abrégée, mais précise à la fin de chacune
des définitions et en créant le document de référence au même moment a facilité les recherches,
mais surtout a permis de justifier le choix final d'une définition. Voir l'annexe Ill pour avoir un
aperçu du document de travail.
Une fois les glossaires disponibles sur Internet consulté, quelques sources physiques ont
également été utilisées notamment les notes de cours reçus à l'École nationale d'administration
publique. Au fil des travaux et des recherches, la personne responsable du stage veillait au bon
déroulement en approuvant la méthode de travail, les références utilisées et la liste des mots
laissés de côté.
De plus, une fouille des termes équivalents dans la langue anglaise a été réalisée afin de
proposer le terme anglais correspondant pour chacun des mots. Des outils spécialisés sur
Internet ont permis la recherche nécessaire. Cet ajout a été prévu, car une partie des écrits et
recherches en évaluation de programme est produite en anglais.
10
Mise en forme en vue de la consultation
Une fois une deuxième écriture faite de l'ensemble du document de la part de la stagiaire , le
. projet de glossaire a été copié avec liaison dans un autre document Ward sous format tableau.
De cette façon, les définitions du document de travail (environ une centaine de pages) étaient
automatiquement liées aux définitions dans le tableau et, pour les experts consultés, il était plus
facile de commenter et d'écrire des recommandations dans un tableau sur environ une trentaine
de pages. De plus, cela permettait d'ajouter un espace pour poser des questions aux experts sur
certaines définitions sur lesquelles nous recherchions des réponses. Un aperçu de ce document
est reproduit à l'annexe IV. Parfois, les recherches sur la correspondance entre les termes en
langue anglaise utilisés en pratique n'étaient pas concluantes. L'expertise d'universitaires
enseignant l'évaluation de programme dans des établissements anglophones a été mise à profit.
11
Réception des commentaires
Au total, un échantillon assez représentatif de l'ensemble des experts consultés a répondu à
notre demande. Les commentaires et suggestions ont été transmis par courriel directement à la
stagiaire ou parfois par l'entremise de la directrice. Afin de considérer l'ensemble des
commentaires reçus. Ceux-ci étaient compilés dans un même document. Une liste assurant le
suivi des répondants a également été créée.
Une activité non prévue à l'origine s'est ajouté lors de l'étape de validation : une collaboration
étroite avec le Centre de recherche et d'expertise en évaluation de l'École nationale
d'administration publique. Ces derniers étaient compris dans l'ensemble des experts consultés à
l'origine. Cependant, ces derniers travaillaient au même moment sur un projet de Dictionnaire
terminologique d'évaluation. Ceci étant, il a été décidé que pour les termes que nous avions en
commun dans les deux documents, des définitions communes allaient être utilisées lorsque
possible. Plusieurs rencontres et échanges ont eu lieu afin d'en arriver aux résultats escomptés.
Cette cohérence est importante pour les praticiens de l'évaluation qui utiliseront possiblement les
ouvrages de façon complémentaire.
Une fois l'ensemble des commentaires recueillis, la responsable du stage et la stagiaire se sont
assis pour passer en revue l'ensemble des commentaires. Après plusieurs heures de travail,
plusieurs modifications, précisions et ajouts, une version quasi finale a pu être préparée et
acheminée à la Direction des communications pour le montage du visuel. Cependant, il a été
12
décidé qu'une deuxième et dernière phase de consultation et de validation serait pertinente. Bien
qu'une première validation ait répondu à nos attentes, un deuxième tour rejoignant davantage de
personnes tout en y incluant les premières impliquées serait d'intérêt. La fin du stage n'a pas
marqué la fin du projet puisque des étapes ont été ajoutées afin de concevoir les définitions les
plus rigoureuses possible.
Remise du document
Lors de la dernière journée du stage, la stagiaire a pu remettre le livrable .convenu à l'origine. Le
glossaire a été réalisé selon les étapes prévues et a pu faire l'objet d'une validation solide auprès
d'une communauté de pratique de la fonction d'évaluation. Comme il a été décidé en cours de
mandat qu'une deuxième étape de validation était pertinente et que la Direction des
communications devait prendre davantage de temps pour élaborer le visuel selon nos besoins, le
document remis à la fin du stage ne consistait pas au produit final. Cependant, il sera possible de
compléter le projet puisque le stage a débouché sur une proposition d'emploi. A l'annexe V, un
aperçu du glossaire tel qu'il était à la fin du mandat est présenté. A l'annexe VI se trouve la
version du glossaire à la date de remise du présent rapport de stage.
13
supérieure à ce qui était anticipé, une semaine supplémentaire a été nécessaire afin
d'intégrer dans le document de travail les définitions pertinentes. Aussi, après deux
semaines de recherches, une rencontre entre la responsable du stage et la stagiaire a
déjà permis de constater que les recherches allaient être plus exigeantes que prévu,
mais que le projet dans l'ensemble tenait néanmoins la route.
2. La deuxième étape, l'élaboration du contenu, est celle qui a été la plus sous-estimée.
Trois semaines étaient insuffisantes pour un document qui regroupe plus de 130 termes.
De plus, une étape non prévue s'est ajoutée : informer le Secrétaire du Secrétariat du
Conseil du trésor de notre démarche de validation auprès d'externes.
4. À l'origine, il n'avait pas été prévu que le glossaire serait la première publication de la
direction sous sa nouvelle image et que, de ce fait, il constituerait le projet-pilote sur
lequel le reste des autres productions reposeraient en termes de présentation . La
Direction des communications a demandé une échéance ultérieure au moment de la fin
du stage prévu .
14
Cadre de suivi et d'évaluation
Le second livrable attendu dans le cadre du stage est un guide sur la préparation d;un cadre de
suivi et d'évaluation devant permettre aux évaluateurs et aux gestionnaires de la fonction
d'évaluation de disposer notamment d'un gabarit utile au moment de planifier les activités de
suivi et d'évaluation préalablement aux travaux de collecte d'information. Ce document à produire
expose généralement les stratégies et méthodologies envisagées pour répondre aux questions
d'évaluation. Il indiquera les principales sources de renseignements, les responsables de leur
collecte et, pour les activités de suivi, le cas échéant, la fréquence à laquelle les différents
renseignements devront être colligés. Il comprend une présentation de l'initiative évaluée et de sa
logique et, outre les éléments concernant l'évaluation future, des mesures de suivi du rendement
qui renseignent en continu sur le déroulement de l'intervention et ses effets et préparent le terrain
pour une évaluation de qualité.
Démarche proposée
Pour la préparation du guide sur l'élaboration des cadres de suivi et d'évaluation, la démarche qui
a été proposée est la suivante :
Démarche réalisée
Le projet de glossaire ayant pris une ampleur imprévue, celui du guide sur le cadre de suivi et
d'évaluation en a souffert. En général, les différences importantes concernent la tâche effectuée
moindre que prévu dans le cas du guide et la tâche du glossaire qui a empiété sur le temps
planifié pour le deuxième livrable, moins prioritaire pour l'organisation. Les paragraphes
subséquents détaillent la démarche réalisée. Un tableau comprenant l'échéancier et les étapes
d'origine et réalisées complète cette section .
15
Prendre connaissance des documents existants
La prise en compte des documents existants a été commencée lors des périodes creuses du
projet de glossaire. Plusieurs documents traitant de la question étaient facilement accessibles sur
Internet, notamment sur les sites d'organisations internationales comme la Banque mondiale, les
Nations Unies ou l'UNESCO. Après la lecture de l'ensemble des documents trouvés, l'ouvrage du
Secrétariat du Conseil du Trésor du Canada, de 2010, a servi d'ancrage important. En effet, le
document Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure
du rendement s'est avéré être un bon exemple du livrable attendu pour le Secrétariat du Conseil
du trésor du Québec.
Proposition du contenu
L'ouvrage du gouvernement canadien a servi de point de départ pour l'élaboration du guide sur le
cadre de suivi et d'évaluation autant pour la structure que pour le contenu. Des éléments tirés
d'autres ouvrages recueillis ont également été repris et introduits. Des rencontres avec la
responsable du stage ont permis d'éviter les éparpillements et maximiser le temps consacré à ce
livrable puisqu'il devrait être moindre que prévu.
Remise du document
Malgré les modifications à la démarche, la stagiaire a pu remettre un livrable acceptable lors de
la dernière journée du stage. Le guide sur le cadre de suivi et d'évaluation a été préparé selon les
étapes entendues malgré qu'elles aient été écourtées. Comme il a été décidé en cours de
16
mandat que le plan de communication allait être préparé ultérieurement, le document remis n'est
pas final. Le document tel que remis à la fin du stage peut être lu à l'annexe VIl . Cependant, la
stagiaire sera quand même capable de compléter le projet puisque cette dernière a été engagée
par l'organisation et que ce livrable fait maintenant partie de ses mandats.
1. La première étape a été menée en une semaine au lieu des deux semaines prévues à
l'origine. Cette différence s'explique par le peu de documents existants, mais aussi parce
que cette étape a été entreprise environ deux mois après l'arrivée de la stagiaire qui était
alors plus à l'aise pour rechercher rapidement les documents nécessaires. De plus, au
départ il était prévu que cette étape commence vers le 20 février. Cependant, c'est plutôt
vers le 5 mars que cette étape a pu être traversée puisqu'à ce moment, la stagiaire était
en attente de la relecture du glossaire.
2. La deuxième étape a été réalisée en parallèle d'une étape du glossaire qui nécessitait
des temps d'attente de la part de la stagiaire. L'élaboration du contenu a nécessité deux
semaines, comme prévu, mais a été faite en même temps que d'autres tâches reliées au
glossaire.
17
3. La troisième étape a pu être finalisée en une semaine au lieu des deux prévues
puisqu'elle n'a nécessité que quelques rencontres entre la responsable du stage et la
stagiaire.
4. Le contenu du livrable étant nettement inférieur moins volumineux que celui du glossaire.
Les commentaires de la responsable du stage ont pu être pris en compte plus
rapidement. Une semaine a suffi pour convenir de la dernière version du document.
18
Contribution à d'autres projets
En plus des deux livrables formellement identifié au mandat confié, la stagiaire s'est engagé à
mettre son expertise à la disposition de divers projets et activités en lien avec l'évaluation de
programme notamment le projet d'enquête sur le fonctioni devant servir à la préparation d'un
portrait couvrant les organisations assujetties à la Loi et également au projet de nouvelles
orientations ou de directive en évaluation de programme. La stagiaire a pu contribuer à certains
projets prioritaires de la direction et aux diverses rencontres de la direction qui traitaient de
l'ensemble des dossiers.
19
Conseils et leçons apprises
Intégrer une nouvelle organisation implique nécessairement une période d'adaptation. Un stage
de quatre mois, bien que défini dans le temps, nécessite que cette adaptation soit assez rapide .
pour mener à bien le mandat pour lequel le stagiaire s'est engagé. En tant qu'étudiante de l'École
nationale d'administration publique:. la stagiaire a la chance d'être reconnue pour sa formation
académique. Cependant, il n'en demeure qu'à cette dernière d'apprendre les rouages de
l'organisation ainsi que l'attitude à adopter pour en sortir avec des acquis intéressants. En ce
sens, de façon concise seront présentés quelques conseils et leçons apprises auxquels pourront
. se référer les futurs stagiaires.
• Prévoyez du temps pour faire relire chacun des textes, documents et même courriels par
votre responsable de stage, gagner en confiance et éviter des erreurs. Cette étape est
essentielle pour bien comprendre les méthodes de travail de l'organisation.
• Tirez profit des forces des collègues en les questionnant sur leur expérience, sur leurs
dossiers et leurs méthodes. L'expérience acquise de vos collègues ne se consulte pas dans
les documents de références et vaut beaucoup.
• Partagez des moments avec des collègues dans des situations en dehors du travail afin de
favoriser une familiarisation plus rapide des enjeux de l'organisation. Les dîners, pauses,
marches à l'extérieur et cafés facilitent la compréhension des intérêts de chacun et permet
une intégration rapide au sein de l'équipe.
• Posez des questions au responsable du stage afin de devenir autonome dans la livraison du
mandat. Ce dernier s'est montré disponible pour accueillir un stagiaire alors il l'est tout autant
pour l'accompagner dans sa réussite.
• Offrez de l'aide au responsable du stage sur ses dossiers et aux autres collègues qui
semblent en avoir besoin. Travailler avec les autres permet de comprendre ce que chacun
d'eux a à faire et l'aide peut être bien appréciée.
• Suivez les règles qui encadrent les collègues de votre équipe afin de vivre l'expérience de
travail de façon conforme à la réalité. Les détails comme l'horaire de travail, les vacances ou
encore les moments de dîner ou de pause varient d'une organisation à l'autre et les
stagiaires n'ont pas les mêmes règles à suivre, mais ils gagnent à s'y conformer.
20
• Choisissez les mots justes dans toutes communications écrites et faites une correction
appropriée avant tout envoi. Il est important d'avoir un français impeccable dans toutes les
communications écrites, même lors de l'éc'riture de courriel.
• Demeurez réaliste quant aux livrables et aux activités à entreprendre pour mener à bien ce
sur quoi on s'engage afin de demeurer crédible en plus de ne pas manquer de temps pour
réussir. Mieux vaut un livrable bien réalisé et conforme aux attentes que deux ou trois qui
auraient souffert en termes de qualité et d'approfondissement.
• Adoptez des approches méthodiques tout au long des recherches afin de garantir
l'uniformité, mais également faciliter la mise en forme finale des références, des documents
de travail, des styles, etc. La rigueur de travail tout au long permet d'éviter les écarts en plus
d'être organisé et prêt à répondre à toute question sur ses dossiers.
• Prenez des notes de la démarche réalisée tout au cours du stage. Ces notes sont utiles une
fois rendue à l'écriture du rapport de stage pour expliquer les écarts entre la démarche
prévue et la démarche réalisée.
21
Conclusion
--------- ----- ----------------- - - -.-
Un stage réalisé à la fin d'un cursus universitaire est l'occasion unique de lier les enseignements
académiques et le milieu du travail. De la sorte, il importe de s'investir tout au long du processus,
dans la recherche du stage désirée et l'accomplissement du mandat confié. L'aboutissement du
cheminement est porteur d'une carrière prometteuse, Afin de conclure ce rapport de stage, le
premier volet présentera une rétroaction générale sur l'expérience vécue et le deuxième axera
sur le soutien en matière des meilleures pratiques de gestion dans l'appareil gouvernemental
québécois.
Un stage d'une durée assez longue, comme dans le cas présent de quinze semaines, permet de
faire les différents liens entre les différents apprentissages faits au long du cheminement
universitaire avec le marché du travail. Dans le cas qui nous concerne, les cours de politique
publique du baccalauréat ont permis une familiarisation rapide avec la manière dont sont gérés
les portefeuilles gouvernementaux, en plus de comprendre l'importance et la façon dont les
organismes centraux, dont le Secrétariat du Conseil du trésor, sont utiles à l'appareil
gouvernemental. Les enseignements de la maîtrise en administration publique ont été utiles à
plusieurs égards notamment pour tout ce qui a trait à la gestion axée sur les résultats et les outils
de ·gestion comme les tableaux de bord ou la gestion de projets. De plus, les enseignements du
profil approfondi par la stagiaire, l'évaluation de programme, ont servi de base aux livrables du
mandat autant avec les cours que dans l'encadrement reçus.
Le stage s'est déroulé selon une approche accordant beaucoup d'autonomie à la stagiaire, mais
avec un encadrement ponctuel. Cette façon de travailler permettait à la stagiaire de se sentir
professionnelle et à la hauteur de ses collègues mais aussi appuyée dans ses questionnements
et besoins. Le déroulement général de l'activité a permis une intégration progressive de
l'ensemble des dossiers travaillés au sein de la DMOLAP par la stagiaire puisqu'elle était invitée
à participer à toutes les réunions de l'équipe et évènements organisés. Ainsi, la stagiaire a pu
travailler sur ses dossiers, mais également contribuer aux autres dossiers. Le travail d'équipe
étant souvent de mise dans cette organisation, chacun apprend des forces des autres, en
continu, dans plusieurs projets. Cette dynamique de collaboration fait en sorte que toute nouvelle
personne peut contribuer à la hauteur de ses moyens.
22
Le mandat de stage qui a été proposé était de contribuer à apporter du soutien en matière des
meilleures pratiques de gestion. En ce sens, La DMOLAP préconise une approche d'écoute,
d'appui, de communication, d'orientation et de coconstruction afin de soutenir les ministères et
organismes en matière de gestion axée sur les résultats. Un glossaire comprenant des termes
d'évaluation et mesure du rendement en plus des termes de gestion axée sur les résultats servira
d'outil à l'ensemble des ministères et organismes. Le guide sur le cadre de suivi et d'évaluation
servira également à toute organisation prévoyant l'implantation de nouveaux programmes.
Cependant, plusieurs autres outils, guides ou encore formations demeurent des projets ciblés par
la DMOLAP visant à faciliter l'application de la Loi sur l'administration publique par les ministères
et organismes. Pour ces raisons, la stagiaire s'est vue ravie de pouvoir continuer à contribuer au
développement du coffre à outils des organisations de l'Administration gouvernementale en
demeurant à l'emploi de l'organisation.
23
Références utilisées pour le glossaire
ACE (2012). Évaluation des besoins, énoncé de projet et devis [en ligne], Réseau du savoir
électoral, http://aceproject.org/main/francais/etletd01 b01 .htm (Page consultée le 14 février
2012) .
ALNAP (n.d .). Meta-evaluation [en ligne], ALNAP Review of Humanitarian Action in 2003 -
Chapter 4, http://www.alnap.org/poollfiles/FCh401 bp.pdf (Document consulté le 27 février
2012).
ARBOUR, Ghislain (201 0). Principes, processus et méthodes d'évaluation des programmes
publics (Notes de cours ENP7132), Basé sur le matériel de Richard Marceau, École nationale
d'administration publique, Québec, Québec.
BANNON, Yves, Diane CHAREST, Alice DIGNARD, Guy GIGUÈRE, Serge HAMEL et André VIEL (2009).
Manuel du responsable en évaluation de programme [en ligne], Groupe des responsables en
analyse et en évaluation de programme (GRAEP), http://graep .org/doc publigue/Manuei-
GRAEP .pdf (Page consultée le 12 janvier 2012).
BUREAU DE L'ÉVALUATION (2002) . Guide du suivi et de l'évaluation axés sur les résultats [en ligne],
Programme des Nations Unies pour le développement,
http://Www.und p.org/evaluation/docu ments/Han d Boo kiF rench/F r-M&E-Handbook.pdf
(Document consulté le 12 janvier 2012).
24
BUSINESS DICTIONARY (2012) . Plan [en ligne],
http://www.businessdictionary.com/defin ition/plan .html (Page consultée le 27 février 2012).
CAVELIER, Bernadette, Antoine DU BUYSSON, Claude FANDRE, Richard RÉQUÉNA, Michael RULETA
et Daniel VOIZOT (2007). Guide de l'évaluation 2007 [en ligne], Direction générale de la
coopération internationale et du développement, Ministères des affaires étrangères,
http://www.oecd .org/dataoecd/36/45/38399219.pdf (Document consulté le 27 février 2012).
CONSEIL DES MINISTRES DE L'ÉDUCATION (CANADA) (n .d.). Une éducation qui favorise la viabilité -
La situation de l'éducation en matière de développement durable au Canada [en ligne],
http://www.cmec.ca/Publ ications/Lists/Publications/Attachments/9/environment.fr.pdf
(Document consulté le 6 mars 2012) .
DENDIEN, Jacques (n/d). Le Trésor de la Langue Française Informatisé [en ligne], Université de
Lorraine, http://atilf.atilf.fr/ (Page consultée le 12 janvier 2012) .
25
programme, http://www.sqep.ca/archives/presentations/Biain ,%20J im colvpe02.pdf
(Document consulté le 12 janvier 2012).
DIVISION OF WORKPLACE PROGRAMS (2006). Research and Evaluation Glossary [en ligne],
Substance Abuse & Mental Health Services Administration USA,
http://workplace.samhsa.gov/Prevention/Pages/Giossary/Research Evaluation Glossary.pdf
(Document consulté le 12 janvier 2012).
DuRHAM, Joanne (2008) . Evaluability Assessment [en ligne], Australasian Evaluation Society,
http://www.aes.asn.au/regions/qld/2008/AES%201unchtime%20seminar%2018Nov08%20-
. %20slides.pdf (Document consulté le 22 février 2012).
EURÉVAL (201 0) . L'analyse coût-efficacité [en ligne], Centre Européen d'Expertise et d'Évaluation,
http://www.eureval.fr/IMG/File/FT ACE.pdf (Document consulté le 14 février 2012) .
EVALUATION TECHNICAL WORKING GROUP OF THE JOINT UNITED NATIONS PROGRAMME ON HIV/AIDS
(UNAIDS) MONITORING AND EVALUATION REFERENCE GROUP (2008). Monitoring and Evaluation
Terminology Glossary [en ligne],
http://www.globalhivmeinfo.org/Pages/Giossary.aspx?Paged=TRUE&p Title=Population%2db
ased%20surveys&p ID=53&View=% 7bBD952589%2d DE08%2d4F28%2dBE58%2dAA 17FE
BEB67D%7d&PageFirstRow=51 (Page consultée le 12 janvier 2012).
FLORIO, Massimo (Dir) (2003). Guide de l'analyse coûts-avantages des projets d'investissement
[en ligne], Unité chargée de l'évaluation, DG Politique régionale, Commission européenne,
http://ec.europa.eu/regional policy/sources/docgener/guides/cost/guide02 fr.pdf (Document
consulté le 14 février 2012).
26
FONDATION CANADIENNE AXÉE SUR LA RECHERCHE ET L'ÉDUCATION (1996). Lexique de la CCAF-
FCVI : Un glossaire des termes reliés à la gouverne, à la reddition de comptes et à la
vérification intégrée, tels qu'utilisés par la FCVI [en ligne], http://www.ccaf-
fcvi .com/index.php?option=com content&view=article&id=253&catid=87&1temid=99&1ang=fr
(Document consulté le 12 janvier 2012).
GERTLER, Paul J., Sebastian MARTINEZ, Patrick PREMAND, Laura B. RAWLINGS and Christel M. J.
VERMEERSCH (2011 ). Impact Evaluation in Practice [en ligne], The World Bank,
http:/lsiteresources .worldbank.org/EXTHDOFFICE/Resources/5485726-
1295455628620/lmpact Evaluation in Practice.pdf (Document consulté le 23 février 2012).
GouvERNEMENT DE L'ONTARIO (2006). Création d'un plan d'évaluation des résultats [en ligne],
http://www.reddi.gov.on.ca/track planassessoutcomes f.htm (Page consultée le 27 février
2012) .
GouvERNEMENT DU QUÉBEC (2012). Loi sur le vérificateur général [en ligne], Éditeur officiel du
Québec,
http://www2.publicationsduguebec.gouv.qc.ca/dynamicSearch/telecharge.php?type=2&file=N
5 01N5 01 .html (Page consultée le 14 février 2012).
INDEPENDENT GROUP EVALUATION (2007) . Impact Evaluation [en ligne], The World Bank Group,
http://www.worldbank.org/ieg/ie/ (Page consultée le 23 février 2012) .
INFORMATION SERVICES AND TECHNOLOGY (2006). Evaluation Termina/ogy [en ligne], Berkeley -
University of California, http://socrates.berkeley.edu/-pbd/pdfs/Evaluation Terminology.pdf
(Document consulté le 12 janvier 2012).
INSPQ (2008). Petit guide d'évaluation participative à l'intention des initiatives de développement
des communautés [en ligne], http://www.rechercheparticipative.org/familiariser 04.html (Page
consultée le 24 février 2012) .
INSTITUTE FOR LAW AND JUSTICE (1997) . Impact Evaluation [en ligne], U.S. Department of Justice,
http://www.ojp.usdoj.gov/BJA/evaluation/guide/documentslimpact eval gangs.htm (Page
consultée le 23 février 2012) .
27
INTERNATIONAL INITIATIVE FOR IMPACT EVALUATION (2009). Impact Evaluation Glossary [en ligne],
New Delhi, lndia, http://www.3ieimpact.org/userfiles/doc/lmpact Evaluation Glossarv-1.pdf
(Document consulté le 12 janvier 2012) .
LAHEY, Robert (201 0) . The Canadian M&E System: Lessons learned form 30 Years of
Development [en ligne], The World Bank Group (lndependent Evaluation Group),
http://siteresources.worldbank.org/INTEVACAPDEV/Resources/ecd wp 23 .pdf (Document
consulté le 12 janvier 2012).
LAVEAULT, Dany (1997) . Planification d'un devis expérimental de recherche [en ligne], Notes du
cours EDU 5590 : Introduction à la recherche, Université d'Ottawa/University of Ottawa,
http://www.courseweb.uottawa.ca/EDU5590/text8.htm (Document consulté le 14 février 2012) .
MA MICRO-ENTREPRISE (2012) . Calcul d'un coOt de revient pour fixer un prix de vente [en ligne],
http://mamicroentreprise.free.fr/article .php3?id article=? (Page consultée le 14 février 2012).
MARK, Katharine et John R. PFEIFFER (2011 ). Monitoring and Evaluation in the United States
Government [en ligne], The World Bank Group (lndependent Evaluation Group),
http://siteresources.worldbank.org/EXTEVACAPDEV/Resources/ecd wp 26 US Gov.pdf
(Document consulté le 12 janvier 2012) .
MAZouz, Bachir et Jean LECLERC (2008). La gestion intégrée par résultats, Presses de
l'Université du Québec, Québec, 440 p.
MEHIRIZ, Kaddour, Marie PAUMIER et Richard MARCEAU (2009) . Cadre d'analyse et méthodologie
d'évaluation des programmes de recherche en sciences sociales [en ligne], Présentation au
28
Dix-septième colloque annuel de la Société québécoise d'évaluation de programme,
http://www.sgep.ca/archives/presentations/Presentation%20Mehiriz.pdf (Document consulté le
12 janvier 2012).
MEUNIER, Valérie et Ëric MARDSEN (2009) . L'analyse coût-bénéfices- Guide méthodologique [en
ligne], Les cahiers de la sécurité industrielle, http://www.icsi-
eu.org/francais/dev cs/cahiers/CSI-ACB-guide-methodologique.pdf (Document consulté le 14
février 2012).
MONITORING & EVALUATION REFERENCE GROUP (201 0). Glossary - Monitoring and Evaluation
Terms [en ligne], Joint United Nations Programme on HIV/AIDS,
http://www.unaids.org/en/media/unaids/contentassets/documents/document/2010/11 ME Glo
ssary FinaiWorkingDraft.pdf (Document consulté le 12 janvier 2012).
OCDE (2002). Glossaire des principaux termes relatifs à .l'évaluation et la gestion axe sur les
résultats [en ligne], http://www.oecd.org/dataoecd/29/21/2754804.pdf (Document consulté le
12 janvier 2012) .
OFFICE FÉDÉRAL DE LA SANTÉ PUBLIQUE (2005) . Glossaire de termes d'évaluation [en ligne], Berne,
Confédération Suisse, http://www.bag.admin .ch/evaluation/02357/02603/index.html?lang=fr
(Document consulté le 12 janvier 2012) .
OFFICE OF ENVIRONMENT HERITAGE (2011) . Glossary of evaluation terms (en ligne], New South
Wales Government, http://www.environment. nsw .gov.au/4cmas/evalglossary.htm (Page
consultée le 12 janvier 2012).
OFFICE OF INTERNAL 0VERSIGHT SERVICES (2006) . Glossary of Monitoring and Evaluation Terms
[en ligne], United Nations, http://www.un .org/Depts/oios/mecd/mecd glossary/index.htm
(Page consultée le 12 janvier 2012).
PLANNING AND PERFORMANCE MANAGEMENT UNIT (2009). Glossary of Evaluation Terms (en ligne],
Office of the Director of U.S. Foreign Assistance, United States Government,
http://pdf.usaid.gov/pdf docs/PNAD0820.pdf (Document consulté le 12 janvier 2012) .
29
POINT K LEARNING CENTER (2005). Glossary : Nonprofit Planning & Evaluation [en ligne],
1nnovation Network, inc., http://www. in no net. org/client docs/File/g lossarv apr2005.pdf
(Document consulté le 12 janvier 2012).
PROGRAM DEVELOPMENT AND EVALUATION (2008) . Evaluation Glossary [en ligne], University of
Wisconsin-Extension, http://4h.uwex.ed u/evaluation/documents/glossary. pdf (Document
consulté le 12 janvier 2012) .
REY-DEBOVE, Josette et Alain REY (Dirs) (1993). Le nouveau Petit Robert, Dictionnaires Le
Robert, Paris, France, 2841 p.
SANDERS, James (1998). Cluster evaluation [en ligne], Harvard Family Research Project,
http ://www. hfrp.org/eval uation/the-eval uation-exchange/issue-arch ive/eval uation-i n-the-21 st-
centurv/cluster-evaluation (Page consultée le 24 février 2012).
SECRÉTARIAT DU CoNSEIL DU TRÉSOR (2002). Guide sur la gestion axée sur les résultats [en ligne],
Gouvernement du Québec,
http://www. tresor. go uv .ge.ca/filead min/PDF/publications/guide gest-axee-resultat 02. pdf
(Document consulté le 12 janvier 2012).
30
Gouvernement du Canada, http://www.tbs-sct.gc.ca/cee/stud-etud/func-fonc-fra.pdf (Page
consultée le 10 janvier 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2006). Plan d'action sur l'imputabilité fédérale,
avril 2006 [en ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/faa-lfi/docs/ap-
pa/ap-papr-fra.asp?format=print (Page consultée le 6 mars 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2009) . Directive sur la fonction d'évaluation [en
ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/pol/doc-
fra.aspx?id= 15681 §ion=text (Page consultée le 10 janvier 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2009). Politique sur l'évaluation [en ligne],
Gouvernement du Canada, http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15024§ion=text
(Page consultée le 14 février 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2010). Guide pour l'élaboration d'un plan
ministériel d'évaluation axé sur le risque [en ligne], Gouvernement du Canada, http://www.tbs-
sct.gc.ca/cee/pubs/guide/rbdep-pmear-fra.asp (Page consultée le 27 février 2012).
31
http://www.sqep.ca/archives/presentations/Routhieranne.pdf (Document consulté le 12 janvier
2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0) . Lexique de la gestion axée sur /es
résultats [en ligne]. Gouvernement du Canada, http://www.tbs-sct.gc.ca/cee/pubs/lex-fra.asp
(Page consultée le 12 janvier 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0). Pour soutenir des évaluations efficaces :
Guide d'élaboration de stratégies de mesure de rendement [en ligne], Gouvernement du
Canada, http://www.tbs-sct.gc.ca/cee/dpms-esmr/dpms-esmrtb-fra.asp (Document consulté le
12 janvier 2012).
SÉCURITÉ PUBLIQUE ET PROTECTION CIVILE CANADA (n.d.) Évaluation des projets de prévention du
crime par le développement social: Manuel pour les organismes communautaires [en ligne],
Gouvernement du Canada, http://bpiepc-ocipep.gc.ca/prg/cp/ fi/Evaluation handbook-F .pdf
(Document consulté le 2 février 2012).
SOCIAL RESEARCH METHODS (2006) . Introduction to Evaluation [en ligne], Web Center for Social
Research Methods, http://www.socialresearchmethods.net/kb/intreval.php (Page consultée le
22 février 2012).
SOCIÉTÉ CANADIENNE D'ÉVALUATION (2012). Normes d'évaluation des programmes [en ligne],
http://www.evaluationcanada.ca/site.cgi?s=D& lang=fr (Page consultée le 12 janvier 2012).
STODDARD, Dr. Abby, Adele HARMER, Katherine HAVER, Dr. Dirk SALOMONS and Victoria WHEELER
(2007), Cluster Approach Evaluation [en ligne], OCHA Evaluation and Studies Section,
32
http://www.humanitarianoutcomes.org/pdf/CiusterApproachEvaluation .pdf (Document consulté
le 24 février 2012).
TODD, Petra E. and Kenneth 1. WOLPIN (2006). Ex Ante Evaluation of Social Programs [en ligne],
University of Pennsylvania, http://papers.ssrn .com/sol3/papers.cfm?abstract id=931393
(Document consulté le 23 février 2012).
TREICH, Nicolas (2005). L'Analyse CoOt-Bénéfice de la Prévention des Risques [en ligne],
LERNA-INRA, Université de Toulouse, http://www2 .toulouse.inra.fr/lerna/treich/ACB03.pdf
(Document consulté le 14 février 2012).
GROUPE u.R.D. (n .d.) Manuel de la participation à l'usage des acteurs humanitaires pour une
meilleure implication des populations affectées par une crise dans la réponse humanitaire :
Chapitre 10 L'évaluation participative [en ligne),
http://www.urd .org/IMG/pdf/MP CHAPITRE1 O.pdf (Document consulté le 24 février 2012) .
UK EVALUATION SOCIETY (2008) . Glossary of Evaluation Terms [en ligne], United Kingdom
Government, http://www.evaluation .org .uklresources/glossary.aspx (Page consultée le 12
janvier 2012).
UNITED NATIONS POPULATION FUND DIVISION FOR 0VERSIGHT SERVICES (2004). Programme
Manager's Planning Monitoring & Evaluation Toolkit - Tool Number 1 : Glossary of Planning,
Monitoring & Evaluation Terms [en ligne] , United Nations Population Fund,
http://www.unfpa.org/monitoring/toolkiUglossary.pdf (Document consulté le 12 janvier 2012).
U.S. DEPARTMENT OF EDUCATION (2004). Evaluation Toolkit for Magnet School Program [en ligne] ,
United States Government, http://www.evaluationtoolkit.org/glossary (Page consultée le 12
janvier 2012).
U.S. DEPARTMENT OF ENERGY (2011 ). Energy Efficiency & Renewable Energy Program Evaluation
Glossary [en ligne], http ://www1 .eere.energy.gov/ba/pba/program evaluation/glossary.html
(Page consultée le 12 janvier 2012).
33
U.S. ENVIRONMENTAL PROTECTION AGENCY (2012). Program Evaluation Glossary [en ligne], United
States Government, http://www.epa.gov/evaluate/glossarv/all-esd.htm (Page consultée le 12
janvier 2012).
USAID (2011 ). USA ID Evaluation Po/icy [en ligne], Évaluation : Learning from Experience,
http://www.usaid.gov/evaluation/USAIDEvaluationPolicy.pdf (Document consulté le 14 février
2012).
34
Références utilisées pour le cadre de suivi et d'évaluation
BANQUE MONDIALE (2004) . Suivi & Ëva/uation: Quelques outils, méthodes et approches [en ligne],
Département de l'évaluation des opérations,
http:l/siteresources.worldbank.org/EXTEVACAPDEV/Resources/4585672-
1251481378590/french me.pdf (Document consulté le 19 mars 2012).
BUREAU DE L'ÉVALUATION (2002). Guide du suivi et de l'évaluation axés sur les résultats [en ligne],
Programme des Nations Unies pour le développement,
http://www.undp.org/evaluation/documents/HandBook/French/Fr-M&E-Handbook.pdf
(Document consulté le 13 février 2012) .
COUPAL, Françoise (2000). Suivi et Ëvaluation participatifs fondés sur les résultats [en ligne],
Mosaic.net 1nternational, 1ne., http://www.mosaic-net-intl.ca/docu ments/article-PM Efr.pdf
(Document consulté le 13 février 2012) .
ENVIRONNEMENT ET DÉVELOPPEMENT DANS LES RÉGIONS COTIÈRES ET LES PETITES iLES (n/d). Suivi et
évaluation [en ligne], Unesco, http://www.unesco.org/csi/pub/info/seacam5.htm#Suivi
(Document consulté le 13 février 2012) .
FONDS DE DÉVELOPPEMENT DES NATIONS UNIES POUR LA FEMME (2012). Points programmatiques
essentiels pour mettre fin à la violence à J'égard des femmes : Cadre de suivi et d'évaluation
[en ligne], ONU Femmes, http://www.endvawnow.org/fr/articles/335-cadres-de-suivi-et-
evaluation-.html (Document consulté le 13 février 2012) .
KUSEK, Jody Zall and Ray C. RIST (2004). Ten Steps to a Resu/ts-Based Monitoring and
Evaluation System [en ligne], Banque mondiale,
http://www.google.ca/url?sa=t&rct=j&g=monitoring+and+evaluation+framework&source=web&
cd=13&ved=OCDUQFjACOAo&url=http%3A%2F%2Fived .dpt.gov.tr%21=DocObjects%2FDown
load%2F9658%2F10 Steps to a Results Based M and E System.pdf&ei=OEZnT7uMI4Ln
rAfCvJhL&usg=AFQjCNHPWY8Vao2Hg7H8YWtD loeaZFneQ (Document consulté le 19
mars 2012).
MASITENG, Kefiloe (2004) . Monitoring and evaluation framework (Implications for Government) [en
ligne], Presented at the Senior Management Service Conference, The Presidency- Republic
35
of South Africa, http://www.thepresidency.qov.za/docs/pcsa/me/mef.pdf (Document consulté
le 19 mars 2012).
OMS (2009). Stratégie mondiale de l'OMS pour l'alimentation, l'exercice physique et la santé :
Cadre de suivi et d'évaluation de la mise en œuvre [en ligne], Bibliothèque de l'OMS,
http://www.who.int/dietphysicalactivity/M&E-French-2009.pdf (Document consulté le 13 février
2012) .
ONU FEMMES (2011 ). Cadres de Suivi et ~valuation [en ligne], Entité des Nations Unies pour
l'égalité des sexes et l'autonomisation des femmes, http://www.endvawnow.org/fr/articles/335-
cadres-de-suivi-et-evaluation-.html (Page consultée le 19 mars 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0). Pour soutenir des évaluations efficaces :
Guide d'élaboration de stratégies de mesure du rendement [en ligne], Gouvernement du
Canada, http://www.tbs-sct.gc.ca/cee/dpms-esmr/dpms-esmrtb-fra.asp (Document consulté le
13 février 2012) .
UK FACULTY OF PUBLIC HEALTH (n .d). Tool 014 Monitoring and evaluation: a framework [en ligne],
http://www.fph .orq.uk/uploads/HealthyWeight SectD Toolkit14.pdf Document consulté le 19
mars 2012).
36
Annexe 1- Organigramme
37
;:
.,3
il
"'a
i'J
Annexe Il - Offre de service
41
Offre de service
Martine Leblanc-Constant
Proposée à madame Sonia Simard et madame Claire Bard, Direction de la mise en œuvre
de la Loi sur l'administration publique, Secrétariat du Conseil du trésor
16 janvier 2012
43
Contexte
révision de la Loi sur l'administration publique sur une base périodique. Elle conçoit
également les instruments et les outils permettant ou favorisant son application dans les
ministères et les organismes qui y sont assujettis. Elle développe donc des orientations,
des politiques et des directives qui viennent en appui à la loi ainsi que différents guides
inspirés des meilleures pratiques en matière de gestion axée sur les résultats.
Parmi les sujets sur lesquels la DMOLAP offre son soutien se trouvent la mesure et le suivi
ministères et organismes dans leurs efforts d'amélioration de leur gestion. Ainsi, dans le
gouvernement.
Sur sa planche de travail de la DMOLAP, pour l'hiver 2012, sont inscrits plusieurs grands
trouvent:
Des défis importants attendent donc l'équipe dans les mois qui viennent.
Objectifs
44
Le principal outil concernant l'évaluation de programme visant à soutenir les organisations
organismes en 2002.
Il existe donc un besoin criant d'outiller les organisations et les équipes d'évaluation qui
travaillent dans ce domaine pour accroître la prise en compte et l'utilité dans la prise de
leur utilité.
Livrables
illustré, il permettra à ses utilisateurs une compréhension facile et rapide des termes.
Le guide sur les cadres de suivi et d'évaluation permettra aux évaluateurs et aux
45
renseignements, les responsables de leur collecte et, pour les activités de suivi, le cas
Démarche proposée
Pour la préparation du glossaire annoté proposant des définitions des termes courants en
9. Faire une recherche dans les banques de données sur les articles scientifiques
évaluation de programme;
sources et des explications sur les termes en prenant soin de s'assurer que les
mise en ligne.
46
Pour la préparation du guide sur l'élaboration des cadres de suivi et d'évaluation, la
mise en ligne.
en évaluation de programme.
Échéanciers
Le mandat nécessitera quelque 525 heures, · soit 15 semaines à raison de 35 heures par
semaine. Il débute le 9 janvier pour alors se terminer le 20 avril 2012. Compte tenu de ces
47
Étapes/Livrables Glossaire Guide & gabarit
document:
accompagnée et supervisée dans ses travaux par Monsieur Pierre Cliche/ professeur
associé à I1 École nationale d1 administration publique depuis 2007 et qui cumule plus de
Un rapport final de stage/ prévu pour dépôt le 15 juin 2012 pourra/ après lecture et
1
48
sont pas de natures confidentielles (voir le plan de rédaction du rapport de stage à
l'Annexe Il).
La rémunération attendue est de 16,67 $/heure, taux horaire auquel s'ajoutera 6,5% du
montant consenti pour compenser les bénéfices marginaux non inclus dans les situations
de stages.
49
Annexe 1
Curriculum Vitae
foRMATION ACADÉMQUE
1 ·' ... --- . ---·---- . ~-~=-~~-~-- -=·= --~~~--~-~~-~---=-~=-·-- =--~~- ~-"--~=~~-1
COMPÉTENCES SPÉCIRQ.UES
-, 1
Assistante de recherche
Centre de recherche et d'expenise en évaluation Octobre 2010 -Auj06td'luiÏ
(CREXE)
École nationale d"iidministration publique, Québec
./ Responsable pour le CREXE du projet de 1'0 util de l'évaluation de la performance;
./ Organiser et effectuer destocus group et entrevues individuelles lors de divers projets;
./ Analyse de données qualitatives et quantitatives;
./ Effectuer des recherches scientifiques et/ou méttodologjques.
50
EXPÉRIENCES PERTINENTES EN RECHERCHE
Archiviste mu~cales
École du Triolet Juil 2002- Août 2002
.! Vérification et classement des partitions de musique;
.! Création d'une banque de données.
------ -- - - - - 1
• ACTIVrrÉS ET EflllAG EMENTS SOCIAUX
t
Membre de la Société de débat
Univermé de Sherbrooke Septembre 2005 -Mai 2008
1
' RÉFÉRENCES 1
·j
- Mes références seront fournies sur demande.
51
Annexe Il
Plan du rapport
1. Introduction
2. Description du mandat
3. Présentation de l'organisation
5. Démarche réalisée
8. Conclusion
9. Bibliographie
7
Tiré du modèle conçu par l'École nationale d'administration publique en collaboration avec le GERFI,
janvier 2008.
52
Annexe Ill -Aperçu du document de travail
53
Glossaire des termes usuels en évaluation de programme et mesure du rendement
Pour tendre vers une plus grande cohérence et uniformité dans l'utilisation des concepts
couramment utilisés en évaluation de programme, ce glossaire a été préparé. Il vise à clarifier la
majorité des termes et des concepts nécessaires au travail de l'évaluateur de programme, mais
aussi des responsables de la fonction et de leurs clients.
Le mot initiative désigne ici toute action planifiée et conduite dans l'intention d'atteindre des effets
définis en termes de changements, souvent l'atténuation ou la résolution d'un problème. Il englobe
les politiques, les programmes de subvention, les contributions, les projets d'amélioration, etc.
Tout commentaire concernant les définitions que le document propose sera lé bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse claire.bard@sct. go uv.qc.ca
Activité (Activity)
1- Une opération ou un processus, propre à l'organisation, permettant la production d'extrants
à partir d'intrants. La formation , la recherche, la construction, la négociation sont des
exemples d'activités. (Guide SC T Canada, 2010, p.26)
2- Procédé ou opération qui concourt à la transformation de ressources en produits et en
services. (Guide GPR SCT-Qc, 2002, p.27)
3- Actions entreprises ou travaux menés en vue de produire des réalisations spécifiques.
L'activité mobilise des ressources telles que des fonds, une assistance technique et
d'autres types de moyens. Terme connexe : action de développement. (Glossaire OCDE,
2002, p.15)
4- Ensemble de procédés qui entrent en ligne de compte, ou d'étapes à franchir, pour
exécuter un programme ou encore pour assurer la production d'un bien ou la prestation
d'un service. (Lexique CCAF-FCVI, 1996, p.6)
5- Actions menées dans le contexte de la programmation qui sont nécessaires et suffisantes
et par lesquelles des apports (financiers, humains, techniques et matériels) sont mis en
œuvre pour donner des produits particuliers ou contribuer aux résultats. Les activités
peuvent également être définies comme des «interventions de développement». (Guide
PNUD, 2002, p.96)
6- C'est la façon dont les intrants ont été transformés par les agents producteurs pour livrer
les biens ou services publics du programme. L'exigence minimale est d'identifier
sommairement les liens de cause à effet entre les intrants et les extrants. Par exemple,
quelles modalités organisationnelles a-t-on adoptées en pratique versus celles prévues ou
quel est le mécanisme de contrôle de production utilisé et son résultat, son efficacité ou
encore quel est le cheminement type d'un dossier? (Cours ENP71 32, 2010, cours 4, p.9)
7- L'analyse des activités de production sert à identifier les procédés utilisés pour transformer
les intrants (ressources humaines, matérielles et financières) en production (extrants)
devant atteindre la cible directe du programme. (Cours ENP7132, 2010, cours 11, p.S)
8- Processus internes de gestion faisant partie de la mise en œuvre; procédés ou opérations
de transformation des intrants en extrants. Comprends généralement les paramètres
suivants :
• Qualité méthodologique, neutralité et utilité des évaluations;
• Améliorations réalisées à la suite d'évaluations de la mise en œuvre ou de la
performance;
• Processus pour s'assurer de la satisfaction de la clientèle de façon continue;
55
• Innovations mises en place pour améliorer la mise en œuvre et pour gérer le
changement;
• Processus mis en place pour mesurer et réaliser des gains d'efficacité et
d'efficience dans la mise en œuvre;
• lmpàcts des améliorations de la mise en œuvre sur l'efficacité et l'efficience de
l'élément de programme. (Outil d'évaluation, session 2, 2011, p.38-39)
Opération qui consiste à déterminer la valeur actuelle d'un projet sur la base des
dépenses et des recettes immédiates et futures, réelles ou estimées, qui en sont
anticipées.
Le taux d'actualisation utilisé dans les calculs traduit la valeur du temps. De façon
générale, si les bénéfices anticipés d'un projet sont éloignés dans le temps, un faible
taux d'actualisation sera alors utilisé dans les calculs. Un taux d'actualisation élevé
exprime une vision qui favorise les bénéfices anticipés sur le court terme.
56
et à prendre des mesures pour l'améliorer en fonction d'une organisation axée sur des
pratiques exemplaires. (Guide SCT Canada, 2010, 2010, p.26)
2- Points ou normes de référence utilisés pour évaluer l'atteinte d'un objectif. A titre
d'exemple, voici les points de repère servant à déterminer si on a réussi la modernisation
voulue de la fonction de contrôleur : les décideurs reçoivent une information rigoureuse et
exhaustive sur la performance ainsi qu'un soutien en matière de règlement de problèmes;
des normes ont été établies - concernant l'information sur la performance, la
budgétisation, et le contrôle - pouvant être adaptées aux besoins des ministères; les
gestionnaires et les professionnels disposent de centres d'excellence; les décideurs de
tous les échelons acceptent et adoptent des attitudes et des valeurs propres à la fonction
de contrôleur. (Lexique CCAF-FCVI, 1996, p.20)
Apport
Moyen mis en œuvre pour exécuter des activités de programme ou de projet, c'est-à-dire des
ressources financières, humaines et matérielles. (Guide PNUD, 2002, p.96)
Terme non conservé.
Apprentissage (Learning)
1- Processus d'investigation continu et dynamique dont les pnnc1paux éléments sont
l'expérience, la connaissance, l'accès et la pertinence. Il exige une prédisposition à
l'enquête et à l'investigation au leu d'une attitude d'intervention et de communication
d'information. Il est plus facile de réunir ces conditions lorsqu'on offre la possibilité
d'observer, d'inventer ou de découvrir des stratégies et de participer à ces stratégies afin
de s'attaquer à des types de problèmes particuliers ou à des questions de développement.
(Guide PNUD, 2002, p. 77)
57
3- Reflection on experience and results of monitoring and evaluation to identify how a
situation or future actions could be improved and then using this knowledge to make actual
improvements. This can be individual or group-based - the latter would be considered
"organizational" learning when it transcends the group and becomes part of the corporate
knowledge base. Learning involves documenting experiences, the process of synthesis
and the application of lessons learned to future actions. (0/0S G/ossary, 2006, en ligne)
58
Annexe IV - Aperçu du glossaire en tableau
59
Activité (Activity) Opération ou processus permettant la production de produits et
de services à partir de ressources.
Les principales activités d'une organisation peuvent être plus ou
moins précises et comporter plusieurs sous-activités pouvant être
organisées dans une structure hiérarchisée.
la formation, la recherche, la construction d'infrastructures, la
production d'information, la négociation sont des exemples
d'activités.
Actualisation Opération qui consiste à déterminer la valeur actuelle d'un projet 1 lequel des 2 termes anglais favorisez-vous?
(Discount or Update) sur la base des dépenses et des recettes immédiates et futures,
réelles ou estimées, qui en sont anticipées.
le taux d'actualisation utilisé dans les calculs traduit la valeur du
temps. De façon générale, si les bénéfices anticipés d'un projet
sont éloignés dans le temps, un faible taux d'actualisation sera
alors utilisé dans les calculs. Un taux d'actualisation élevé
exprime une vision qui favorise les bénéfices anticipés sur le court
terme .
Analyse comparative 1 Opération d'analyse de résultats par la comparaison entre des 1 Êtes-vous d'accord avec le synonyme?
(Benchmarking) éléments communs ou des pratiques communes.
Ces renseignements permettent aux organisations de savoir où
Voir : Étalonnage. elles se situent en termes de rendement et de prendre des
mesures pour s'améliorer sur la base des pratiques exemplaires.
l'analyse comparative est considérée synonyme du mot
étalonnage (benchmarking).
Apprentissage Processus dynamique jumelant l'expérience à la connaissance et
(Learning) à la pertinence.
l'apprentissage nécessite la volonté et l'aptitude d'apprendre
suite à des comportements comme l'observation et l'élaboration
de stratégies qui répondraient à des problèmes particuliers.
61
Annexe V - Aperçu du glossaire à la fin du stage
, - - ··.·---.- --------- ------~--
63
GLOSSAlRE DES TERMES USUELS D'ÉVALUATION ET MESURE
DU RENDEMENT
Pour tendre vers une plus grande cohérence et uniformité dans l'utilisation des concepts
couramment utilisés en évaluation et mesure du rendement, ce glossaire a été préparé. Il vise à
clarifier la majorité des termes et des concepts nécessaires au travail de l'évaluateur, mais aussi
des responsables de la fonction et de leurs clients.
Afin d'avoir un ouvrage reconnu et utile pour le milieu, ce document a fait l'objet de maintes
consultations, coopérations et validations auprès des communautés universitaires et de la pratique
de la fonction.
Par souci de concordance avec des évaluations qui peuvent être menées par divers acteurs sur
des problématiques publiques, le terme intervention sera préféré au terme programme. Le mot
intervention désigne ici tout action conduite dans l'intention d'atteindre des résultats sur la société
qu'ils soient suite à un programme, une initiative, un projet, une politique, une réglementation, etc.
Tout commentaire concernant les définitions que le document propose sera le bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse Martine.Leblanc-Constant@sct.gouv.qc.ca
Activité (Activity)
Processus et opérations permettant la production des extrants à partir des intrants de l'intervention.
(Marceau R., et F. Sylvain, à paraÎtre)
Les principales activités d'une organisation peuvent être plus ou moins précises et comporter
plusieurs sous-activités pouvant être organisées dans une structure hiérarchisée. ·
La formation, la recherche, la construction d'infrastructures, la production d'information, la
négociation sont des exemples d'activités.
Actualisation (Updating)
Opération qui consiste à déterminer la valeur actuelle d'un projet sur la base des dépenses et des
recettes immédiates et futures, réelles ou estimées, qui en sont anticipées.
Le taux d'actualisation utilisé dans les calculs traduit la valeur du temps. De façon générale, si les
bénéfices anticipés d'un projet sont éloignés dans le temps, un faible taux d'actualisation sera alors
utilisé dans les calculs . Un taux d'actualisation élevé exprime une vision qui favorise les bénéfices
anticipés sur le court terme.
Apprentissage (Learning)
Processus dynamique jumelant l'expérience à la connaissance et à la pertinence.
65
L'apprentissage nécessite la volonté et l'aptitude d'apprendre, suite à des comportements comme
l'observation et l'élaboration de stratégies qui répondraient à des problèmes particuliers.
Attribution (Attribution)
Estimation de la mesure dans laquelle les résultats observés consécutivement à la mise en œuvre
d'une intervention lui sont attribuables.
Audit (Audit)
Processus de vérification et de contrôle axé sur l'organisation et ses pratiques de gestion, exercé
objectivement et de façon indépendante, afin d'améliorer les opérations d'une organisation et
d'amener cette dernière à atteindre ses objectifs autant en matière de performance
organisationnelle que de gestion des risques, de contrôle et de gouvernance.
Une distinction avec l'évaluation est que l'audit ne porte pas de jugement sur la valeur de
l'intervention, elle établit notamment l'écart entre les intentions et la réalité.
Auto-évaluation (Self-evaluation)
Forme d'évaluation où les responsables d'une intervention jugent eux-mêmes de la valeur des
résultats.
Benchmarking (Benchmarking)
Voir : Ëtalonnage.
Bénéficiaire (Beneficiaries)
Individus, groupe d'individus ou organisations qui tirent directement ou indirectement des
avantages d'une action .
Termes connexes : Groupe cible, Population cible.
But (Goal)
Fin que l'on se propose, intention animant une action ou motivant une démarche.
Terme connexe: Intention.
66
Annexe IV - Le glossaire8
8
Le glossaire présenté à cette annexe est la version en date du dépôt du rapport du stage et non
pas celle déposé à la 'fin du stage. Puisque le rapport est remis plusieurs semaines après la fin du
stage, le projet a eu le temps d'avancer considérablement entre les deux moments et cette version
est plus près de la version finale qui sera publié ultérieurement. Elle ne constit.ue pas la version
finale car cette version est actuellement soumise à une deuxième phase de validation auprès
d'experts de la profession . La version finale du glossaire est prévue être publique à l'été 2012 et
disponible sur Internet.
67
PROJET
SecréNrlillf .
du Conseil du tnisor
0 0
Québec un
69
PROJET
Remerciements
. Ce guide a été réalisé par le Secrétariat du Réalisation du Glossaire
Conseil du trésor en collaboration avec un
Secrétariat du Conseil du trésor, Direction de
groupe d'experts internes et externes.
la mise en œuvre de la Loi sur
Nous remercions sincèrement l'ensemble de l'administration publique
ces personnes, dont la collaboration et
Auteures : Martine Leblanc-Constant et Claire
l'expertise ont rendu possible la réalisation du
Bard
présent glossaire :
Le présent document est disponible daris le
Richard Marceau
site Web du Secrétariat du Conseil du trésor,
École nationale d'administration publique à l'adresse : www.tresor.gouv.qc.ca.
Francine Sylvain Les renseignements contenus dans ce
document ne constituent pas une
École nationale d'administration publique
interprétation juridique des lois, des
Érick-Noël Bouchard règlements ou des directives.
Secrétariat du Conseil du trésor Dépôt légal- 2012
Guy Lachapelle Bibliothèque et Archives nationales du
Québec
Université Concordia
Bibliothèque et Archives Canada
Marthe Hurteau
[ISBN (Imprimé)]
Université du Québec à Montréal
[ISBN (PDF)]
Nicolas Toutant
© Gouvernement du Québec, 2012
Société québécoise d'évaluation de
programme
Christophe Marchal
Ministère du Développement économique,
innovation et Exportation
[Autres à venir ... ]
70
PROJET
Préambule
Le Glossaire des termes usuels en évaluation et mesure du rendement se veut un document de
référence qui vise une compréhension commune des termes relatifs à l'évaluation et une plus
grande cohérence et uniformité entre les différents travaux d'évaluation et mesure du rendement
menés dans les ministères et les organismes. Il vise à clarifier la majorité des termes et des
concepts nécessaires au travail d~ l'évaluateur, mais aussi des responsables de la fonction et de
leurs clients. A ce titre, cet outil permettra de soutenir et de faire progresser la fonction d'évaluation
au gouvernement du Québec.
Afin d'avoir un ouvrage à la recherche du plus large consensus, ce document a fait l'objet de
nombreuses con'sultations, collaborations et validations auprès des communautés universitaires et
de la pratique du milieu.
Par souci de considérer les multiples objets pouvant être évalués par divers acteurs, le terme
intervention sera préféré au terme programme. Le mot intervention désigne ici toute action conduite
dans l'intention d'atteindre des résultats sur la société qu'ils soient à la suite d'un programme, d'une
initiative, d'un projet, d'une politique, d'une réglementation, etc.
Tout commentaire concernant les définitions que le document propose sera le bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse martine.leblanc-constant@sct. go uv. qc. ca.
lxxi
PROJET
72
PROJET
73
. PROJET
74
PROJET
Critère de qualité d'une mesure ou d'une Dans le contexte de la recherche, le devis
personne qui suscite la confiance et signifie le protocole, l'approche ou la méthode
l'acceptabilité permanente. Un jugement de recherche utilisée pour étudier les liens de
crédible constitue un des fondements de causalité entre les variables à l'étude : devis
l'évaluation . expérimentaux, quasi expérimentaux et pré
expérimentaux.
En évaluation , un jugement ne doit pas être
seulement valide sur le plan scientifique, il doit Dans le contexte de l'évaluation, le devis est un
aussi être crédible pour être acceptable aux document qui présente notamment les
yeux des parties prenantes. La validité relève éléments suivants :
d'un processus interne associé aux choix
• Une description détaillée des biens et des
méthodologiques effectués sous la
services requis;
responsabilité du chercheur ou de l'évaluateur.
Le processus externe, sous la responsabilité • Un énoncé précis des objectifs;
des parties prenantes, est alimenté grâce à un
dialogue continu entre le chercheur ou • Les coûts approximatifs des biens ou
.l'évaluateur et ceux qui détiennent le pouvoir services;
d'allouer leur confiance au jugement émis. • Une indication des étapes à franchir avant
la mise en œuvre du projet;
Critère (Criteria)
• Les échéanciers du projet;
Norme ou point de référence qui sert de base à
un jugement. Cette norme peut être ce qui a été • Les normes de contrôle de la qualité que
accompli dans le passé, le rendement que des les biens et les services doivent respecter;
organisations comparables atteignent ou les • Une énumération et une description de
résultats attendus d'une initiative par exemple. toute documentation (manuels techniques,
Pou r porter un jugement explicite, il est manuels des utilisateurs et rapports des
souhaitable d'associer à la fois un critère de fournisseurs) qui devra accompagner les
jugement et une ou plusieurs cibles, c'est-à-dire produits;
à une norme de performance, un seuil de
• Une description des processus
succès ou une bonne pratique qu i sert de point
d'évaluation.
de comparaison .
On distingue quelques grandes catégories de
-0- protocoles expérimentaux. Les trois catégories
suivantes sont les plus documentées :
Défaillance de marché (Market failure) • Devis expérimental qui permet de dégager
l'effet net;
Incapacité du marché de maximiser le bien-être
d'ensemble dans certaines situations, les • Devis pré expérimental qui permet, dans le
mécanismes d'échanges entre consommateurs meilleur des cas, de dégager l'effet brut (ou
et producteurs n'arrivant pas à satisfaire les plutôt la variation de la variable);
critères d'efficacité.
• Devis quasi expérimental qui permet de
Les défaillances de marché constituent des dégager l'effet net des incertitudes quant à
raisons d'être des interventions publiques. la validité des résultats.
Il existe quatre principales situations menant à
des défaillances de marché : · Donnée (Data)
• Les biens sont des biens publics; Information admise, connue ou reconnue,
d'ordre quantitatif ou qualitatif, qui sert de base
• Il existe des externalités; à un raisonnement.
• Il existe un monopole dans la production du
bien ou du service; Donnée de référence (ou de base) (Baseline data)
Donnée décrivant la situation sur laquelle porte
• Il y a asymétrie d'information.
une initiative et qui sert de point de départ lors
des suivis du rendement de la dite initiative.
Devis (Quote)
75
PROJET
Donnée administrative (ou de gestion) intervention. Enfin, ils peuvent être visés
(Administrative data) spécifiquement, anticipés, mais non visés et
parfois, imprévus.
Donnée généralement recueillie par l'entremise
des dossiers ou de bases de données Remarque :
existantes permettant le suivi régulier des Les effets visés, anticipés et positifs sont des
processus de l'intervention. synonymes de résultat de programme .
Donnée primaire (Primary data) L'impact d'un programme serait quant à lui la
somme des effets (positifs et négatifs, visés ou
Donnée issue de collectes d'information non).
réalisées afin de répondre aux besoins
spécifiques d'une étude ou d'une évaluation . Termes connexes : Impact, Réalisation ,
Résultat.
Donnée secondaire (Secondary data)
Efficacité (Effectiveness)
Donnée colligée à d'autres fins que celle des
travaux ou de l'évaluation en cours. Degré d'atteinte des objectifs. (Marceau R. , et F.
Sylvain, à paraïtre)
Les données recueillies par l'Institut de la
statistique du Québec sur l'économie ou la Selon la nature de ces résultats, il sera
population sont produites pour différents question d'efficacité opérationnelle (efficacité
usages. Dans le cadre de plusieurs évaluations, dans la production de biens et services) ou
elles constituent des données secondaires. d'efficacité de l' intervention (efficacité dans
l'atteinte des effets visés sur les clientèles
ciblées des interventions).
-E-
Efficience (Efficiency)
Économie (Economy)
Rapport entre les résultats et les ressources
Signifie le non-gaspillage d'une ressource : le utilisées pour les atteindre. (Marceau R., et F.
coût des ressources utilisées en temps Sylvain, à paraïtre)
opportun se rapproche de la quantité minimale
de ressources nécessaires afin d'obtenir les L'efficience sera qualifiée d'opérationnelle dans
le cas où les biens et services produits sont
résultats attendus.
considérés. L'efficience d'intervention
En évaluation, l'économie est un critère de exprimera le rapport entre les résultats, en
rendement comme le sont aussi l'efficacité et termes d'effets sur la société, et les ressources
l'efficience. qui ont été nécessaires pour les obtenir.
L'efficience appréhendée de manière globale
Effet (Outcome) prend en compte les effets non ciblés, positifs
Conséquence attribuable à l'intervention. comme négatifs, des interventions.
(Marceau R., et F. Sylvain, à paraïtre)
76
PROJET
d'objectifs pour lesquels il est possible de Envergure d'une étude, d'une recherche, d'une
rendre compte. évaluation.
Terme connexe : Portée.
Enquête (Investigation}
Technique de cueillette d'information auprès Évaluabilité (étude d') (Evaluability assessment)
d'une population donnée en vue de connaître
Appréciation de la disposition d'one initiative à
son opinion, son comportement ou sa situation
être évaluée considérant le contexte
concernant un sujet particulier. Elle procède par
économique, politique, sociale, etc.
le biais de questionnaires.
Une analyse de l'évaluabilité permet de
Enseignement tiré (Lesson} déterminer si une évaluation est appropriée,
réalisable et susceptible de fournir une
Ensemble de leçons, applicable à une situation information utile. Elle démontre qu'une
générale, destiné aux parties prenantes d'une intervention peut, ou non, être évaluée et
évaluation, mais qui peut également indiquer fournir la réponse attendue au client de
des « pratiques optimales » à l'intention l'évaluation, mais. également si la conduite
d'autres évaluateurs, lorsque documentées. d'une évaluation pourra vraisemblablement
contribuer à améliorer le rendement et la
Équipe d'évaluation (Evaluation team} gestion de l'intervention concernée.
Groupe de spécialistes à qui la planification et À distinguer de l'étude préparatoire qui se veut
la conduite d'une évaluation sont confiées. · un exercice de planification d'une évaluation qui
Les membres de l'équipe d'évaluation sont comprend généralement :
préférablement choisis de manière à favoriser 1. Une description du programme et du
une évaluation juste et objective. Parmi eux se contexte;
trouvent généralement des spécialistes de la
démarche d'évaluation . Des responsables de 2. Une identification des utilisateurs et du
l'initiative évaluée sont aussi souvent comptés mandat;
dans l'équipe. 3. Les questions d'évaluation;
Parmi les types d'étalonnage qui se pratiquent, Idéalement, cette personne intervient à toutes
on retrouve fréquemment l'étalonnage ·interne les étapes d'une évaluation : au moment de la
(au sein de l'organisation), l'étalonnage définition du mandat, lors de la collecte et
concurrentiel (avec des organisations l'analyse des données, dans la rédaction des
concurrentes au sujet des activités) et rapports (comprenant des recommandations) et
l'étalonnage générique (avec des organisations pour présenter les résultats des travaux.
de secteurs d'activités différents, mais opérant
des processus similaires) . Évaluation (Evaluation)
Terme connexe: Analyse comparative. Champ de connaissances et de pratique
composé de plusieurs domaines et qui vise à
Étendue (Scope} déterminer la valeur d'une chose. (Marceau R.,
et F. Sylvain, à paraÎtre)
Ampleur et degré de détail.
Évaluation de programme (Program evaluation}
77
PROJET
Champ de connaissances et de pratique qui Terme connexe : Évaluation de la mise en
vise à déterminer la valeur d'une intervention œuvre.
pour la société. (Marceau R. , et F. Sylvain, à
paraitre) Évaluation de besoins (Needs assessment)
Dans la pratique : Démarche rigoureuse et Évaluation visant à fournir de l'information
systématique de collecte et d'analyse de valide sur les principaux problèmes et sur les
données probantes sur les interventions afin de besoins ou la persistance de besoins d'une
les améliorer ou de poser un jugement sur leur population justifiant une action.
valeur et, ainsi , d'éclairer la prise de décision.
Une évaluation de besoin établit l'écart entre la
Elle permet de juger · la pertinence de situation actuelle et souhaitée. Les objectifs de
l'intervention, l'efficacité avec laquelle ses l'initiative à mettre sur pied, le cas échéant,
objectifs sont poursuivis, l'efficience des devraient être formulés pour combler cet écart.
moyens mis en place et son impact.
Les critères de jugement communément Évaluation de mise en œuvre (Implementation
appliqués sont la pertinence, l'efficacité, evaluation)
l'efficience et occasionnellement la viabilité des
Évaluation qui s'intéresse au fonctionnement
programmes. d'une initiative et qui vise à cerner les facteurs
La validité, la fidélité, la crédibilité et l'utilité sont internes et externes affectant son déroulement.
des qualités fondamentales des évaluations.
Remarque : le terme anglais amène une
certaine confusion entre l'évaluation
Évaluation à mi-parcours (Mid-term evaluation) d'implantation d'une nouvelle initiative et les
Évaluation effectuée à la mi-parcours de la évaluations de mise en œuvre.
mise en œuvre des initiatives. Elle porte Terme connexe : Évaluation d'implantation.
généralement sur les questions opérationnelles
ainsi que sur le rendement de l'intervention afin Évaluation de rendement (Performance
de dégager de premières conclusions et
evaluation)
recommandations pour la suite des opérations.
Évaluation visant à déterminer si le coût des
Terme connexe : Évaluation formative.
ressources investies dans l'initiative justifie les
bénéfices qu'ils génèrent.
Évaluation a priori (Ex ante evaluation)
Elle implique généralement le suivi des effets
Voir : Évaluation ex ante. de l'initiative à l'aide d'évaluation, mais aussi
d'autres études et rapports.
Évaluation d'impact (Impact assessment)
L'évaluation d'impact est un type particulier Évaluation des effets (Impact evaluation)
d'évaluation qui vise à répondre à des Voir : Évaluation d'impact.
questions de causalité. Elle identifie les effets
positifs ou négatifs, attendus ou non, sur la
Évaluation économique (Economie evaluation)
population cible, les institutions,
l'environnement et la population en général Évaluation qui consiste à comparer les
d'une intervention publique. avantages et les coûts respectifs de différentes
interventions (programme ou initiative) afin de
C'est généralement une évaluation à long
déterminer l'allocation optimale possible des
terme que couvre l'ensemble des effets
ressources.
produits sur l'ensemble des domaines
concernés d'une initiative. L'objectif est de mesurer l'efficience, ou l'utilité
de l'argent dépensé pour une intervention par
Évaluation d'implantation (Evaluation of the rapport à une autre, de produire des
implementation) renseignements en vue d'éclairer la prise de
décision .
Évaluation d'une nouvelle initiative dans les
aspects relatifs à son déploiement dans le Évaluation ex ante (Ex ante evaluation)
temps et dans l'espace .
78
PROJ ET
Évaluation qui précède l'implantation d'une Évaluation dont l'objectif est de brosser en
intervention afin de concevoir la façon optimale cours de mise en œuvre d'une initiative un
dont elle doit être mise en œuvre pour viser les portrait du fonctionnement des activités dans
effets escomptés à un coût minimal. une perspective d'amélioration.
Puisqu'il est en amont du déploiement de Ce type d'évaluation est souvent conduit par
l'intervention, ce type d'évaluation procure une des personnes à l'emploi de l'organisation
idée des effets à atteindre à la suite de la mise concernée.
en œuvre de l'intervention tout en donnant des
Terme c_onnexe : Évaluation de processus.
informations sur les données qui seront
nécessaires à l'évaluation sommative.
Évaluation participative (Participatory evaluation)
Terme connexe : Évaluation à priori, Évaluation
préalable. Évaluation qui engage (directement et
activement) les différentes parties prenantes
d'une initiative dans sa planification et ·sa
Évaluation ex post (Ex post evaluation)
réalisation (gestionnaires de programme,
Évaluation d'une intervention lorsqu'elle est bénéficiaires, citoyens, etc.). Ceux-ci prennent
terminée ou au moment où il devient pertinent part aux différentes étapes de l'évaluation.
d'en faire le bilan . Celle-ci peut être réalisée
Les parties prenantes acquièrent des habiletés,
tout de suite après l'achèvement de
des connaissances et de la crédibilité tout au
l'intervention ou longtemps après.
long du processus. Ces acquis leur permettent
L'objectif de ce type d'évaluation est d'identifier de renforcer leur pouvoir d'action et d'alimenter
les facteurs de succès ou d'échec, d'apprécier la réflexion et l'analyse suscitées par
la durabilité des résultats et de tirer des l'évaluation.
conclusions qui pourront être généralisées ou
étendues à d'autres actions. Évaluation sommative (Summative evaluation)
Évaluation dont l'objectif est de tirer des
Évaluation externe (Externat evaluation)
conclusions et de poser un jugement sur la
Évaluation effectuée par des évaluateurs qui valeur d'une initiative.
sont extérieurs à l'organisation concernée et qui
Elle permet de déterminer si une initiative est
n'ont idéalement aucun intérêt pouvant
toujours pertinente, si on doit la poursuivre, la
influencer leur jugement.
supprimer ou la transformer.
79
PROJET
Fiabilité (Reliability) variable dépendante du groupe expérimental
avec ceux d'un groupe contrôle.
Mesure dans laquelle les données obtenues
peuvent être reproduites grâce à la qualité des
instruments et des procédures utilisées. -H-
Les résultats mesurés par l'indicateur doivent
Habilitation (Empowerment)
être constants et stables dans le temps si la
situation ne change pas et doivent faire Pratique de gestion de partage d'information,
ressortir les variations significatives, le cas de récompenses, et de responsabilités avec les
échéant. Lorsqu'un indicateur est fiable, il n'en employés afin qu'ils puissent prendre des
existe qu'une seule définition et ses limites sont initiatives et des décisions afin de résoudre les
connues. problèmes et améliorer les services eux-
mêmes.
Terme connexe : Fidélité.
L'habilitation est basée sur l'idée qu'en donnant
-G- aux employés les ressources, l'autorité, des
opportunités, la motivation, ainsi que la
responsabilité de rendre des . comptes, les
Gestion axée sur les résultats (Results-based résultats de leurs actions contribueront à leur
management) compétence et à leur satisfaction.
Dans l'administration publique québécoise :
Hypothèse (Hypothesis)
Approche de gestion qui prend en considération
les attentes exprimées par les citoyens en Dans le contexte de l'évaluation, supposition
fonction des ressources disponibles, afin relative à l'explication de facteurs ou de
d'atteindre des résultats en fonction d'objectifs phénomènes selon une approche théorique
préalablement établis. d'enchaînements de causes à effet menant aux
·effets attendus. Ces suppositions doivent être
Elle s'exerce dans un contexte de validées dans le cadre d'une évaluation .
transparence, de responsabilisation et de
flexibilité quant aux moyens utilisés pour
atteindre les résultats visés. -1-
Elle se concentre sur les r~sultats de Impact (Impact)
l'organisation plutôt que sur les règles et les
procédures en accordant, selon les situations, Somme des effets positifs et négatifs, visés,
le choix des moyens. anticipés et non anticipés, qui découlent d'une
intervention directement ou indirectement.
Groupe contrôle (Control group)
Indépendance (lndependence)
Groupe composé de personnes ou d'objets qui,
lors d'une expérimentation, ne reçoivent pas le Situation où aucune personne ou autorité n'a
traitement afin de comparer les résultats sur la de contrôle ou d'influence sur l'action.
variable dépendante du groupe expérimental
L'indépendance implique une liberté par rapport
avec ceux du groupe contrôle.
aux influences politiques et aux pressions des
organisations. Elle est caractérisée par l'accès
Groupe équivalent (Equivalent group) libre et complet à l'information et par une
Groupe composé d'un mélange de personnes autonomie totale pour mener des investigations
ou d'objets dont les caractéristiques pertinentes et en rendre compte.
sont voulues proches de celles du groupe Une évaluation indépendante est une
expérimental aux fins de comparaison. évaluation conduite par des services ou des
personnes non liés aux responsables de la
Groupe expérimental (Experimental group) conception et de la mise en œuvre de l'initiative
Lors d'une expérimentation , groupe composé évaluée.
de personnes ou d'objets qui reçoivent le Terme connexe : Neutralité.
traitement afin de comparer les résultats sur la
80
PROJET
Indicateur (lndicator) décrit le contexte dans lequel les travaux
s'inscrivent, en établit les objectifs et en cadre
Mesure qui sert à évaluer ou à apprécier les la portée.
résultats, l'utilisation des ressources, l'état
d'avancement des travaux, le contexte ou l'une
Mesure du rendement (Performance
des composantes d'une variable.
measurement)
L'indicateur permet d'apprécier un phénomène
qualitativement ou quantitativement à l'aide de Processus de collecte, d'interprétation et
valeurs utilisées comme point de repère. Les d'élaboration continue de données avec comme
indicateurs doivent présenter les but de mesurer objectivement la manière dont
caractéristiques suivantes : validité, fiabilité et les initiatives livrent les biens et services et
accessibilité en termes de disponibilité, de coût contribuent à l'atteinte des objectifs et
et de délai de production. l'obtention des résultats qui en sont attendus.
81
PROJET
études du problème sujet à l'origine de L'objectif est une déclaration sur l'ampleur des
l'intervention, d'identifier l'ensemble des changements désirés.. Il témoigne de ses
variables présentes, d'établir des liens, de ambitions.
construire le modèle puis de le faire valider.
Idéalement, les objectifs sont : spécifiques,
mesurables, appropriés, réalistes et délimités
-N- dans le temps (SMART).
Deux types d'objectifs sont g.énéralement
Nature d'intervention (Nature of the intervention) poursuivis :
Le moyen ou le mécanisme retenu ou choisi Des objectifs opérationnels : quantitatifs ou
pour intervenir et permettre à l'initiative qualitatifs. Ce sont les objectifs liés au
d'atteindre ses objectifs de façon cohérente processus de l'intervention et de sa mise en
avec sa raison d'être. (Adapté de : Marceau R., et œuvre par l'organisation;
F. Sylvain, à paraître)
Des objectifs d'intervention. Ce sont les
Les natures d'interventions courantes sont la objectifs liés directement aux effets attendus de
persuasion ou l'éducation (sensibilisation), la l'intervention.
réglementation, la subvention, la taxe, la
propriété publique et l'assignation de droits de -P-
propriété.
Une description de la nature d'intervention Parties prenantes (Stakeho/ders)
devrait préciser les effets anticipés devant
répondre aux intentions de l'intervention en se Les diverses entités (gouvernement, ministères,
sociétés, organismes, communautés, individus,
référant à la théorie du programme.
etc.) directement et indirectement touchées par
Synonyme : Moyen d'intervention. la mise en œuvre et les résultats d'une
intervention publique et qui sont susceptibles
Neutralité (Neutrality) d'avoir un intérêt dans son évaluation .
Dans le contexte de l'évaluation, l'état d'une
Performance (Performance)
personne ou d'un mécanisme d'enquête, de
collecte de données et de conclusions qui Degré d'accomplissement des objectifs établis
demeure libre de toute influence et qui ne vise par une organisation mesuré à l'aide
ni un but prédéterminé ni le renforcement d'une d'indicateurs et intégrant plusieurs paramètres
position donnée. propres à un ministère ou un organisme. Pour
apprécier la performance, l'un des paramètres
La neutralité devrait être une caractéristique
utilisés pour mesurer l'atteinte des résultats est
des évaluations indépendantes.
celui du rendement.
Terme connexe : Indépendance.
Dans l'administration publique québécoise :
Norme (Standard) Une organisation performante s'acquitte de sa
mission en atteignant les objectifs stratégiques
Définition , limite ou règle écrite et approuvée et les objectifs de qualité de services aux
assurant la conformité des attentes autant en citoyens (efficacité}, en utilisant de manière
termes de qualité que d'efficacité, d'efficience, économique les ressources (efficience}, en
de sécurité ou autre. maintenant un climat de travail adéquat et en
offrant des biens et services de qualité dans le
-0- respect des lois et règlements qui s'appliquent.
82
PROJET
Rétrospectivement, la question de la pertinence Document qui précise le cadre de gestion des
consiste souvent à . s'interroger sur le fait de activités d'évaluation dans l'organisation.
savoir si les objectifs de l'intervention ou sa
La politique interne en matière d'évaluation
conception sont encore appropriés compte tenu
traite généralement des conditions permettant
de l'évolution du contexte.
d'assurer l'indépendance du responsable de
l'évaluation, des rôles et des responsabilités
Plan (Plan) des personnes impliquées et des champs
Recension des actions prévues visant à d'appréciation. Elle traite également de la
atteindre l'objectif spécifique ou les objectifs planification des travaux, de leur exécution, du
dans un délai prescrit. Il explique ce qui doit financement des travaux, de la reddition de
être fait, quand, comment et par qui. comptes et de la diffusion des résultats.
83
PROJET
Cette mesure de l'utilisation efficiente des L'ampleur et la nature du problème doivent être
ressources peut être mesurée sur la base d'un documentées à l'aide de données probantes
ou de plusieurs intrants. afin de légitimer l'action.
84
PROJET
La reddition de comptes interne concerne celle face aux citoyens et suppose que les
qui se fait des échelons inférieurs d'une gestionnaires des ressources publiques soient
organisation vers la haute direction de cette prêts à faire rapport ouvertement des résultats
même organisation, par exemple un directeur atteints par leur organisation.
ou un sous-ministre;
La reddition de comptes externe est celle qui Ressource (Resource}
est faite par la direction ou les instances Ensemble des moyens financiers, humains,
gouvernantes d'une organisation face aux matériels et informationnels utilisés pour mettre
personnes devant qui elles sont redevables, par en œuvre des activités.
exemple l'Assemblée nationale ou la population
dans le cas des ministères et organismes Résultat (Result}
publics.
Extrants et effets ou bénéfices intentionnels
Référentiel (Frame of reference} visés des activités des organisations et des
initiatives qu'elles mettent de l'avant.
Ensemble d'éléments servant à décrire les
fondements d'une intervention et permettant Préférablement, pour éviter la confusion, le
notamment d'en établir les critères d'évaluation. terme résultat devrait être réservé aux extrants
(Adapté de : Marceau R., et F. Sylvain, à paraitre) et aux effets intentionnels (attendus, visés,
ciblés) des actions. (Annexe 1)
Le référentiel inclut une présentation des
éléments suivants : Les premiers, soit les biens ou les services
découlant des activités ou des opérations,
Contexte d'intervention; seront alors qualifiés de « résultats
Raison d'être d'intervention ; opérationnels» .
85
PROJET
Termes connexes : Effet, Impact, Livrables, Soutien-conseil (Advisory support)
Réalisation , Retombée.
Action d'offrir, par l'intermédiaire d'une
personne ou d'un groupe de personnes, de
Résultat stratégique (Strategie result)
l'assistance de manière indépendante en
Avantage durable pour les citoyens qui découle continu ou encore de manière ponctuelle, à la
des responsabilités confiées à une organisation demande.
et des biens et services qu'elle offre.
Souvent recommandé en amont avant
Un résultat stratégique est un résultat qu'une l'application ou le déploiement d'une
organisation souhaite obtenir pour le bénéfice intervention ou d'une mesure.
du citoyen .
Synonyme : Appui-conseil.
Rétroaction (Feedback)
Stratégie d'évaluation (Evaluation strategy)
Processus de transmission de renseignements
Aperçu de la manière dont il est prévu de
pertinents provenant d'activités de suivi et
trouver réponse aux différentes questions
d'évaluation aux personnes qui peuvent en tirer
d'évaluations posées.
des leçons utiles et pertinentes, de manière à
favoriser l'apprentissage et à éclairer les Une stratégie d'évaluation est un plan qui
décisions. propose les moyens considérés les plus
adéquats et efficaces (analyse des données
Risque (Risk) administratives, consultation de données
secondaires, enquêtes, entretiens, groupes de
Éventualité qu'un danger ou une incertitude discussions, observations, mesures, etc.) pour
plus ou moins prévisible compromette l'atteinte assurer la collecte des données nécessaire
des objectifs, le fonctionnement d'une pour répondre aux questions d'évaluation
organisation ou celui de l'une de ses activités. posées et juger de la valeur de l'initiative
Une gestion du risque est la meilleure façon de concernée.
procéder lors de circonstances incertaines en $elon le temps et les ressources à consacrer
établissant une · démarche systématique et aux travaux, la stratégie d'évaluation peut varier
rigoureuse d'évaluation des risques, de leur considérablement.
compréhension et des procédures à suivre.
Suivi (Monitoring}
-S-
Examen continu ou périodique des activités et
des extrants d'une activité effectué dans le but
Savoir (Knowledge) de renseigner sur le déroulement de celles-ci et
Ensemble de connaissances capable d'inspirer d'apporter des correctifs sans tarder lorsque la
des changements ou de susciter des actions en situation s'écarte des objectifs recherchés.
fonction d'un contexte plus large permettant Les suivis ont pour fonction de fournir aux
d'alimenter un nouvel apprentissage. responsables et aux parties prenantes des
La gestion du savoir implique la création, le initiatives ou des activités un retour
partage et la recherche de nouvelles d!information régulier concernant le progrès ou
connaissances à l'aide de mécanismes et l'absence de progrès dans la réalisation des
procédures pour réunir, organiser, présenter et résultats attendus.
diffuser l'information au moment opportun pour Ce suivi sert de base documentée permettant
les décideurs. de tirer des constatations préliminaires
nécessaires pour concrétiser et procéder aux
Sondage (Survey) changements voulus.
Opération consistant à interroger un certain
nombre d'individus au sein d'une population -T-
déterminée afin d'étudier une ou plusieurs de
ses caractéristiques en utilisant des méthodes Théorie du changement (Theory of change)
statistiques adaptées.
86
PROJET
La théorie du changement offre un portrait -V-
permettant d'identifier les conditions préalables,
les parcours et les actions nécessaires au
succès de l'initiative. Elle permet de lier Valeur (Value for money)
logiquement les activités aux objectifs de En évaluation, la valeur d'une initiative
l'initiative. correspond à la mesure avec laquelle celle-ci
démontre pertinence et rendement.
Théorie du programme (Program theory)
La synthèse des observations et des analyses
La théorie du programme correspond à la sur l'intervention se traduit en jugement sur la
théorie explicite de la façon dont le programme valeur. En d'autres termes, la valeur exprime ou
prévoit obtenir les résultats attendus. Les reflète l'importance de la contribution de
hypothèses concernant les ressources et les l'intervention dans la résolution du problème
activités et la manière dont celles-ci conduiront pour lequel il a été mis de l'avant.
aux résultats attendus y sont exposées,
expliquées, et justifiées. Valeur actuelle nette VAN (Net present value)
La théorie du programme présente la théorie du La valeur actuelle nette est la valeur que
changement qui en est sous-jacente et qui représente aujourd'hui un investissement
représente la manière dont une initiative est s'échelonnant sur plusieurs années.
supposée mener aux résultats espérés.
Elle est calculée à partir du cumul des flux nets
de trésorerie (différence entre les recettes et les
Transparence (Transparency)
dépenses d'exploitation année par année)
Qualité d'une personne ou d'une organisation actualisés jusqu'à l'année où nous voulons
qui transmet de manière fidèle et précise les l'information et en tenant compte de
informations concernant son fonctionnement, l'investissement initial.
ses pratiques, ses. intentions, ses objectifs et
Terme connexe : Actualisation .
ses résultats afin, notamment, de permettre une
compréhension suffisante de la logique derrière
les gestes posés. Validité (Validity)
Dans l'administration publique québécoise : Critère de qualité d'une mesure. La validité
correspond à la mesure avec laquelle une
La transparence est une qualité recherchée variable représente ce qu'elle est supposée
pour sa capacité à renforcer le lien de représenter ou dans le cas d'une méthode de
confiance entre les gestionnaires des mesure, ce qu'elle est supposée mesurer.
organisations publiques et les citoyens.
La validité peut se décomposer selon les deux
perspectives suivantes :
Triangulation (Multiple-/ines of evidence)
Validité interne : Caractéristique selon laquelle
Approche utilisée en recherche sociale ou
les résultats sont directement en lien avec les
stratégie de recherche, consistant à combiner
objectifs visés. Deux facteurs contribuent à la
et à comparer au moins trois différentes
validité interne : sa pertinence et sa convivialité.
sources de données, méthodes de collecte
d'information, démarches d'analyse pour Validité externe : Caractéristique selon laquelle
vérifier et soutenir une appréciation ou un point les résultats mesurés dans une situation
de vue. peuvent être comparés avec ceux mesurés
dans d'autres situations analogues de façon à
La triangulation permet d'appréhender de
pouvoir comparer les constats à d'autres
manière plus large un phénomène ou un
contextes.
construit et de réduire les biais inhérents au
recours à une source unique d'information, à un
informateur unique, à une méthode de collecte Variable (Variable)
unique, à une seule théorie, etc. Caractéristique observable ou mesurable qui
Elle constitue un critère permettant de juger de peut prendre différentes valeurs autant
la rigueur d'une recherche. quantitatives que qualitatives.
87
PROJET .
Les variables sont dites dépendantes quand et de l'efficience des activités et la validation
elles subissent l'influence d'autres variables et des données du rapport annuel de gestion et
indépendantes lorsqu'elles exercent une des contrôles afférents.
influence sur une autre variable ou en
expliquent les variations. Viabilité (Viability)
Les variables peuvent être de différentes Caractère de ce qui est viable ou qui va durer.
natures :
En évaluation, on pourrait qualifier les effets
Les variables nominales sont celles qui se d'une intervention sur une population en
présentent en classes identifiées par des noms, fonction de son éventuel succès ou échec en
par exemple le sexe (féminin, masculin), la termes de viabilité ou non. Les effets d'une
localité (Québec, Montréat Sherbrooke), la intervention viable devraient apparaître après
profession (mécanicien, conseiller, comptable), un certain temps et continuer dans le temps,
etc.; résistant aux changements de contexte.
Les variables ordinales, souvent nominales Terme connexe : Pérennité.
sont celles qui établissent une relation d'ordre
entre les différents éléments proposés, par
exemple la catégorie d'âge (moins de 25 ans, 5
ans ou plus), la grandeur (petit, moyen, grand),
etc.;
Les variables numériques sont des variables
qui se présentent sous la forme de nombres.
Les variables numériques sont discrètes ou
continues selon qu'elles peuvent prendre
certaines valeurs seulement ou toutes les
valeurs sur un intervalle, respectivement. Elles
sont dites « à intervalles » quand la différence
entre deux chiffres traduit la grandeur de
l'intervalle qui les sépare, mais que la valeur
zéro ne correspond pas à l'absence de
l'élément. L'addition et la soustraction des
variables numenques à intervalles, la
température par exemple, sont impossibles.
Elles sont dites « de rapport » quand toutes les
opérations mathématiques sont possibles et
que la valeur zéro indique l'absence de
manifestation de la variable.
88
PROJET
Annexe 1
'.
EFFETS VISU
DU PROGRAIIIIIE
AUTRES EFFE18
DU PROGRAIIWE
89
PROJET
Index
-A- ............................................................... 72
Coût de revient (Cost accounting) .......... . 74
Activité (Activity) ... .... .. .. ....... ....... ... .. ... .. ... 72
Coûts-avantages ou coûts-bénéfices (Cost-
Actualisation (Updating) .. .. ......... ..... ........ 72 benefit) ... ... ...... .... .. ... .. ... .... ... ... ..... .... ..... .. . 74
Analyse comparative (Comparative Coût-efficacité (Cost-effectiveness) ......... 74
analysis) ... .... ...... ..... .. ......... .... ................. 72
Crédibilité (Credibility) ...... ..... .... .. .. .... .. .. ... 74
Apprentissage (Learning) ......... ... .... ... ... .. 72
Critère (Criteria) ........... .... .... ........ .. .... ... ... 75
Architecture de programmes (Program
architecture) ... ..... ..... .... .. .......... ...... ... ... .. . 72 -0-................................................................ 75
Attribution (Attribution) .. .. .. ... ....... ...... ....... 72 Défaillance de marché (Market failure) .. .. 75
Audit (Audit) .... ........... .... .... .. ..... ..... ....... .. . 72 Devis (Quote) .. ........ .. .. .. ... .... .. .. ...... .......... 75
Auto-évaluation (Self-evaluation) ..... .... ... 72 Donnée (Data) .................. .. ... ... .. ... ..·....... . 75
Donnée de référence (ou de base)
-8- ............................................................... 72
(Baseline data) ... .... .. ...... .. ............. ........... 75
Benchmarking (Benchmarking) ........ ... .... 72
Donnée administrative (ou de gestion)
Bénéficiaire (Beneficiaries) ........... ........ ... 72 (Administrative data) ................... .... ... .. .... 76
But (Goal) .... .. .... .... ...... ....... .. .... ... .... .. ... .. . 72 Donnée primaire (Primary data) .............. 76
Donnée secondaire (Secondary data) ... .. 76
-C- ............................................................... 73
Cadre d'évaluation (Evaluation framework) -E- ..... .-.......................................................... 76
..... .... ....... ; ..... ..... .... ... .. .................... .... ..... 73
Économie (Economy) .. ............................ 76
Cadre de suivi et d'évaluation (Monitoring
Effet (Outcome) .. .... .......... ...... .... .. ........... 76
& evaluation framework) ... .. ....... .... .. ..... ... 73
Efficacité (Effectiveness) .... .. .......... .. ....... 76
Cadre logique (Log frame) ..... ... ...... ... ..... 73
Efficience (Efficiency) .......... .......... ........ .. 76
Cahier des charges (Specifications) ...... . 73
Efficience relative (Relative efficiency) .. .. 76
Capacité informationnelle (Information
capacity) ..... .... .. ..... .... ...... ........ ........ ..... ... 73 Élément de programme budgétaire (ou
volet) (Program component) ........ ..... ....... 76
Causalité (ou relation de cause à effet)
(Causality) ........................ .. .... .. .. .. .. .. ....... 73 Enquête (Investigation) ... ....... .. ...... .... ...... 77
Cible (Target) ...... .. ... ... ............. ... ...... ...... 73 Enseignement tiré (Lesson) ........ ....... ...... 77
Chaîne de résultats (Chain of results) ..... 73 Équipe d'évaluation (Evaluation team) .. .. 77
Conclusion (Conclusion) .... .. .... .... ... ........ 74 Étalonnage (Benchmarking) .... .... ............ 77
Constatation (Finding) .. ......... ........ .......... 74 Étendue (Scope) .. ... .. .. ...... .... .. .......... .... ... 77
Contexte d'intervention (Context of Évaluabilité (étude d') (Evaluability
program) .. ............. ............................... ... . 74 assessment) .. ....... .................... .. .......... .... 77
Contrôle (Control) ... ....... .. .... ...... .. ... ......... 74 Évaluateur (Evaluator) .... .. ....... .... ... .. ..... .. 77
Coordination (Coordination) .. ... ... .. .... .. .... 74 ÉvalUation (Evaluation) ... ........ ...... ........ ... 77
Corrélation (Correlation) ..... .. ... .... ... .... ..... 74 Évaluation de programme (Program
evaluation) ... ......... .. ............ .. .... .......... .... . 77
Coût d'opportunité (Opportunity cost) .. ... 74
Évaluation à mi-parcours (Mid-term
Coût unitaire (Unit cost) ....... .. .... ... ....... .... 74
evaluation) ......... ............ .... .......... ...... .... .. 78
90
PROJ ET
Groupe contrôle (Control group) ............. 80 Pertinence (Relevance) ....... ... .... ... ....... ... 82
-H- ............................................................... 80 Politique (Policy) ............ ..... ....... ...... ... ... .. 83
91
PROJET
Portée (Scope) ....... .... .. ........ ........ ..... ...... 83 -S- ................................................................ 86
Problématique (Problem theory) ......... ... . 83 Savoir (Knowledge) .... ...... .... .... ........... .. .. 86
Processus (Process} .. ... ......... .. .... ... ..... ... 83 Sondage (Survey) ...... .......................... .. .. 86
Productivité (Productivity) .... .. ...... ... ...... ... 83 Soutien-conseil (Advisory support) .. ...... .. 86
Programme (Program) .. ... ......... ..... ... .... .. 84 Stratégie d'évaluation (Evaluation strategy)
........ .. ........... ... ........ ..... .......... .... .......... ... . 86
-Q- ............................................................... 84
Suivi (Monitoring) ............. .. ............. ....... .. 86
Qualitatif (Qualitative) ...... .. ..... .... ............ . 84
-T- ................................................................ 86
Quantitatif (Quantitative} ..... ...... .. .... ..... ... 84
Théorie du changement (Theory of change)
-R- ............................................................... 84 .. ...................... ... .. ... .. ..... ...... ...... .. ... ... .. .. .. 86
Raison d'être (Relevance) ... ........ ... ......... 84 Théorie du programme (Program theory) 87
Réalisation (Achievement) .... ........ ... .. .... . 84 Transparence (Transparency) ............ .. .. . 87
Recommandation (Recommendation) ... . 84 Triangulation (Multiple-lines of evidence) 87
Reddition de comptes (Accountability) .. .. 84
-V- ................................................................ 87
Référentiel (Frame of reference) ... ..... .. ... 85
Valeur (Value for mo ney).. ...... .. .......... .. ... 87
Rendement (Performance) ... .............. ... .. 85
Valeur actuelle nette VAN (Net present
Responsabilisation (Accountability) ... .. ... 85 value) ..... ........ ....... .. ...... ... ............... ... .... .. 87
Ressource (Resource) ... .. ..... ... ......... ... ... 85 Validité (Validity) ................. .... ..... ..... -... .. . 87
Résultat (Resultl .. ... ......... ...... ....... ... ..... ... 85 Variable (Variable) ............ ....... ..... .... .... ... 87
Résultat stratégique (Strategie result) ..... 86 Vérification interne (Internai audit) .... .... ... 88
Rétroaction (Feedback} .. .. .. ............. .. .. .... 86 Viabilité (Viability) .. :.... .... .... .. .... ........ ....... 88
Risque (Risk).. .... ........ .......... .. ...... .. .. .... .. . 86 Annexe 1 ...... .... ........ ...... ..... .. .... ... .... ....... . 89
92
PROJET
Principales sources consultées
93
)
PROJET )
)
MAZOUZ, Bachir et Jean LECLERC (2008). La des programmes - Mesure et attribution
gestion intégrée par résultats, Presses de des résultats des programmes [en ligne],
l'Université du Québec, Québec, 440 p. Gouvernement du Canada,
http://www.tbs-
MONITORING & EVALUATION REFERENCE GROUP 1
sct. ge. ca/cee/pubs/meth/pe m-mep-fra.pdf '
(2010). Glossary - Monitoring and
(Document consulté le 12 janvier 2012).
Evaluation Terms [en ligne], Joint United
Nations Programme on HIV/AIDS, SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
http://www. unaids.org/en/media/unaids/co CANADA (201 0). Lexique de la gestion
ntentassets/documents/document/201 0/11 axée sur les résultats [en ligne],
ME Glossary FinaiWorkingDraft.pdf Gouvernement du Canada,
(Document consulté le 12 janvier 2012) . http://www.tbs-sct.gc.ca/cee/pubs/lex-
fra .asp (Page consultée le 12 · janvier
OCDE (2002). Glossaire des principaux
2012).
termes relatifs à l'évaluation et la gestion
axe sur les résultats [en ligne], SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
http://www.oecd.org/dataoecd/29/21/2754 CANADA (201 0). Pour soutenir des ·
804.pdf (Document consulté le 12 janvier évaluations efficaces : Guide d'élaboration
2012) . de stratégies de mesure de rendement [en
ligne], Gouvernement du Canada,
OFFICE FÉDÉRAL DE LA SANTÉ PUBLIQUE (2005).
http ://www.tbs-sct. ge. ca/cee/d pms-
Glossaire de termes d'évaluation [en
esmr/dpms-esmrtb-fra.asp (Document
ligne], Berne, Confédération Suisse,
consulté le 12 janvier 2012) .
http://www.bag .admin.ch/evaluation/02357
/02603/index. html?lang=fr (Document SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
consulté le 12 janvier 2012). CANADA (2010). Principes pour l'évaluation
des programmes par les ministères et
PLANNING AND PERFORMANCE MANAGEMENT
organismes fédéraux [en ligne],
UNIT (2009) . Glossary of Evaluation Terms
Gouvernement du Canada,
[en ligne], Office of the Director of U.S.
http://www.tbs-
Foreign Assistance, United States
sct.gc.ca/cee/pubs/principles-
Government,
principes1984-fra.asp#p4 (Page consultée
http://pdf.usaid.gov/pdf docs/PNAD0820.
le 10 janvier 2012).
QQf (Document consulté le 12 janvier
2012). UK EVALUATION SOCIETY (2008). Glossary of
Evaluation Terms [en ligne], United
RIDDE, Valéry et Christian DAGENAIS (2009).
Kingdom Government,
Approches et pratiques en évaluation de
http://www.evaluation .org.uklresources/glo
programme, Les Presses de l'Université
ssary .aspx (Page consultée le 12 janvier
de Montréal, Québec, 358 p.
2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002).
U.S. ENVIRONMENTAL PROTECTION AGENCY
Guide sur la gestion axée sur les résultats
(2012). Program Evaluation Glossary [en
[en ligne], Gouvernement du Québec,
ligne], United States Government,
http://www.tresor.gouv.gc.ca/fileadmin/PD
http://www.epa.gov/evaluate/glossary/all-
F/publications/guide gest-axee-
esd.htm (Page consultée le 12 janvier
resultat 02. pdf (Document consulté le 12
2012).
janvier 2012).
USAID (201 1). USAID Evaluation Policy [en
SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002).
ligne], Évaluation : Learning ·from
L'évaluation de programme - Document
Experience,
destiné aux dirigeants et dirigeantes de
http://www.usaid .gov/evaluation/USAIDEv
ministères et d'organismes [en ligne],
aluationPolicy.pdf (Document consulté le
Gouvernement du Québec,
14 février 2012).
http://www.tresor.gouv.qc.ca/fileadmin/PD
F/publications/eval-progr 02 .pdf
(Document consulté le 12 janvier 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
CANADA (1998) . ·Méthodes d'évaluation
94
Annexe VIl - Le cadre de suivi et d'évaluation
-- - -- - .-- - - - -· --------- --------
95
Secrétariat
du Conseil du trésor B Il PROJET
Québec au
Direction de la mise en œuvre de la
Loi sur l'administration publique
9
Par initiative, on entend une action ou un moyen qui peut être prise par un ou plusieurs ministères dans le cadre d'un ou
de plusieurs programmes afin d'atteindre un objectif.
97
PROJET
Un cadre de suivi et d'évaluation est donc un outil de planification . Il aide les organisations à
prévoir en amont l'information qui sera nécessaire aux évaluations futures . Il permet aux
gestionnaires de l'initiative et aux coordonnateurs d'évaluation de s'assurer que les données
générées par les suivis du rendement sont pertinentes, suffisantes et qu'elles seront disponibles
pour appuyer l'évaluation prévue au moment où celle-ci est prévue. Il permet de déterminer les
besoins d'information et le moment où l'information sera requise préalablement aux travaux
d'évaluation. Cette information permet notamment de préparer des plans d'évaluation ministériels
ou organisationnels plus réalistes.
La préparation d'un cadre de suivi et d'évaluation implique la participation d'un spécialiste de la
démarche évaluative et idéalement celle du plus grand nombre de parties prenantes possibles,
en commençant par les gestionnaires responsables de l'initiative.
Une fois complet, le document permet aussi de préciser les responsabilités relativement à la
collecte et aux suivis. Il sera normalement révisé en cours de mise en œuvre si nécessaire et
surtout au moment d'amorcer les travaux d'évaluation proprement dits.
Les principales raisons pour lesquelles il est avantageux de préparer un CSE sont les suivantes :
• Il aide à assurer une surveillance adéquate des initiatives et à faire une
évaluation systématiquement et rigoureuse de leurs résultats;
• Il contribue à éclairer la prise de décisions et favorise l'adoption de mesures
appropriées et en temps opportun en cours de mise en œuvre des initiatives;
• Il aide à une reddition de comptes utile et pertinente;
• Il aide à s'assurer que l'information recueillie soit fiable et crédible.
98
PROJET
Un cadre de suivi et d'évaluation aide aussi à examiner les stratégies d'action , les objectifs et les
activités avant même la mise en œuvre des initiatives pour déterminer s'ils sont bien les meilleurs
dans le contexte :
• Le CSE aide à comprendre et à analyser l~s initiatives;
• Il aide à élaborer et à mettre en œuvre des activités de suivi et d'évaluation
congruentes;
• Il permet d'énoncer des objectifs mieux articulés;
• Il identifie les liens entre les intrants, les activités, les extrants et leurs effets;
• Il précise, enfin , l'influence possible de facteurs externes.
La préparation du CSE
Un cadre de suivi et d'évaluation n'est pas nécessaire à toute initiative. Cette dernière doit être
évaluable, c'est-à-dire disposée à se soumettre à une éventuelle évaluation qui est susceptible
de fournir une information utile aux fins dè prise de décisions.
La planification du suivi et de l'évaluation débute généralement concurremment à aux travaux de
conception des initiatives. Ainsi, une équipe formée d'évaluateurs et de responsables de
l'initiative peut être constituée. Cette équipe établit à l'aide des objectifs de l'initiative en termes
d'extrants et d'effets, les indicateurs appropriés. Cette équipe établit également la manière dont il
est prévu répondre aux questions d'évaluation, et ce, toujours en amont de la mise en œuvre de
cette dernière.
La description de l'initiative
Une description de l'initiative est présentée de façon concise et ciblée, de manière à fournir aux
personnes concernées l'information élémentaire nécessaire à la compréhension de l'initiative.
Plus spécifiquement, la description de l'initiative vise à :
• appuyer l'élaboration du modèle logique et du cadre de suivi et d'évaluation;
• servir de document de référence aux évaluateurs et analystes;
• faciliter la communication au sujet de l'initiative entre les parties prenantes.
99
PROJET
présentent la chaîne de résultats et comportent une sene d'éléments démontrant les liens
logiques notamment les intrants, les activités, les extrants et les effets. Ils ont pour objectifs :
• D'aider les gestionnaires de l'initiative à s'assurer de la solidité de la théorie du
programme et que les résultats attendus sont réalistes et logiques;
• De garantir que le cadre de suivi et d'évaluation correspond explicitement à la
logique de l'initiative;
• D'aider les gestionnaires de l'initiative à interpréter les données recueillies tout
au long du suivi et à en établir les implications sur la conception de l'initiative ou
des activités;
• De servir de point de référence pour les évaluateurs en vue des évaluations
ultérieures;
• De faciliter la communication au sujet de l'initiative entre le personnel de
l'initiative et les autres parties intéressées.
Le référentiel décrit la façon dont les activités et mesures se traduiront en résultats attendus
selon la théorie du programme. C'est la partie descriptive préalable au modèle logique qui illustre
la raison d'être de l'initiative, les objectifs et les cibles visés et la nature du programme. Par la
suite, le modèle logique illustre la causalité entre les intrants, les activités de production, les
extrants et les effets de l'initiative.
Le plan de suivi
Le plan de suivi du rendement définit les indicateurs nécessaires aux fins de surveillance et de
l'évaluation. Ce plan permet de préciser l'information et les moyens pour assurer la collecte de
ces renseignements.
Il n'y a pas de règles quant au nombre d'indicateurs à inclure dans un tel cadre. Cependant, un
nombre suffisant pour les besoins d'information, mais raisonnable est préconisé. Une description
accompagne généralement le plan.
Les étapes à suivre pour élaborer le plan sont :
1. Identifier les extrants et les effets escomptés de l'initiative;
2. Choisir les indicateurs d'efficacité et d'efficience pertinents;
3. Pour les différents indicateurs retenus, déterminer les données de référence (situation de
départ ou actuelle) ;
4. Déterminer l'importance des changements visés;
5. Déterminer les échéances pour l'atteinte de chacun des objectifs;
6. Déterminer les sources des données;
7. Déterminer la méthode de collecte de l'information;
8. Déterminer la fréquence de collecte des données;
9. Déterminer les responsabilités liées à la collecte des données
1O. Valider les indicateurs retenus auprès d'évaluateurs et auprès des parties prenantes afin
de s'assurer que les ressources requises pour la collecte des données sont prévues et
conformes au budget.
Au moins un indicateur pour chaque extrant et effet figurant dans le modèle logique de l'initiative
devrait être prévu au plan .
L'annexe x propose un gabarit général qui peut être utilisé dans la préparation d'un plan de suivi.
100
PROJET
Extrants et Indicateurs Données de Importance Échéances Sources des Méthodes de Fréquence Responsabilité
effets du base (à t=O) du pour données collecte des de la collecte de la collecte
programme changement atteindre données des données d'information
visé les
objectifs
Extrant 1 Indicateur 1
Indicateur 2
Extrant 2 Indicateur 3
Indicateur 4
Indicateur 5
Extrant 3 Indicateur 6
Effet 1 Indicateur 7
Indicateur 8
Effet 2 !Indicateur 9
Indicateur 10
101
PROJET
Le cadre d'évaluation
Le cadre d'évaluation d'une initiative expose ou traduit la stratégie d'évaluation retenue par les
évaluateurs de programme pour répondre aux questions d'évaluation posées par le client des
travaux. Il permet une estimation des coûts des évaluations et le choix ou la conception de
méthodes et d'évaluation rigoureuses et économiques .
L'élaboration des cadres d'évaluation est une responsabilité du gestionnaire de l'initiative qui doit
solliciter les conseils d'évaluateurs de programmes. Plusieurs des données nécessaires pour
répondre aux questions du cadre d'évaluation seront puisées parmi les indicateurs listés dans le
plan de suivi du rendement. D'autres seront propres à la phase d'évaluation.
Une collaboration du coordonnateur de l'évaluation et du gestionnaire de l'initiative est pertinente
afin d'examiner le cadre et le mettre à jour périodiquement afin d'élaborer un cadre d'évaluation
définitif pour le processus d'évaluation.
La préparation d'un cadre d'évaluation provisoire, au moment de concevoir les initiatives, est
pertinente. Il permet, en fonction des questions d'évaluation anticipées, de prévoir les données
requises pour bien répondre à celles-ci. Il permet d'envisager une méthodologie d'évaluation,
d'identifier les données requises aux fins de l'évaluation et de proposer des façons dont ces
besoins d'information seront satisfaits.
Le cadre d'évaluation est un document de travail qui, au début de l'initiative, s'appuie sur les
meilleurs renseignements disponibl.es. Ce document trace les grandes lignes de l'initiative ou de
l'intervention à évaluer et précise le déroulement des travaux d'évaluation envisagés. Il repose
sur les questions d'évaluation. Chacune donne lieu à certains indicateurs et à parfois à plus d'une
approche ou ]11éthodes d'évaluation .
Le contenu d'un cadre d'évaluation comprend généralement les éléments suivants :
• Une description du contexte de l'évaluation;
Dans cette partie le contexte de l'initiative ou de l'organisation est décrit. La problématique
sur laquelle l'intervention agit y est présentée. Les actions posées y sont présentées. Les
raisons pour lesquelles une évaluation a été jugée pertinente sont exposées.
• Les objectifs de l'évaluation (evaluation purpose) ;
Dans cette partie, l'objectif général poursuivi par l'évaluation est précisé.
Procurer à l'organisation l'information nécessaire à une prise de décision éclairée et
fondée concernant Je futur du projet.
Vérifier que le projet a produit les résultats visés de manière à décider si l'approche
peut être réutilisée ailleurs.
Évaluer l'initiative en termes de résultats, d'efficacité et d'efficience dans une optique
d'amélioration continue.
102
PROJET
isoler de l'ensemble des facteurs d'influence, la contribution de l'intervention, etc. A chaque
objectif poursuivi peut correspondre une stratégie différente.
Certaines questions pourront être répondues à l'issue d'une recherche documentaire.
D'autres nécessiteront une collecte d'information auprès de la clientèle bénéficiaire et la
réalisation, par exemple, d'enquêtes, d'entretiens, de groupes de discussion.
• Une présentation des détails techniques et logistiques : les livrables, les besoins en
ressources et la composition de l'équipe de travail, un échéancier, une estimation du coût
des travaux, etc.;
• L'utilisation qui sera faite des résultats.
Les évaluations n'ont que peu de valeur ajoutée si elles ne suscitent pas l'action ni
n'appuient de décisions. Conséquemment, il importe de faire connaître les résultats aux
parties prenantes et d'apprendre de l'exercice. Il peut être utile d'identifier dès le départ les
audiences cibles et les moyens par lesquels l'information sera diffusée.
Efficience opérationnelle Mis en relation avec les ressources investies, les biens produits et
103
PROJET
les services rendus respectent-ils les critères d'efficience établis?
Comment la production se compare-t-elle en termes d'efficience en
termes de progrès dans le temps, comparativement à celle d'autres
organisations ayant des activités comparables ou à d'autres moyens
de production ou de façon de rendre les services?
Est-ce que les produits et services concrétisés avec les ressources
investies répondent au critère d'efficience?
Efficience de programme Les effets réalisés par rapport aux ressources investies dans le
programme répondent-ils au caractère d'efficience?
Mis en relation avec les ressources investies, les effets mesurés
respectent-ils les critères d'efficience établis?
Comment l'importance des effets mesurés se compare-t-elle en
termes d'efficience dans le temps, comparativement à celle d'autres
organisations ayant des activités comparables ou à d'autres moyens
de production ou de façon de rendre les services?
Recensement et Quels produits (biens ou services) ont été concrétisés suite aux
quantification des activités du programme?
extrants
104
lllllllllllllllllllllllllllllllllllllllllllllllllllllll
00204439 3