Vous êtes sur la page 1sur 112

Rapport de stage

Martine Leblanc-Constant

Contributions au développement du coffre à outils des coordonnateurs de la fonction


d'évaluation et des évaluateurs de programme au sein de l'appareil gouvernemental
québécois

Rapport de stage présenté à l'École n,ationale d'administration publique

Juin 2012
Remerciements

Je ne peux passer à côté de l'occasion de remercier chaleureusement celle qui m'a fait confiance
et qui m'a tant appris en peu de temps, ma responsable de stage Claire Bard . C'est grâce à la
générosité et l'expérience de cette dernière que j'ai pu accomplir mes mandats. Aujourd'hui, si j'ai
le désir de faire accroître la fonction d'évaluation de programme au sein de l'Administration
gouvernementale, c'est principalement dû par la passion que cette dernière me partage.

Je tiens à remercier également mon professeur M. Pierre Cliche qui a accepté avec grande
générosité de référer ma candidature en plus de m'accompagner dans cette expérience. Lors de
mes études à la maîtrise, M. Cliche est également le professeur qui m'a le plus remuée quant à
. la rigueur attendue de ses élèves et pour cela, je lui en remercie.

Lors de mon stage, j'ai pu découvrir des collègues formidables, notamment Isabelle et Daniel, qui
m'ont intégrée rapidement en plus d'avoir la chance d'avoir une directrice, Sonia, qui a cru en
mes capacités et pour cela, je tiens également à les remercier.

Un rapport de stage constitue pour moi l'achèvement d'un long parcours universitaire. Pour cela,
je tiens à remercier affectueusement toute ma famille pour leurs encouragements, mais
spécialement mes parents, Sylvie et Marcel, pour leur soutien et leur fierté. Un dernier merci
spécial à mes amis et collègues enapiens, Jean-Sébastien et Florence, qui m'ont supportée,
mais surtout à mon amoureux, Mathieu, pour m'avoir forcée à étudier et encouragée à tout
moment.

v
Avant-propos

Dans le cadre du cursus obligatoire pour l'obtention de la maîtrise en administration publique


pour analystes avec la concentration « Évaluation de programme », ce rapport de stage se veut
l'aboutissement de l'activité d'intégration de fin de parcours.

Tout au long du déroulement du stage et de la rédaction de ce rapport, le projet a été


conjointement encadré par l'organisation mandataire, soit la Direction de la mise en œuvre de la
Loi sur l'administration publique du Secrétariat du Conseil du trésor ainsi que par l'École
nationale d'administration publique. Le présent rapport est donc déposé d'un commun accord
entre l'organisation mandataire et l'École nationale d'administration publique.

iii
Table des matières

A V ANT -PROPOS ...................................................................................................................................... III


REMERCIEMENTS ................................................................................................................................... V
INTRODUCTION ........................................................................................................................................ 1
PRÉSENTATION DE L'ORGANISATION .............................................................................................. 2
SECRÉTARIAT DU CONSEIL DU TRÉSOR, FONCTION ET ORGANISATION ........ ................................ ........ ......................... 2
DIRECTION DE LA MISE EN ŒUVRE DE LA lOI SUR L'ADMINISTRATION PUBLIQUE ...... .... .................... .......... .. ................. 2
MANDATS ET ACTIVITÉS ............... ........ ............ ... ...... .. ... ... ........... ...... .... ............................ ........ ............ ...... ..... 2
OBJECTIFS DE L'ORGANISATION ... ..... ........ ....... .. ................ .... .. ...... ... ...... .... ..... .. .. .... ...... ................ ............... ... .. . 4
SES CLIENTS ET SA RÉGIE ... ..... ................ ..... .. .. .. ..................... .......... .. .. ............................................................. 4
LE STAGE CONFIÉ .................................................................................................................................... 6
LIVRABLES ET AUTRES CONTRIBUTIONS ................................... .... .... ..... .................................................... .... ....... . 6
GLOSSAIRE DES TERMES USUELS EN ÉVALUATION DE PROGRAMME ................................. 8
DÉMARCHE PROPOSÉE .................................................................................... ... ...... .. ..... ... ............ ...... ...... .... .. 8
DÉMARCHE RÉALISÉE ..... ...... ... .... ......... ....... ... .. ................................................................................................ 9
Prendre connaissance des documents existants .............. ... ..... ..... ... .... ...... .... ..... ......... .... ...................... 9
Document de travail ... .... ........ .. .... ..... ..... .... ... ..... .. ... .. ......... ........................ .......................... .... ...... ..... 10
Proposition des définitions .... ...... ... ... ...................... ... .. ..... .. ... ............. ... .... ... .. ............... ........... ... ...... . 10
Mise en forme en vue de la consultation ......... .. ....................................................................... ........... JI

"'· Suivi auprès de la direction .... ..... ............. ............ .... ...... .... ...... ........ .... .... .. ...... ... .... .... ..... ...... .. ...... ..... Il
~ . .. Consultation à des fins de validation du contenu ............... .... ... ....... ... ....... ..... .. .. ................. .. ...... .. ..... JI
1·- Réception des commentaires .. .... ... ..... .... ... ......... ... ... ... .... ... .... .... ... .. ..... ....... ... .. .... .... .. ...... .. ......... .... .... 12
t...:
Préparation de la version finale et son plan de communication ............................. .... ........................ 12
l"-- Remise du document ........................ ..... ........ .... ................ .... .. ... .... .. ....... ..... ..... ... ... .... ... .. ...... ........... ... 13
Écarts entre la démarche proposée et la démarche réalisée .......... .... ......... ...... ... ........ ......... .. .. ... .... .. . 13
CADRE DE SUIVI ET D'ÉVALUATION .......................... ,........................................................ ~··········· 15
DÉMARCHE PROPOSÉE ... ....... .... .... ... ... ... ......... .. ........... ... .... .. ... .. .. ........ ..... .... ... .. ..... ........ ... .... .. ..... ..... .. .......... 15
DÉMARCHE RÉALISÉE ... ..... .... ... ......... .... ... ..... ... ................ ... . .... ..... .. .... ..... ......... .............. .... ... .. ......... .. ........ ... 15
Prendre connaissance des documents existants ............... .. ........................................................ .... ... .. 16
Proposition du contenu ........ .. ........ ..... ..... ...... ...... ..... ................ .. .. ........ .. ..... ... ... .. ......... .... ..... ... .... .. .... 16
Consultation à des fins de validation du contenu ....... ..... .. .............. ............... .. ...... ...... ............ ... .... .... 16
Préparation de la version finale et son plan de communication ... .. ..... .. ............. .... ...... ............... .... ... 16
Remise du document ......... ............ ...... ... .... .... .. .. .. ... ... ... ............... ... ....... ......... .... ........ .... ...... ...... ..... .. .. 16
Écarts entre la démarche proposée et la démarche réalisée ... ..... .. ...... .. ... ...... ....... .. ............ .. ............. 17

vii
CONTRIBUTION À D'AUTRES PROJETS .......................................................................................... 19
CONSEILS ET LEÇONS APPRISES ...................................................................................................... 20
CONCLUSION ........................................................................................................................................... 22
RÉFÉRENCES UTILISÉES POUR LE GLOSSAIRE ........................................................................... 24
RÉFÉRENCES UTILISÉES POUR LE CADRE DE SUIVI ET D'ÉVALUATION ........................... 35
ANNEXE 1- ORGANIGRAMME ...................................................................................................................... 37

ANNEXE Il- OFFRE DE SERVICE ..........................................................................................................."......... 39

ANNEXE Ill- APERÇU DU DOCUMENT DE TRAVAIL. .................................................................................... 50

ANNEXE IV- APERÇU DU GLOSSAIRE EN TABLEAU ..................................................................................... 55

ANNEXE V- APERÇU DU GLOSSAIRE À LA FIN DU STAGE ........................................................................... 57

ANNEXE IV- LE GLOSSAIRE .......................................................................................................................... 60

ANNEXE VIl- LE CADRE DE SUIVI ET D'ÉVALUATION ........................:........................................................ 87

viii
Introduction

L'appareil gouvernemental québécois est sans cesse en quête des meilleures pratiques de
gestion. En 2000, le Québec s'est doté de la Loi sur l'administration publique accordant la priorité
à la qualité des services aux citoyens et instaurant un nouveau cadre de gestion axée sur les
résultats. En ce sens, l'ensemble des ministères et organismes assujettis à cette loi a dû revoir
certaines de ses pratiques de gestion.

L'un des rôles du Secrétariat du Conseil du trésor du gouvernement du Québec.confié par cette
loi est de favoriser « l'adaptation du cadre de gestion à la situation ·de chacun des ministères et
organismes tout en mettant en œuvre les actions requises pour respecter la politique budgétaire
1
du gouvernement » . La Direction de la mise en œuvre de la Loi sur l'administration publique
(DMOLAP) est l'unité du Secrétariat du Conseil du trésor responsable de ce cadre de gestion et
de la mise en œuvre de la Loi. Elle a pour rôle de faciliter l'application du cadre de gestion
gouvernemental dans les ministères et organismes assujettis. . Cette même loi est également
celle qui établit les rôles et les responsabilités du Secrétariat du Conseil du trésor et de son
secrétaire.

C'est dans un contexte de soutien en matière des meilleures pratiques de gestion que le stage a
été effectué . Le mandataire, la DMOLAP, a confié le mandat de travailler au développement du
coffre à outils du coordonnateur de la fonction d'évaluation et des évaluateurs de programme au
sein de l'appareil gouvernemental québécois.

Ce rapport de stage relate le déroulement du stage. Il propose en premier lieu une description du
mandat, de l'organisation mandataire, des livrables demandés et de la démarche réalisée. En
deuxième lieu, il pésente une rétroaction sur la démarche et présente les acquis et les leçons
apprises. Il se termine par une conclusion générale de l'expérience.

1
http://www2.publicationsduquebec.gouv.qc.ca/dynamicSearch/telecharge.php?type=2&file=/A 6 01/A6 01 .html
Présentation de l'organisation

Secrétariat du Conseil du trésor, fonction et organisation


Le Secrétariat du Conseil du trésor a pour fonction d'assister le Conseil du trésor et sa présidente
dans leurs fonctions de gouverne et de les conseiller en matiére de gestion des ressources
humaines, financières, matérielles et informationnelles. Pour y parvenir, le Secrétariat fournit aux
ministères et aux organismes des orientations en matière de gestion et offre aux citoyens et aux
entreprises des services d'information sur les politiques gouvernementales de gestion . En plus
d'orienter et de donner de l'information sur les façons d'entrer en contact avec le gouvernement,
la production de statistiques concernant l'effectif de la fonction publique est également un mandat
du Secrétariat.

Sa structure est divisée en cinq sous-secrétariats : le Sous-secrétariat aux politiques budgétaires


et aux programmes; le Sous-secrétariat au personnel de la fonction publique; le Sous-secrétariat
aux politiques de rémunération et à la coordination intersectorielle des négociations; le Sous-
secrétariat aux marchés publics et le Sous-secrétariat aux ressources informationnelles et bureau
du dirigeant principal de l'information. Mis à part les sous-secrétariats, sept directions sont sous
l'autorité directe du Secrétaire : la Direction générale de l'administration; la Direction de la mise
en œuvre de la Loi sur l'administration publique; la Direction des communications; le Greffe; le
Direction de la vérification interne; la Direction des affaires juridiques et la Direction du
développement durable, de la concertation en administration et des mandats spéciaux.
L'organigramme illustrant la structure complète du Secrétariat du Conseil se trouve à l'annexe 1.

Direction de la mise en œuvre de la Loi sur l'administration publique


La DMOLAP est une petite équipe qui relève directement du Secrétaire et dirigeant principal de
l'information du Secrétariat. Sous sa directrice se trouve l'ensemble des employés de la direction.
Pendant le stage, l'organisation comptait dix employés à temps plein et deux employés à temps
partiel décliné de la façon suivante : une directrice, six conseillers, une technicienne
administrative, une adjointe administrative, une secrétaire et deux étudiants (temps partiel).

Mandats et activités
Le mandat qui oriente les actions transversales de la DMOLAP est le suivant : « Assister le
Conseil du trésor et sa présidente dans leurs fonctions de gouverne. À cet effet, elle voit à la
mise en œuvre du cadre de référence gouvernemental afin de faire évoluer la gestion axée sur

2
les résultats et de placer la qualité des services au cœur des préoccupations. Aussi, elle assiste
2
et conseille les ministères et organismes en ces matières. »

Pour ce faire, ses principales activités sont les suivantes :

• « Élaborer et diffuser des orientations, des guides et divers outils à


l'intention des ministères et organismes, notamment en matière de
qualité de services, de gestion axée sur les résultats, de vérification
interne, de gestion des risques et d'évaluation de programme;

• Soutenir et conseiller les ministères et organismes dans l'implantation


des orientations ainsi que dans l'utilisation des guides et des outils mis à
leur disposition;

• Soutenir et conseiller les ministères et organismes dans la réalisation de


leurs déclarations de services, leurs rapports annuels de gestion, leurs
indicateurs .de gestion, leurs tableaux de bord ainsi qu'en matière de
coût de revient, de vérification interne, de gestion des risques et
d'évaluation de programme;

• Réaliser des séances d'information et de formation à l'intention des


ministères et organismes, notamment en matière de qualité de services,
de gestion axée sur les résultats, de vérification interne, de gestion des
risques et d'évaluation de programme;

• Effectuer la mise ·à jour de l'information sur les sites Internet du


Secrétariat et extranet de l'Administration gouvernementale;

• Mesurer la satisfaction des ministères et organismes;

• Préparer des avis et des analyses pour le Conseil du trésor et sa


présidente;

• Soutenir et conseiller les ministères et organismes dans la réalisation de


leurs plans stratégiques;

• Coordonner et rédiger, pour la présidente du Conseil du trésor, le


rapport annuel sur l'application de la Loi sur l'administration publique;

• Planifier et coordonner les travaux de révision de la Loi sur


l'administration publique;

• Effectuer des activités de veille sur les meilleures pratiques en lien avec
les différents aspects de la gestion axée sur les résultats» 3 .

2
Intranet du Secrétariat du Conseil du trésor.

3
Objectifs de l'organisation
Les objectifs stratégiques de cette organisation sont les suivants :

• « proposer un nouveau cadre de gestion axée sur les résultats;

• fournir une meilleure reddition de comptes de l'application de la Loi sur l'administration


publique;

• proposer de nouvelles orientations en matière de gestion;

• accroître le partage, les échanges et la diffusion des saines pratiques de gestion;

• faciliter l'application des meilleures pratiques en matière de gestion axée sur les
4
résultats » .

Du côté des objectifs internes de l'organisation, on retrouve :

• « améliorer la qualité de vie au travail;

• mettre en place et uniformiser des pratiques permettant d'améliorer la gestion de


l'information;

• renforcer les liens avec les partenaires stratégiques;

• instaurer un standard de qualité dans notre prestation de services;

• développer l'expertise et les compétences du personnel de la DMOLAP;


5
• instaurer un processus de veille formel » .

Ses clients et sa régie


Les clients la DMOLAP sont divers. D'une part, elle fait des analyses sur plusieurs sujets variés
pour le Conseil du trésor. D'autre part, elle est en soutien à l'ensemble des ministères' et
organismes assujettis à la Loi sur l'administration publique de l'appareil gouvernemental
québécois. Les lois qui régissent le Secrétariat du Conseil du Trésor sont les suivantes :

• Loi sur l'administration publique;

• Loi sur la Fonction publique;

• Loi sur le régime de négociation des conventions collectives dans les secteurs public et
parapublic;

3
Ibidem

4
Intranet du Secrétariat du Conseil du trésor.
5
/bidem

4
• Lois concernant les régimes de retraite des employés de I'Ëtat;

• Loi sur la gouvernance et la gestion des ressources informationnelles des organismes


publics et des entreprises du gouvernement.

• Loi sur les contrats des organismes publics.

5
6
Le stage confié

Le dernier outil en matière d'évaluation de programme visant à soutenir les organisations du


gouvernement du Québec remonte à 2002. Il s'agit du Guide sur l'évaluation de programme à
l'intention des dirigeantes et dirigeants d'organismes. Il a été élaboré concurremment aux
orientations relatives à la fonction d'évaluation de programme dans les ministères et organismes,
également eri 2002, toujours en vigueur.

En 2007, le Plan stratégique 2007-2012 du Secrétariat du Conseil du trésor s'est engagé à


élaborer de nouvelles orientations en évaluation de programme. Par ailleurs, il existe un besoin
d'outiller les organisations et les équipes d'évaluation qui travaillent dans ce domaine pour
accroître la prise en compte et l'utilité dans la prise de décision des travaux d'évaluation menés
dans les organisations.

Le mandat consiste donc à travailler au développement du .coffre à outils du coordonnateur de la


fonction d'évaluation et des évaluateurs de programme. Les outils mis à la disposition des
personnes . intéressées par l'évaluation permettront notamment d'uniformiser la pratique et
d'améliorer la qualité des produits d'évaluation aux plans de leur objectivité, de leur pertinence et
de leur réponse aux besoins d'information, et donc de leur utilité.

Livrables et autres contributions


Plus précisément, en lien avec la formation académique et le domaine de spécialisation de la
stagiaire, les livrables attendus du mandat confié sont :

• un glossaire annoté qui propose des définitions pour les termes courants en
évaluation de programme adaptées au contexte de la pratique au Québec;

• un guide sur l'élaboration des cadres de suivi et d'évaluation ou cadre


d'évaluation, selon le cas, assorti d'une proposition de gabarit (s) ou modèles
permettant de faciliter leur préparation.

En matière d'évaluation de programme, la DMOLAP a également initié deux projets importants :

• La préparation d'un portrait de la fonction dans les organisations assujetties à la


Loi;

6
Voir le document original «Offre de seNice» à l'annexe Il.

6
• La préparation d'un projet de nouvelles orientations ou de directive qui s'inscrit
de manière cohérente ou en soutien à d'autres initiatives comme l'élaboration
d'un outil d'évaluation de la performance des programmes.

Il a été attendu que la stagiaire peut, dans la mesure où le cheminement de ses livrables
identifiés lui permet de s'y impliquer, être mise à contribution dans ces deux projets. Toutefois,
aucun livrable autre que ses analyses, commentaires et rétroactions organisés ne sont attendus.

Le stage a été d'une durée de 15 semaines, à un rythme de 35 heures par semaine. Il a débuté
le 9 janvier et s'est terminé le 20 avril 2012. Le stage a été effectué dans les bureaux du
Secrétariat du Conseil du trésor.

7
Glossaire des termes usuels en évaluation de programme

Le glossaire a été préparé dans la perspective de doter les personnes intéressées à l'évaluation
de programme de définitions adaptées au contexte québécois. Annoté et illustré, il permettra à
ses utilisateurs une compréhension facile et rapide des termes.

Démarche proposée
Pour la préparation du glossaire annoté proposant des définitions des termes courants en
évaluation de programme adaptées au contexte de la pratique au Québec, la démarche qui a été
proposée est la suivante :

1. Prendre connaissance de ce qui a déjà été réalisé à la DMOLAP en termes de définitions


propres à l'évaluation de programme;

2. Intégrer différentes définitions déjà existantes au sein d'unité comparable comme le


gouvernement fédéral canadien ou de centre de recherche en la matière,
particulièrement le Centre de recherche et d'expertise en évaluation;

3. Faire une recherche dans les banques de données sur les articles scientifiques
d'évaluation de programme spécifiquement aux États-Unis, en Grande-Bretagne et au
Canada concernant des définitions existantes sur les termes courants en évaluation de
programme;

4. Élaborer un glossaire préliminaire comprenant différentes annotations sur les sources et


des explications sur les termes en prenant soin de s'assurer que les définitions soient
adaptées au contexte québécois;

5. À des fins de validation, solliciter les commentaires de différents groupes de spécialistes


en évaluation de programme;

6. Préparer la version finale du document en y intégrant les commentaires et


préoccupations transmis, un plan de communication du document ainsi que sa mise en
ligne.

8
Démarche réalisée
Tout au long du stage, plusieurs facteurs sont intervenus et ont modifié la démarche proposée.
Cette partie du rapport met en évidence la démarche réellement réalisée au cours du stage et
met en relief les différences entre la démarche anticipée et la démarche exécutée sans jamais
toutefois différer de l'entente initiale entre la stagiaire et le mandataire. La section sera divisée de
façon à mettre en évidence la démarche réalisée pour arriver aux livrables attendus.

Lors de l'amorce d'un projet de la sorte qui n'a jamais été réalisé auparavant par les personnes
impliquées, il est normal d'avoir une vision préliminaire de la démarche. Ainsi, une démarche
préalable avait été conçue qui se résume à : prendre connai$sance de la documentation
existante au sein du gouvernement québécois, canadien, des États-Unis, de la France et de la
Grande-Bretagne, fouiller davantage les glossaires et lexiques existants au sein de plusieurs
autres communautés (universitaire, organisation internationale, associations diverses), élaborer
une première version du glossaire soutenue sur la base des renseignements recueillis de ceux-ci,
valider son contenu par un groupe d'experts de plusieurs horizons incluant la pratique et la
recherche pour enfin, préparer une version finale du glossaire et son plan de communication.

La logique de cette démarche a été maintenue. Cependant, plusieurs éléments ont entravé le
cours prévu de cette dernière. C'est pourquoi la démarche réalisée, présentée dans les
paragraphes qui suivent, correspond davantage à la réalité . Les nuances à apporter entre ces
démarches concernent davantage l'exécution de chacune des étapes que la démarche en tant
que telle. De façon plus détaillée, les prochains paragraphes présenteront les différences entre la
démarche planifiée et la démarche suivie. À la fin de cette section, un tableau reprenant
l'échéancier d'origine et présentant l'échéancier réalisé met en évidence ces différences.

Prendre connaissance des documents existants


La première étape consistait à faire une revue de la littérature et à prendre connaissance des
documents existants. À ce propos, un projet de glossaire avait été amorcé par une personne de
l'organisation . Ce document tirait notamment ses sources du glossaire élaboré par le Secrétariat
du Conseil du trésor du Canada. Pour ce faire, une recherche de lexiques et glossaires existants
sur les termes d'évaluation de programme et mesure de rendement devait être faite, autant en
français qu'en anglais. Un éventail de documents couvrant les domaines d'évaluation, de mesure
du rendement, de gestion axée sur les résultats et d'administration a permis d'approfondir la
compréhension . Par la suite, à la lecture de chacune des références, il y avait décision sur
chacun des termes à savoir lesquels semblaient pertinents pour un glossaire québécois. Une liste
des termes rejetés des différents glossaires a également été créée afin que cette liste soit validée
par la responsable du stage.

9
Document de travail
P·our chacun des mots retenus, les définitions trouvées dans toutes les références ont été
recensées dans un même document. De cette façon , la formulation de définitions adaptées au
contexte gouvernemental québécois serait reprise ou inspirée de plusieurs définitions véhiculées
dans la communauté des évaluateurs, mais en · même temps original. À ce propos, dès les
premières définitions reprises dans le document de travail, un document de références mis en
page concurremment se créait pour ne pas avoir à rechercher l'ensemble des références
utilisées et à les mettre en forme plus tard. Cette rigueur apportée dans la préparation du
document de travail, en écrivant la source de façon abrégée, mais précise à la fin de chacune
des définitions et en créant le document de référence au même moment a facilité les recherches,
mais surtout a permis de justifier le choix final d'une définition. Voir l'annexe Ill pour avoir un
aperçu du document de travail.

Une fois les glossaires disponibles sur Internet consulté, quelques sources physiques ont
également été utilisées notamment les notes de cours reçus à l'École nationale d'administration
publique. Au fil des travaux et des recherches, la personne responsable du stage veillait au bon
déroulement en approuvant la méthode de travail, les références utilisées et la liste des mots
laissés de côté.

Proposition des définitions


Une fois les recherches terminées et le document de travail construit en ordre alphabétique
regroupant l'ensemble des définition_s trouvées, des formulations de définitions ont été proposées
pour l'ensemble des termes par la stagiaire. Certains, jugés au départ pertinents, ont été laissés
de côté par la suite. Lorsqu'une majorité de définitions ont été écrites, la responsable du stage a
commenté et alimenté le contenu des quelque 150 définitions. Suite à sa lecture, les termes qui
nous semblaient les plus importants et qui méritaient une recherche davantage fouillée ont été
retravaillés. Le document de travail, comprenant plus de 120 ·pages, a été utile comme piste de
réflexion pour chacun des termes ou presque. Cependant, aucune des définitions trouvées n'a
été reprise de façon intégrale. C'est pourquoi chacune des définitions nécessitait un travail de
réflexion et d'écriture autant de la part de la stagiaire que de la responsable du stage qui validait
l'ensemble. Ce travail de longue haleine était nécessaire afin d'arriver à la définition la plus
précise et rigoureuse de ce que représente chacun des termes pour le gouvernement du
Québec.

De plus, une fouille des termes équivalents dans la langue anglaise a été réalisée afin de
proposer le terme anglais correspondant pour chacun des mots. Des outils spécialisés sur
Internet ont permis la recherche nécessaire. Cet ajout a été prévu, car une partie des écrits et
recherches en évaluation de programme est produite en anglais.

10
Mise en forme en vue de la consultation
Une fois une deuxième écriture faite de l'ensemble du document de la part de la stagiaire , le
. projet de glossaire a été copié avec liaison dans un autre document Ward sous format tableau.
De cette façon, les définitions du document de travail (environ une centaine de pages) étaient
automatiquement liées aux définitions dans le tableau et, pour les experts consultés, il était plus
facile de commenter et d'écrire des recommandations dans un tableau sur environ une trentaine
de pages. De plus, cela permettait d'ajouter un espace pour poser des questions aux experts sur
certaines définitions sur lesquelles nous recherchions des réponses. Un aperçu de ce document
est reproduit à l'annexe IV. Parfois, les recherches sur la correspondance entre les termes en
langue anglaise utilisés en pratique n'étaient pas concluantes. L'expertise d'universitaires
enseignant l'évaluation de programme dans des établissements anglophones a été mise à profit.

Suivi auprès de la direction


Le Secrétaire du Conseil du trésor et dirigeant principal de l'informption désire être informé
lorsque nous mettons à profit des personnes externes à notre organisation . Pour réaliser ce
processus, plusieurs étapes sont nécessaires : les projets de note d'information, la liste des
personnes à consulter et le glossaire copié en tableau ont été vérifiés et validés par la
responsable du stage; la secrétaire de la direction a assuré la mise en page conformément aux
règles et la correction orthographique; l'adjointe exécutive s'est assuré la conformité du contenu
et la directrice a vérifié et validé le tout. Une fois la pochette complète et approuvée, celle-ci a été
envoyée au bureau du Secrétaire et dirigeant principal de l'information à titre d'information.
Lorsque l'ensemble des documents a été consulté par le Secrétaire, ils nous ont été retournés.

Consultation à des fins de validation du contenu


La constitution du groupe de· spécialistes aux fins de validation des définitions a été faite en
parallèle de la phase précédente. À l'aide de la responsable du stage et de la directrice de la
DMOLAP, la façon de mener la consultation a été établie de la manière suivante : un courriel
serait envoyé de la part de la directrice invitant les experts à commenter le glossaire sous format
tableau . Le document de travail leur serait également envoyé afin que l'étendue de la recherche
effectuée leur soit accessible. Des professeurs reconnus 'pour leur expertise en évaluation de
programme dans différentes universités ont été sélectionnés en plus de quelques praticiens
reconnus au sein de ministères. Une fois cette liste approuvée par la directrice et le Secrétaire
informé de notre démarche, un courriel de la directrice de la DMOLAP invitant les différents
experts choisis (environ quinze) a commenté les propositions et les choix de termes avec le
document de travail et le projet de glossaire sous format tableau. Une échéance d'environ 2
semaines a été donnée à respecter.

11
Réception des commentaires
Au total, un échantillon assez représentatif de l'ensemble des experts consultés a répondu à
notre demande. Les commentaires et suggestions ont été transmis par courriel directement à la
stagiaire ou parfois par l'entremise de la directrice. Afin de considérer l'ensemble des
commentaires reçus. Ceux-ci étaient compilés dans un même document. Une liste assurant le
suivi des répondants a également été créée.

Une activité non prévue à l'origine s'est ajouté lors de l'étape de validation : une collaboration
étroite avec le Centre de recherche et d'expertise en évaluation de l'École nationale
d'administration publique. Ces derniers étaient compris dans l'ensemble des experts consultés à
l'origine. Cependant, ces derniers travaillaient au même moment sur un projet de Dictionnaire
terminologique d'évaluation. Ceci étant, il a été décidé que pour les termes que nous avions en
commun dans les deux documents, des définitions communes allaient être utilisées lorsque
possible. Plusieurs rencontres et échanges ont eu lieu afin d'en arriver aux résultats escomptés.
Cette cohérence est importante pour les praticiens de l'évaluation qui utiliseront possiblement les
ouvrages de façon complémentaire.

Préparation de la .version finale et son plan de communication


La quatrième étape, la préparation de la version finale et son plan de communication ont été
réalisés à deux moments différents. Lors de la période d'attente des commentaires des experts,
la Direction des communications a pu être rencontrée pour leur exposer nos besoins. L'objectif
était de les mandater pour l'établissement d'un visuel dynamique de notre document autant une
fois imprimé que sur Internet, et d'établir un plan de communication du document. Il a été
convenu que le glossaire serait le projet-pilote du nouveau visuel de la DMOLAP puisque c'est un
des premiers documents préparés dans cette direction assez nouvelle et qu'il fera l'objet d'une
publication officielle. Alors, la Direction des communications s'est engagée à travailler en étroite
collaboration afin de fournir une image et un visuel qui allait exprimer la vision de la DMOLAP. Il a
également été convenu qu'une fois le document prêt, une publication officielle du gouvernement
du Québec sera faite et l'impression d'une centaine d'exemplaires du document permettra à
l'ensemble des ministères et organismes assujettis d'avoir une copie papier. Le glossaire sera
mis en ligne sur le site Internet du Secrétariat afin d'en assurer l'accessibilité à tous. Enfin,
puisqu'un glossaire est un ouvrage qui devra se modifier facilement au fil du temps, il a été
convenu que le document pourra être modifié par notre équipe.

Une fois l'ensemble des commentaires recueillis, la responsable du stage et la stagiaire se sont
assis pour passer en revue l'ensemble des commentaires. Après plusieurs heures de travail,
plusieurs modifications, précisions et ajouts, une version quasi finale a pu être préparée et
acheminée à la Direction des communications pour le montage du visuel. Cependant, il a été

12
décidé qu'une deuxième et dernière phase de consultation et de validation serait pertinente. Bien
qu'une première validation ait répondu à nos attentes, un deuxième tour rejoignant davantage de
personnes tout en y incluant les premières impliquées serait d'intérêt. La fin du stage n'a pas
marqué la fin du projet puisque des étapes ont été ajoutées afin de concevoir les définitions les
plus rigoureuses possible.

Remise du document
Lors de la dernière journée du stage, la stagiaire a pu remettre le livrable .convenu à l'origine. Le
glossaire a été réalisé selon les étapes prévues et a pu faire l'objet d'une validation solide auprès
d'une communauté de pratique de la fonction d'évaluation. Comme il a été décidé en cours de
mandat qu'une deuxième étape de validation était pertinente et que la Direction des
communications devait prendre davantage de temps pour élaborer le visuel selon nos besoins, le
document remis à la fin du stage ne consistait pas au produit final. Cependant, il sera possible de
compléter le projet puisque le stage a débouché sur une proposition d'emploi. A l'annexe V, un
aperçu du glossaire tel qu'il était à la fin du mandat est présenté. A l'annexe VI se trouve la
version du glossaire à la date de remise du présent rapport de stage.

Écarts entre la démarche proposée et la démarch.e réalisée


Le tableau ci-dessous montre les écarts en termes de temps consacré à chacune des étapes de
réalisation du glossaire. Une explication des écarts est présentée à la suite du tableau pour
chacune des étapes.

Étapes du glossaire Démarche originale Démarche réalisée


1. Prendre connaissance Du 9 janvier au 20 janvier Du 9 janvier au 27 janvier
des documents
existants
2. Élaboration du contenu Du 23 janvier au 3 février Du 30 janvier au 9 mars
2.1 Approbation de faire Du 12 mars au 21 mars
une consultation
externe
3. Validation du contenu Du 6 février au 17 février Du 22 mars au 13 avril
4. Préparation de la Du 2 avril au 18 avril Du 2 avril au 20 avril
version finale et son
plan de communication
Remise du document 20 avril2012 20 avril 2012 (première
version, 2e phase · de
validation et visuel à faire)

1. La première étape qlii consistait à prendre connaissance des documents existants


pendant les deux premières semaines du stage s'est prolongée. La quantité de lexiques
et glossaires trouvés, autant en évaluation de programme qu'en administration étant

13
supérieure à ce qui était anticipé, une semaine supplémentaire a été nécessaire afin
d'intégrer dans le document de travail les définitions pertinentes. Aussi, après deux
semaines de recherches, une rencontre entre la responsable du stage et la stagiaire a
déjà permis de constater que les recherches allaient être plus exigeantes que prévu,
mais que le projet dans l'ensemble tenait néanmoins la route.

2. La deuxième étape, l'élaboration du contenu, est celle qui a été la plus sous-estimée.
Trois semaines étaient insuffisantes pour un document qui regroupe plus de 130 termes.
De plus, une étape non prévue s'est ajoutée : informer le Secrétaire du Secrétariat du
Conseil du trésor de notre démarche de validation auprès d'externes.

3. La troisième étape, la validation du contenu, a nécessité une semaine supplémentaire à


l'échéancier. Compte tenu des vacances de Pâques, il a été convenu de laisser
davantage de temps aux intervenants ou experts pour qu'ils prennent le temps de
répondre auxquestions posées et de commenter l'ensemble du glossaire.

4. À l'origine, il n'avait pas été prévu que le glossaire serait la première publication de la
direction sous sa nouvelle image et que, de ce fait, il constituerait le projet-pilote sur
lequel le reste des autres productions reposeraient en termes de présentation . La
Direction des communications a demandé une échéance ultérieure au moment de la fin
du stage prévu .

14
Cadre de suivi et d'évaluation
Le second livrable attendu dans le cadre du stage est un guide sur la préparation d;un cadre de
suivi et d'évaluation devant permettre aux évaluateurs et aux gestionnaires de la fonction
d'évaluation de disposer notamment d'un gabarit utile au moment de planifier les activités de
suivi et d'évaluation préalablement aux travaux de collecte d'information. Ce document à produire
expose généralement les stratégies et méthodologies envisagées pour répondre aux questions
d'évaluation. Il indiquera les principales sources de renseignements, les responsables de leur
collecte et, pour les activités de suivi, le cas échéant, la fréquence à laquelle les différents
renseignements devront être colligés. Il comprend une présentation de l'initiative évaluée et de sa
logique et, outre les éléments concernant l'évaluation future, des mesures de suivi du rendement
qui renseignent en continu sur le déroulement de l'intervention et ses effets et préparent le terrain
pour une évaluation de qualité.

Démarche proposée
Pour la préparation du guide sur l'élaboration des cadres de suivi et d'évaluation, la démarche qui
a été proposée est la suivante :

1. Prendre connaissance des documents existants, notamment des documents du


gouvernement fédéral canadien en lien avec le livrable;

2. Proposer une liste de contenus à couvrir;

3. Développer les conten~s et le gabarit permettant d'organiser l'information de manière


simple et complète;

4 . À des fins de validation, solliciter les commentaires de différents groupes de spécialistes


du domaine de l'évaluation de programme;

5. Préparer la version finale du document en y intégrant les commentaires et


préoccupations transmis, un plan de communicatio.n du document ainsi que sa mise en
ligne.

Démarche réalisée
Le projet de glossaire ayant pris une ampleur imprévue, celui du guide sur le cadre de suivi et
d'évaluation en a souffert. En général, les différences importantes concernent la tâche effectuée
moindre que prévu dans le cas du guide et la tâche du glossaire qui a empiété sur le temps
planifié pour le deuxième livrable, moins prioritaire pour l'organisation. Les paragraphes
subséquents détaillent la démarche réalisée. Un tableau comprenant l'échéancier et les étapes
d'origine et réalisées complète cette section .

15
Prendre connaissance des documents existants
La prise en compte des documents existants a été commencée lors des périodes creuses du
projet de glossaire. Plusieurs documents traitant de la question étaient facilement accessibles sur
Internet, notamment sur les sites d'organisations internationales comme la Banque mondiale, les
Nations Unies ou l'UNESCO. Après la lecture de l'ensemble des documents trouvés, l'ouvrage du
Secrétariat du Conseil du Trésor du Canada, de 2010, a servi d'ancrage important. En effet, le
document Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure
du rendement s'est avéré être un bon exemple du livrable attendu pour le Secrétariat du Conseil
du trésor du Québec.

Proposition du contenu
L'ouvrage du gouvernement canadien a servi de point de départ pour l'élaboration du guide sur le
cadre de suivi et d'évaluation autant pour la structure que pour le contenu. Des éléments tirés
d'autres ouvrages recueillis ont également été repris et introduits. Des rencontres avec la
responsable du stage ont permis d'éviter les éparpillements et maximiser le temps consacré à ce
livrable puisqu'il devrait être moindre que prévu.

Consultation à des fins de validation du contenu


La troisième étape est probablement celle qui a subi le plus de changements par rapport à la
démarche originale. Au préalable, il avait été décidé que le projet serait validé par un groupe
d'experts, de la même façon que le glossaire. Compte tenu du temps, mais également parce qu'il
était moins pertinent qu'une telle consultation soit menée, il a été décidé que pour le moment le
contenu serait validé seulement par la responsable du stage. Cette dernière avait déjà en tête
une vision du livrable pour avoir déjà travaillé sur le projet antérieurement. Alors, une fois une
première version du guide préparée, la responsable du stage en a validé le contenu .

Préparation de la version finale et son plan de communication


Les commentaires et précisions formulés par la responsable du stage ont été co~pilés . En
prenant en considération les propositions de corrections, une nouvelle version a été préparée.
Concernant le plan de communication du document, il a été décidé de le reporter, le dossier étant
moins prioritaire que d'autres. Alors, il n'a pas été décidé si le guide sur le cadre de suivi et
d'évaluation devrait finalement être rendu disponible sous forme de fiche ou non ou demeurer
sous la forme initialement envisagée d'un guide.

Remise du document
Malgré les modifications à la démarche, la stagiaire a pu remettre un livrable acceptable lors de
la dernière journée du stage. Le guide sur le cadre de suivi et d'évaluation a été préparé selon les
étapes entendues malgré qu'elles aient été écourtées. Comme il a été décidé en cours de

16
mandat que le plan de communication allait être préparé ultérieurement, le document remis n'est
pas final. Le document tel que remis à la fin du stage peut être lu à l'annexe VIl . Cependant, la
stagiaire sera quand même capable de compléter le projet puisque cette dernière a été engagée
par l'organisation et que ce livrable fait maintenant partie de ses mandats.

Écarts entre la démarche proposée et la démarche réalisée


Le tableau ci-dessous montre les écarts en termes de temps consacrés à chacune des étapes de
réalisation du cadre de suivi et d'évaluation. Une explication des écarts est présentée à la suite
du tableau.

Étapes pour le cadre de Démarche originale Démarche réalisée


suivi et d'évaluation

1. Prendre connaissance Du 20 février au 2 mars Du 5 mars au 9 mars


des documents
existants

2. Élaboration du contenu Du 5 mars au 16 mars · Du 12 mars au 23 mars

3. Validation du contenu Du 19 mars au 30 mars Du 2 avril au 5 avril

4. Préparation de la Du 2 avril au 18 avril Du 2 avril au 5 avril


version finale et son
plan de communication

Remise du document 20 avril2012 20 avril2012

1. La première étape a été menée en une semaine au lieu des deux semaines prévues à
l'origine. Cette différence s'explique par le peu de documents existants, mais aussi parce
que cette étape a été entreprise environ deux mois après l'arrivée de la stagiaire qui était
alors plus à l'aise pour rechercher rapidement les documents nécessaires. De plus, au
départ il était prévu que cette étape commence vers le 20 février. Cependant, c'est plutôt
vers le 5 mars que cette étape a pu être traversée puisqu'à ce moment, la stagiaire était
en attente de la relecture du glossaire.

2. La deuxième étape a été réalisée en parallèle d'une étape du glossaire qui nécessitait
des temps d'attente de la part de la stagiaire. L'élaboration du contenu a nécessité deux
semaines, comme prévu, mais a été faite en même temps que d'autres tâches reliées au
glossaire.

17
3. La troisième étape a pu être finalisée en une semaine au lieu des deux prévues
puisqu'elle n'a nécessité que quelques rencontres entre la responsable du stage et la
stagiaire.

4. Le contenu du livrable étant nettement inférieur moins volumineux que celui du glossaire.
Les commentaires de la responsable du stage ont pu être pris en compte plus
rapidement. Une semaine a suffi pour convenir de la dernière version du document.

18
Contribution à d'autres projets
En plus des deux livrables formellement identifié au mandat confié, la stagiaire s'est engagé à
mettre son expertise à la disposition de divers projets et activités en lien avec l'évaluation de
programme notamment le projet d'enquête sur le fonctioni devant servir à la préparation d'un
portrait couvrant les organisations assujetties à la Loi et également au projet de nouvelles
orientations ou de directive en évaluation de programme. La stagiaire a pu contribuer à certains
projets prioritaires de la direction et aux diverses rencontres de la direction qui traitaient de
l'ensemble des dossiers.

Un projet en particulier a fort intéressé la stagiaire : le Portrait sur la fonction d'évaluation au


gouvernement du Québec. Étant donné que la responsable du stage avait ce dossier important à
mettre de l'avant en plus de plusieurs autres dossiers, la stagiaire s'est proposée pour aider. Afin
d'établir un portrait véritable de la fonction, un questionnaire avait été transmis en janvier 2012 à
l'ensemble des ministères et organismes assujettis à la Loi sur l'administration publique sur la
fonction d'évaluation. L'ensemble des organisations a été sollicité afin de remplir le questionnaire.
La stagiaire a pu, une fois la collecte d'information terminée, compiler les réponses dans un
fichier Excel. Plusieurs jours ont été consacrés à compiler les réponses. Un suivi des répondants
a également été effectué ainsi qu'une vérification de la conformité des réponses reçues par la
stagiaire.

19
Conseils et leçons apprises

Intégrer une nouvelle organisation implique nécessairement une période d'adaptation. Un stage
de quatre mois, bien que défini dans le temps, nécessite que cette adaptation soit assez rapide .
pour mener à bien le mandat pour lequel le stagiaire s'est engagé. En tant qu'étudiante de l'École
nationale d'administration publique:. la stagiaire a la chance d'être reconnue pour sa formation
académique. Cependant, il n'en demeure qu'à cette dernière d'apprendre les rouages de
l'organisation ainsi que l'attitude à adopter pour en sortir avec des acquis intéressants. En ce
sens, de façon concise seront présentés quelques conseils et leçons apprises auxquels pourront
. se référer les futurs stagiaires.

• Prévoyez du temps pour faire relire chacun des textes, documents et même courriels par
votre responsable de stage, gagner en confiance et éviter des erreurs. Cette étape est
essentielle pour bien comprendre les méthodes de travail de l'organisation.

• Tirez profit des forces des collègues en les questionnant sur leur expérience, sur leurs
dossiers et leurs méthodes. L'expérience acquise de vos collègues ne se consulte pas dans
les documents de références et vaut beaucoup.

• Partagez des moments avec des collègues dans des situations en dehors du travail afin de
favoriser une familiarisation plus rapide des enjeux de l'organisation. Les dîners, pauses,
marches à l'extérieur et cafés facilitent la compréhension des intérêts de chacun et permet
une intégration rapide au sein de l'équipe.

• Posez des questions au responsable du stage afin de devenir autonome dans la livraison du
mandat. Ce dernier s'est montré disponible pour accueillir un stagiaire alors il l'est tout autant
pour l'accompagner dans sa réussite.

• Offrez de l'aide au responsable du stage sur ses dossiers et aux autres collègues qui
semblent en avoir besoin. Travailler avec les autres permet de comprendre ce que chacun
d'eux a à faire et l'aide peut être bien appréciée.

• Suivez les règles qui encadrent les collègues de votre équipe afin de vivre l'expérience de
travail de façon conforme à la réalité. Les détails comme l'horaire de travail, les vacances ou
encore les moments de dîner ou de pause varient d'une organisation à l'autre et les
stagiaires n'ont pas les mêmes règles à suivre, mais ils gagnent à s'y conformer.

20
• Choisissez les mots justes dans toutes communications écrites et faites une correction
appropriée avant tout envoi. Il est important d'avoir un français impeccable dans toutes les
communications écrites, même lors de l'éc'riture de courriel.

• Demeurez réaliste quant aux livrables et aux activités à entreprendre pour mener à bien ce
sur quoi on s'engage afin de demeurer crédible en plus de ne pas manquer de temps pour
réussir. Mieux vaut un livrable bien réalisé et conforme aux attentes que deux ou trois qui
auraient souffert en termes de qualité et d'approfondissement.

• Adoptez des approches méthodiques tout au long des recherches afin de garantir
l'uniformité, mais également faciliter la mise en forme finale des références, des documents
de travail, des styles, etc. La rigueur de travail tout au long permet d'éviter les écarts en plus
d'être organisé et prêt à répondre à toute question sur ses dossiers.

• Prenez des notes de la démarche réalisée tout au cours du stage. Ces notes sont utiles une
fois rendue à l'écriture du rapport de stage pour expliquer les écarts entre la démarche
prévue et la démarche réalisée.

• Faites confiance à votre responsable de stage et à votre professeur responsable et apprenez


d'eux. Il faut considérer leurs remarques comme un apprentissage et non pas la correction
d'un travail scolaire; s'ils prennent le temps de corriger, c'est pour le bien du livrable et du
stagiaire.

21
Conclusion
--------- ----- ----------------- - - -.-
Un stage réalisé à la fin d'un cursus universitaire est l'occasion unique de lier les enseignements
académiques et le milieu du travail. De la sorte, il importe de s'investir tout au long du processus,
dans la recherche du stage désirée et l'accomplissement du mandat confié. L'aboutissement du
cheminement est porteur d'une carrière prometteuse, Afin de conclure ce rapport de stage, le
premier volet présentera une rétroaction générale sur l'expérience vécue et le deuxième axera
sur le soutien en matière des meilleures pratiques de gestion dans l'appareil gouvernemental
québécois.

Un stage d'une durée assez longue, comme dans le cas présent de quinze semaines, permet de
faire les différents liens entre les différents apprentissages faits au long du cheminement
universitaire avec le marché du travail. Dans le cas qui nous concerne, les cours de politique
publique du baccalauréat ont permis une familiarisation rapide avec la manière dont sont gérés
les portefeuilles gouvernementaux, en plus de comprendre l'importance et la façon dont les
organismes centraux, dont le Secrétariat du Conseil du trésor, sont utiles à l'appareil
gouvernemental. Les enseignements de la maîtrise en administration publique ont été utiles à
plusieurs égards notamment pour tout ce qui a trait à la gestion axée sur les résultats et les outils
de ·gestion comme les tableaux de bord ou la gestion de projets. De plus, les enseignements du
profil approfondi par la stagiaire, l'évaluation de programme, ont servi de base aux livrables du
mandat autant avec les cours que dans l'encadrement reçus.

Le stage s'est déroulé selon une approche accordant beaucoup d'autonomie à la stagiaire, mais
avec un encadrement ponctuel. Cette façon de travailler permettait à la stagiaire de se sentir
professionnelle et à la hauteur de ses collègues mais aussi appuyée dans ses questionnements
et besoins. Le déroulement général de l'activité a permis une intégration progressive de
l'ensemble des dossiers travaillés au sein de la DMOLAP par la stagiaire puisqu'elle était invitée
à participer à toutes les réunions de l'équipe et évènements organisés. Ainsi, la stagiaire a pu
travailler sur ses dossiers, mais également contribuer aux autres dossiers. Le travail d'équipe
étant souvent de mise dans cette organisation, chacun apprend des forces des autres, en
continu, dans plusieurs projets. Cette dynamique de collaboration fait en sorte que toute nouvelle
personne peut contribuer à la hauteur de ses moyens.

L'organisation hôte de la stagiaire, le Secrétariat du Conseil du trésor par l'entremise de la


DMOLAP a été particulièrement accueillante. Par les méthodes de travail d'équipe évoquées ci-
haut, mais surtout par les traitements accordés par l'équipe à tout nouvel employé, cette
organisation se. démarque comme employeur de choix.

22
Le mandat de stage qui a été proposé était de contribuer à apporter du soutien en matière des
meilleures pratiques de gestion. En ce sens, La DMOLAP préconise une approche d'écoute,
d'appui, de communication, d'orientation et de coconstruction afin de soutenir les ministères et
organismes en matière de gestion axée sur les résultats. Un glossaire comprenant des termes
d'évaluation et mesure du rendement en plus des termes de gestion axée sur les résultats servira
d'outil à l'ensemble des ministères et organismes. Le guide sur le cadre de suivi et d'évaluation
servira également à toute organisation prévoyant l'implantation de nouveaux programmes.
Cependant, plusieurs autres outils, guides ou encore formations demeurent des projets ciblés par
la DMOLAP visant à faciliter l'application de la Loi sur l'administration publique par les ministères
et organismes. Pour ces raisons, la stagiaire s'est vue ravie de pouvoir continuer à contribuer au
développement du coffre à outils des organisations de l'Administration gouvernementale en
demeurant à l'emploi de l'organisation.

23
Références utilisées pour le glossaire

ACE (2012). Évaluation des besoins, énoncé de projet et devis [en ligne], Réseau du savoir
électoral, http://aceproject.org/main/francais/etletd01 b01 .htm (Page consultée le 14 février
2012) .

ALNAP (n.d .). Meta-evaluation [en ligne], ALNAP Review of Humanitarian Action in 2003 -
Chapter 4, http://www.alnap.org/poollfiles/FCh401 bp.pdf (Document consulté le 27 février
2012).

ARBOUR, Ghislain (201 0). Principes, processus et méthodes d'évaluation des programmes
publics (Notes de cours ENP7132), Basé sur le matériel de Richard Marceau, École nationale
d'administration publique, Québec, Québec.

BANNON, Yves, Diane CHAREST, Alice DIGNARD, Guy GIGUÈRE, Serge HAMEL et André VIEL (2009).
Manuel du responsable en évaluation de programme [en ligne], Groupe des responsables en
analyse et en évaluation de programme (GRAEP), http://graep .org/doc publigue/Manuei-
GRAEP .pdf (Page consultée le 12 janvier 2012).

BANQUE AFRICAINE DE DÉVELOPPEMENT (n/d). Glossaire des principaux· termes relatifs à


l'évaluation et la gestion axée sur /es résultats [en ligne],
http :1/www.afd b.orglfi 1ead mi n/u p loads/afd b/Docu ments/Eval uation-Reports/30 716 335-FR-
GLOSSARY-ET-ARAB28-02-08-FINAL2.PDF (Document consulté le 12 janvier 2012) .

BROUSSELLE, Astrid , François CHAMPAGNE, André-Pierre CONTANDRIOPOULOS et Zulmira HARTZ


(2009). L'évaluation : concepts et méthodes, Les Presses de l'Université de Montréal,
Québec, 300 p.

BUREAU DE L'ÉVALUATION (2002) . Guide du suivi et de l'évaluation axés sur les résultats [en ligne],
Programme des Nations Unies pour le développement,
http://Www.und p.org/evaluation/docu ments/Han d Boo kiF rench/F r-M&E-Handbook.pdf
(Document consulté le 12 janvier 2012).

BUSINESS DICTIONARY (2012) . Empowerment [en ligne],


http://www.businessdictionary.com/definition/empowerment.html (Page consultée le 24 février
2012).

BUSINESS DICTIONARY (2012). Impact [en ligne],


http://www.businessdictionary.com/definitionlimpact.html (Page consultée le 24 février 2012).

BUSINESS DICTIONARY (2012). Performance [en ligne],


http://www.businessdictionary.com/definition/performance.html (Page consultée le 29 février
2012) .

24
BUSINESS DICTIONARY (2012) . Plan [en ligne],
http://www.businessdictionary.com/defin ition/plan .html (Page consultée le 27 février 2012).

BUSINESS DICTIONARY (2012) . Qualitative [en ligne],


http://www.businessdictionary.com/defi nition/gualitative.html (Page consultée le 27 février
2012).

BUSINESS DICTIONARY (2012) . Quantitative [en ligne],


http://www.businessdictionary.com/definition/quantitative.html (Page consultée le 27 février
2012).

BUSINESS DICTIONARY (2012). Standards [en ligne],


http://www.businessdictionary.com/definition/standards.html (Page consultée le 29 février
2012).

CAVELIER, Bernadette, Antoine DU BUYSSON, Claude FANDRE, Richard RÉQUÉNA, Michael RULETA
et Daniel VOIZOT (2007). Guide de l'évaluation 2007 [en ligne], Direction générale de la
coopération internationale et du développement, Ministères des affaires étrangères,
http://www.oecd .org/dataoecd/36/45/38399219.pdf (Document consulté le 27 février 2012).

CENTRE DE COLLABORATION NATIONALE SUR LES POLITIQUES PUBLIQUES ET LA SANTÉ (2010) .


Évaluation économique [en ligne], Institut national de santé publique du Québec,
http://www.ccnpps.ca/15/evaluation economigue.ccnpps (Page consultée le 24 février 2012) .

CENTRE DE RECHERCHE ET D'EXPERTISE EN ÉVALUATION ET L'OBSERVATOIRE DE L'ADMINISTRATION


PUBLIQUE (2011 ). Évaluation de la performance des programmes du secteur public québécois
- Conception et caractéristiques de l'outil d'évaluation, Document remis au Secrétariat du
Conseil du trésor lors d'Ateliers préparatoires à l'École nationale d'administration publique,
Québec, Québec, 106 p.

CHARITIES EVALUATION SERVICES (n/d). Glossary [en ligne], http://www.ces-


vol.org.uklindex.cfm?pg=66 (Page consultée le 12 janvier 2012).

CONSEIL DES MINISTRES DE L'ÉDUCATION (CANADA) (n .d.). Une éducation qui favorise la viabilité -
La situation de l'éducation en matière de développement durable au Canada [en ligne],
http://www.cmec.ca/Publ ications/Lists/Publications/Attachments/9/environment.fr.pdf
(Document consulté le 6 mars 2012) .

DENDIEN, Jacques (n/d). Le Trésor de la Langue Française Informatisé [en ligne], Université de
Lorraine, http://atilf.atilf.fr/ (Page consultée le 12 janvier 2012) .

DÉVELOPPEMENT DES RESSOURCES HUMAINES DU CANADA (2002) . Évaluation de programme,


transparence et responsabilité axée sur les résultats au sein du gouvernement fédéral [en
ligne], Présentation au Dixième colloque annuel de la Société québécoise d'évaluation de

25
programme, http://www.sqep.ca/archives/presentations/Biain ,%20J im colvpe02.pdf
(Document consulté le 12 janvier 2012).

DIVISION OF WORKPLACE PROGRAMS (2006). Research and Evaluation Glossary [en ligne],
Substance Abuse & Mental Health Services Administration USA,
http://workplace.samhsa.gov/Prevention/Pages/Giossary/Research Evaluation Glossary.pdf
(Document consulté le 12 janvier 2012).

DuRHAM, Joanne (2008) . Evaluability Assessment [en ligne], Australasian Evaluation Society,
http://www.aes.asn.au/regions/qld/2008/AES%201unchtime%20seminar%2018Nov08%20-
. %20slides.pdf (Document consulté le 22 février 2012).

EDUBOURSE (2010) . Performance absolue [en ligne],


http://www.edubourse.com/lexique/performance-absolue.php (Page consultée le 6 mars
2012).

EDUMÉTRIE : QUALITÉ DE LA MESURE EN ÉDUCATION (2011) . Institut de recherche et de


documentation pédagogique Fidélité [en ligne],
http://www.irdp.ch/edumetrie!lexiquelfidelite.htm (Page consultée le 24 février 2012).

EURÉVAL (201 0) . L'analyse coût-efficacité [en ligne], Centre Européen d'Expertise et d'Évaluation,
http://www.eureval.fr/IMG/File/FT ACE.pdf (Document consulté le 14 février 2012) .

EUROPA (2005). Analyse coût-efficacité [en ligne],


http://ec.europa.eu/europeaid/evaluation/methodology/tools/too cef def fr.htm (Page
consultée le 14 février 2012).

EVALUATION TECHNICAL WORKING GROUP OF THE JOINT UNITED NATIONS PROGRAMME ON HIV/AIDS
(UNAIDS) MONITORING AND EVALUATION REFERENCE GROUP (2008). Monitoring and Evaluation
Terminology Glossary [en ligne],
http://www.globalhivmeinfo.org/Pages/Giossary.aspx?Paged=TRUE&p Title=Population%2db
ased%20surveys&p ID=53&View=% 7bBD952589%2d DE08%2d4F28%2dBE58%2dAA 17FE
BEB67D%7d&PageFirstRow=51 (Page consultée le 12 janvier 2012).

EVALUATIONWIKI (2012). Cluster evaluation [en ligne],


http://evaluationwiki.org/index.php?title=Ciuster Evaluation (Page consultée le 24 février
2012).

FLORIO, Massimo (Dir) (2003). Guide de l'analyse coûts-avantages des projets d'investissement
[en ligne], Unité chargée de l'évaluation, DG Politique régionale, Commission européenne,
http://ec.europa.eu/regional policy/sources/docgener/guides/cost/guide02 fr.pdf (Document
consulté le 14 février 2012).

26
FONDATION CANADIENNE AXÉE SUR LA RECHERCHE ET L'ÉDUCATION (1996). Lexique de la CCAF-
FCVI : Un glossaire des termes reliés à la gouverne, à la reddition de comptes et à la
vérification intégrée, tels qu'utilisés par la FCVI [en ligne], http://www.ccaf-
fcvi .com/index.php?option=com content&view=article&id=253&catid=87&1temid=99&1ang=fr
(Document consulté le 12 janvier 2012).

GAUDREAU , Louise et Nicole LACELLE (1999). Manuel d'évaluation participative et négociée -


S'approcher de l'évaluation [en ligne], Université du Québec à Montréal,
http://www.er.uqam.ca/nobel/arpeoc/site%20arpeoc/Texts/cahier1/cahier1 acrobat4.pdf
(Document consulté le 14 février 2012).

GAUTHIER, Benoit (2003). Recherche sociale: de la problématique à la col/eçte des données,


Presses de l'Université du Québec, Québec, 619 p.

GERTLER, Paul J., Sebastian MARTINEZ, Patrick PREMAND, Laura B. RAWLINGS and Christel M. J.
VERMEERSCH (2011 ). Impact Evaluation in Practice [en ligne], The World Bank,
http:/lsiteresources .worldbank.org/EXTHDOFFICE/Resources/5485726-
1295455628620/lmpact Evaluation in Practice.pdf (Document consulté le 23 février 2012).

GouvERNEMENT DE L'ONTARIO (2006). Création d'un plan d'évaluation des résultats [en ligne],
http://www.reddi.gov.on.ca/track planassessoutcomes f.htm (Page consultée le 27 février
2012) .

GouvERNEMENT DU QUÉBEC (2012). Loi sur le vérificateur général [en ligne], Éditeur officiel du
Québec,
http://www2.publicationsduguebec.gouv.qc.ca/dynamicSearch/telecharge.php?type=2&file=N
5 01N5 01 .html (Page consultée le 14 février 2012).

INDEPENDENT GROUP EVALUATION (2007) . Impact Evaluation [en ligne], The World Bank Group,
http://www.worldbank.org/ieg/ie/ (Page consultée le 23 février 2012) .

INFORMATION SERVICES AND TECHNOLOGY (2006). Evaluation Termina/ogy [en ligne], Berkeley -
University of California, http://socrates.berkeley.edu/-pbd/pdfs/Evaluation Terminology.pdf
(Document consulté le 12 janvier 2012).

INSPQ (2008). Petit guide d'évaluation participative à l'intention des initiatives de développement
des communautés [en ligne], http://www.rechercheparticipative.org/familiariser 04.html (Page
consultée le 24 février 2012) .

INSTITUTE FOR LAW AND JUSTICE (1997) . Impact Evaluation [en ligne], U.S. Department of Justice,
http://www.ojp.usdoj.gov/BJA/evaluation/guide/documentslimpact eval gangs.htm (Page
consultée le 23 février 2012) .

27
INTERNATIONAL INITIATIVE FOR IMPACT EVALUATION (2009). Impact Evaluation Glossary [en ligne],
New Delhi, lndia, http://www.3ieimpact.org/userfiles/doc/lmpact Evaluation Glossarv-1.pdf
(Document consulté le 12 janvier 2012) .

JACOB, Steve, Laurence OUVRARD et Jean-François BÉLANGER (2010). L'évaluation participative


en action : Le projet d'évaluation des pratiques du Centre jeunesse de Québec-Institut
universitaire [en ligne], Perfeval,
http://www.pol.ulaval.ca/Perfeval/upload/2010 cahiers perfeval 2 cjq . 05022010 154704.p
df (Document consulté le 24 février 2012).

LAHEY, Robert (201 0) . The Canadian M&E System: Lessons learned form 30 Years of
Development [en ligne], The World Bank Group (lndependent Evaluation Group),
http://siteresources.worldbank.org/INTEVACAPDEV/Resources/ecd wp 23 .pdf (Document
consulté le 12 janvier 2012).

LAPOINTE-GIGUÈRE , Micheline et Yolande PERRON (2004) . Vocabulaire de la prestation de


services, Bibliothèque nationale du Québec, Gouvernement du Québec, 120 p.

LAROCHELLE, Caroline et Richard MARCEAU (2008). Résultats, efficacité et efficience : ambiguïté


de la gestion axée sur les résultats et essai de clarification conceptuelle [en ligne],
Présentation au Quatorzième colloque annuel de la Société québécoise d'évaluation de
programme, http://www.sgep.ca/archives/presentations/Larochellec colsgep06.pdf (Document
consulté le 12 janvier 2012 .

LAVEAULT, Dany (1997) . Planification d'un devis expérimental de recherche [en ligne], Notes du
cours EDU 5590 : Introduction à la recherche, Université d'Ottawa/University of Ottawa,
http://www.courseweb.uottawa.ca/EDU5590/text8.htm (Document consulté le 14 février 2012) .

LES DÉFINITIONS (2011) . Définition de viabilité [en ligne], http://lesdefinitions.fr/viabilite (Page


consultée le 6 mars 2012).

MA MICRO-ENTREPRISE (2012) . Calcul d'un coOt de revient pour fixer un prix de vente [en ligne],
http://mamicroentreprise.free.fr/article .php3?id article=? (Page consultée le 14 février 2012).

MARK, Katharine et John R. PFEIFFER (2011 ). Monitoring and Evaluation in the United States
Government [en ligne], The World Bank Group (lndependent Evaluation Group),
http://siteresources.worldbank.org/EXTEVACAPDEV/Resources/ecd wp 26 US Gov.pdf
(Document consulté le 12 janvier 2012) .

MAZouz, Bachir et Jean LECLERC (2008). La gestion intégrée par résultats, Presses de
l'Université du Québec, Québec, 440 p.

MEHIRIZ, Kaddour, Marie PAUMIER et Richard MARCEAU (2009) . Cadre d'analyse et méthodologie
d'évaluation des programmes de recherche en sciences sociales [en ligne], Présentation au

28
Dix-septième colloque annuel de la Société québécoise d'évaluation de programme,
http://www.sgep.ca/archives/presentations/Presentation%20Mehiriz.pdf (Document consulté le
12 janvier 2012).

MEUNIER, Valérie et Ëric MARDSEN (2009) . L'analyse coût-bénéfices- Guide méthodologique [en
ligne], Les cahiers de la sécurité industrielle, http://www.icsi-
eu.org/francais/dev cs/cahiers/CSI-ACB-guide-methodologique.pdf (Document consulté le 14
février 2012).

MONITORING & EVALUATION REFERENCE GROUP (201 0). Glossary - Monitoring and Evaluation
Terms [en ligne], Joint United Nations Programme on HIV/AIDS,
http://www.unaids.org/en/media/unaids/contentassets/documents/document/2010/11 ME Glo
ssary FinaiWorkingDraft.pdf (Document consulté le 12 janvier 2012).

OCDE (2002). Glossaire des principaux termes relatifs à .l'évaluation et la gestion axe sur les
résultats [en ligne], http://www.oecd.org/dataoecd/29/21/2754804.pdf (Document consulté le
12 janvier 2012) .

OFFICE FÉDÉRAL DE LA SANTÉ PUBLIQUE (2005) . Glossaire de termes d'évaluation [en ligne], Berne,
Confédération Suisse, http://www.bag.admin .ch/evaluation/02357/02603/index.html?lang=fr
(Document consulté le 12 janvier 2012) .

OFFICE OF DEVELOPMENT EFFECTIVENESS (2006). Impact Evaluation (en ligne], Australian


Government, http://dochas.ie/Shared/Files/4/impact evaluation .pdf (Document consulté le 23
février 2012).

OFFICE OF ENVIRONMENT HERITAGE (2011) . Glossary of evaluation terms (en ligne], New South
Wales Government, http://www.environment. nsw .gov.au/4cmas/evalglossary.htm (Page
consultée le 12 janvier 2012).

OFFICE OF INTERNAL 0VERSIGHT SERVICES (2006) . Glossary of Monitoring and Evaluation Terms
[en ligne], United Nations, http://www.un .org/Depts/oios/mecd/mecd glossary/index.htm
(Page consultée le 12 janvier 2012).

OFFICE OF JUVENILE JUSTICE AND DELINQUENCY PREVENTION (2003) . Evaluability Assessment :


Examining the Readiness of a Program For Evaluation [en ligne], Ëtats-Unis,
http:/lwww.jrsa.org/pubs/juv-justice/evaluability-assessment.pdf (document consulté le 21
février 2012).

PLANNING AND PERFORMANCE MANAGEMENT UNIT (2009). Glossary of Evaluation Terms (en ligne],
Office of the Director of U.S. Foreign Assistance, United States Government,
http://pdf.usaid.gov/pdf docs/PNAD0820.pdf (Document consulté le 12 janvier 2012) .

29
POINT K LEARNING CENTER (2005). Glossary : Nonprofit Planning & Evaluation [en ligne],
1nnovation Network, inc., http://www. in no net. org/client docs/File/g lossarv apr2005.pdf
(Document consulté le 12 janvier 2012).

PROGRAM DEVELOPMENT AND EVALUATION (2008) . Evaluation Glossary [en ligne], University of
Wisconsin-Extension, http://4h.uwex.ed u/evaluation/documents/glossary. pdf (Document
consulté le 12 janvier 2012) .

REY-DEBOVE, Josette et Alain REY (Dirs) (1993). Le nouveau Petit Robert, Dictionnaires Le
Robert, Paris, France, 2841 p.

RIDDE, Valéry et Christian DAGENAIS (2009). Approches et pratiques en évaluation de programme,


Les Presses de l'Université de Montréal, Québec, 358 p.

SANDERS, James (1998). Cluster evaluation [en ligne], Harvard Family Research Project,
http ://www. hfrp.org/eval uation/the-eval uation-exchange/issue-arch ive/eval uation-i n-the-21 st-
centurv/cluster-evaluation (Page consultée le 24 février 2012).

SECRÉTARIAT DU CoNSEIL DU TRÉSOR (2002). Guide sur la gestion axée sur les résultats [en ligne],
Gouvernement du Québec,
http://www. tresor. go uv .ge.ca/filead min/PDF/publications/guide gest-axee-resultat 02. pdf
(Document consulté le 12 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002). L'évaluation de programme- Document destiné aux


dirigeants et dirigeantes de ministères et d'organismes [en ligne], Gouvernement du Québec,
http://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/eval-progr 02.pdf (Document
consulté le 12janvier2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR (2004). Le processus budgétaire au gouvernement du


Québec Budget de dépenses [en ligne], Gouvernement du Québec,
http://www.tresor.gouv.qc.ca/fileadmin/PDF/budget depenses/process budget.pdf (Document
consulté le 12 janvier 2012) .

SECRÉTARIAT DU CONSEIL DU TRÉSOR (2009). Mise en place et consolidation de la fonction de


vérification interne dans les ministères et organismes - Guide, Bibliothèque et Archives
nationales du Québec, Gouvernement du Québec, 36 p.

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (1998). Méthodes d'évaluation des programmes


- Mesure et attribution des résultats des programmes [en ligne], Gouvernement du Canada,
http://www.tbs-sct.gc.ca/cee/pubs/meth/pem-mep-fra.pdf (Document consulté le 12 janvier
2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2004). Ëtude de la fonction d'évaluation au sein


du gouvernement fédéra - Préparé par le Centre d'excellence en évaluation [en ligne],

30
Gouvernement du Canada, http://www.tbs-sct.gc.ca/cee/stud-etud/func-fonc-fra.pdf (Page
consultée le 10 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2006). ~valuations fondées sur le CRG :


Agence canadienne d'inspection des aliments [en ligne], Gouvernement du Canada,
http://www.tbs-sct.gc.ca/maf-crg/assessments-evaluations/2006/icalica-fra.asp (Page
consultée le 22 février 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2006). Plan d'action sur l'imputabilité fédérale,
avril 2006 [en ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/faa-lfi/docs/ap-
pa/ap-papr-fra.asp?format=print (Page consultée le 6 mars 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2009) . Directive sur la fonction d'évaluation [en
ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/pol/doc-
fra.aspx?id= 15681 &section=text (Page consultée le 10 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2009). Normes d'évaluation pour le


gouvernement du Canada [en ligne], Gouvernement du Canada, http://www.tbs-
sct.gc.ca/polldoc-fra.aspx?id=15688&section=text (Page consultée le 10 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2009). Politique sur l'évaluation [en ligne],
Gouvernement du Canada, http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15024&section=text
(Page consultée le 14 février 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2010). Cadre stratégique de gestion du risque


[en ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/pol/doc-
fra.aspx?id=19422&section=text#appappA (Page consultée le 6 mars 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2010). Guide pour l'élaboration d'un plan
ministériel d'évaluation axé sur le risque [en ligne], Gouvernement du Canada, http://www.tbs-
sct.gc.ca/cee/pubs/guide/rbdep-pmear-fra.asp (Page consultée le 27 février 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0) . Étude de la fonction d'évaluation au sein


du gouvernement fédéral [en ligne], Gouvernement du Canada, http://www.tbs-
sct.gc.ca/cee/stud-etud/func-fonc02-fra.asp (Page consultée le 12 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0) . Fiche d'information - nouvelle Politique


sur l'évaluation [en ligne], Gouvernement du Canada, http://www.tbs-sct.gc.ca/cee/fact-fiche-
fra.asp (Page consultée le 10 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2010) . L'expérience fédérale en évaluation [en


ligne], Présentation au Dix-huitième colloque annuel de la Société québécoise d'évaluation de
programme, Gouvernement du Canada,

31
http://www.sqep.ca/archives/presentations/Routhieranne.pdf (Document consulté le 12 janvier
2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0) . Lexique de la gestion axée sur /es
résultats [en ligne]. Gouvernement du Canada, http://www.tbs-sct.gc.ca/cee/pubs/lex-fra.asp
(Page consultée le 12 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0). Pour soutenir des évaluations efficaces :
Guide d'élaboration de stratégies de mesure de rendement [en ligne], Gouvernement du
Canada, http://www.tbs-sct.gc.ca/cee/dpms-esmr/dpms-esmrtb-fra.asp (Document consulté le
12 janvier 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0) .. Principes pour l'évaluation des


programmes par les ministères et organismes fédéraux [en ligne], Gouvernement du Canada,
http://www. tbs-sct.gc. ca/cee/pubs/principles~principes1984-fra.asp#p4 (Page consultée le 10
janvier 2012).

SÉCURITÉ PUBLIQUE ET PROTECTION CIVILE CANADA (n.d.) Évaluation des projets de prévention du
crime par le développement social: Manuel pour les organismes communautaires [en ligne],
Gouvernement du Canada, http://bpiepc-ocipep.gc.ca/prg/cp/ fi/Evaluation handbook-F .pdf
(Document consulté le 2 février 2012).

SIMARD, Sonia (2010) . L'évaluation au service des organisations publiques et du citoyen -


Évaluer en temps de crise [en ligne], Présentation à l'occasion du Colloque de la Société
québécoise d'évaluation de programme,
http://www.sqep.ca/archives/presentations/Simards colsqep1 O.pdf (Document consulté le 12
janvier 2012).

SIMARD, Sylvain (2010) . La Commis~ion de l'administration publique et la contribution de


l'évaluation de programme [en ligne], Présentation au Dix-huitième colloque annuel de la·
Société québécoise d'évaluation de programme,
http://www.sqep.ca/archives/presentations/Presentation%20Simard .pdf (Document consulté le
12 janvier 2012).

SOCIAL RESEARCH METHODS (2006) . Introduction to Evaluation [en ligne], Web Center for Social
Research Methods, http://www.socialresearchmethods.net/kb/intreval.php (Page consultée le
22 février 2012).

SOCIÉTÉ CANADIENNE D'ÉVALUATION (2012). Normes d'évaluation des programmes [en ligne],
http://www.evaluationcanada.ca/site.cgi?s=D& lang=fr (Page consultée le 12 janvier 2012).

STODDARD, Dr. Abby, Adele HARMER, Katherine HAVER, Dr. Dirk SALOMONS and Victoria WHEELER
(2007), Cluster Approach Evaluation [en ligne], OCHA Evaluation and Studies Section,

32
http://www.humanitarianoutcomes.org/pdf/CiusterApproachEvaluation .pdf (Document consulté
le 24 février 2012).

THE CLEARINGHOUSE ON ASSESSMENT AND EVALUATION [ERIC/AE) (2005). Meta-evaluation in


Educational Program Evaluation [en ligne), http://ericae.neUfags/meta-evaluation/meta-
evaluation .htm#Comment (Page consultée le 27 février 2012).

THE FREE DICTIONNARY (2012) . Achievment [en ligne),


http://www.thefreedictionarv.com/achievement (Page consultée le 29 février 2012)

THE FREE DICTIONNARY (2012) . Plan [en ligne], http://www.thefreedictionarv.com/plan (Page


consultée le 2 février 2012) .

THE FREE DICTIONNARY (2012) . Viable [en ligne], http://fr.thefreedictionary.com/viable (Page


consultée le 6 mars 2012).

TODD, Petra E. and Kenneth 1. WOLPIN (2006). Ex Ante Evaluation of Social Programs [en ligne],
University of Pennsylvania, http://papers.ssrn .com/sol3/papers.cfm?abstract id=931393
(Document consulté le 23 février 2012).

TREICH, Nicolas (2005). L'Analyse CoOt-Bénéfice de la Prévention des Risques [en ligne],
LERNA-INRA, Université de Toulouse, http://www2 .toulouse.inra.fr/lerna/treich/ACB03.pdf
(Document consulté le 14 février 2012).

GROUPE u.R.D. (n .d.) Manuel de la participation à l'usage des acteurs humanitaires pour une
meilleure implication des populations affectées par une crise dans la réponse humanitaire :
Chapitre 10 L'évaluation participative [en ligne),
http://www.urd .org/IMG/pdf/MP CHAPITRE1 O.pdf (Document consulté le 24 février 2012) .

UK EVALUATION SOCIETY (2008) . Glossary of Evaluation Terms [en ligne], United Kingdom
Government, http://www.evaluation .org .uklresources/glossary.aspx (Page consultée le 12
janvier 2012).

UNITED NATIONS POPULATION FUND DIVISION FOR 0VERSIGHT SERVICES (2004). Programme
Manager's Planning Monitoring & Evaluation Toolkit - Tool Number 1 : Glossary of Planning,
Monitoring & Evaluation Terms [en ligne] , United Nations Population Fund,
http://www.unfpa.org/monitoring/toolkiUglossary.pdf (Document consulté le 12 janvier 2012).

U.S. DEPARTMENT OF EDUCATION (2004). Evaluation Toolkit for Magnet School Program [en ligne] ,
United States Government, http://www.evaluationtoolkit.org/glossary (Page consultée le 12
janvier 2012).

U.S. DEPARTMENT OF ENERGY (2011 ). Energy Efficiency & Renewable Energy Program Evaluation
Glossary [en ligne], http ://www1 .eere.energy.gov/ba/pba/program evaluation/glossary.html
(Page consultée le 12 janvier 2012).

33
U.S. ENVIRONMENTAL PROTECTION AGENCY (2012). Program Evaluation Glossary [en ligne], United
States Government, http://www.epa.gov/evaluate/glossarv/all-esd.htm (Page consultée le 12
janvier 2012).

USAID (2011 ). USA ID Evaluation Po/icy [en ligne], Évaluation : Learning from Experience,
http://www.usaid.gov/evaluation/USAIDEvaluationPolicy.pdf (Document consulté le 14 février
2012).

WIKIPÉDIA (n.d). Cahier des charges [en ligne],


http://fr.wikipedia.org/wiki/Cahier des charges#Partie technique d.27un cahier des charge
§. (Page consultée le 14 février 2012).

WIKIPÉDIA (n.d). Coût d'opportunité [en ligne],


http://fr.wikipedia.org/wiki/Co%C3%BBt d%27opportunit%C3%A9 (Page consultée le 14
février 2012).

WIKIPÉDIA {n .d). Coût de revient [en ligne], http://fr.wikipedia.org/wiki/Co%C3%BBt de revient


(Page consultée le 14 février) .

WIKIPÉDIA (n.d). Gestion du risque [en ligne],


http://fr.wikipedia.org/wiki/Gestion du risgue#D.C3.A9finition du terme .C2 .AB risque .C2.
88 (Page consultée le 6 mars 2012).

WIKIPEDIA (n .d). Impact evaluation [en ligne],


http://en.wikipedia.org/wiki/lmpact evaluation#Definitions of Impact Evaluation (Page
consultée le 23 février 20 12).

34
Références utilisées pour le cadre de suivi et d'évaluation

BANQUE MONDIALE (2004) . Suivi & Ëva/uation: Quelques outils, méthodes et approches [en ligne],
Département de l'évaluation des opérations,
http:l/siteresources.worldbank.org/EXTEVACAPDEV/Resources/4585672-
1251481378590/french me.pdf (Document consulté le 19 mars 2012).

BUREAU DE L'ÉVALUATION (2002). Guide du suivi et de l'évaluation axés sur les résultats [en ligne],
Programme des Nations Unies pour le développement,
http://www.undp.org/evaluation/documents/HandBook/French/Fr-M&E-Handbook.pdf
(Document consulté le 13 février 2012) .

COUPAL, Françoise (2000). Suivi et Ëvaluation participatifs fondés sur les résultats [en ligne],
Mosaic.net 1nternational, 1ne., http://www.mosaic-net-intl.ca/docu ments/article-PM Efr.pdf
(Document consulté le 13 février 2012) .

ENVIRONNEMENT ET DÉVELOPPEMENT DANS LES RÉGIONS COTIÈRES ET LES PETITES iLES (n/d). Suivi et
évaluation [en ligne], Unesco, http://www.unesco.org/csi/pub/info/seacam5.htm#Suivi
(Document consulté le 13 février 2012) .

FONDS DE DÉVELOPPEMENT DES NATIONS UNIES POUR LA FEMME (2012). Points programmatiques
essentiels pour mettre fin à la violence à J'égard des femmes : Cadre de suivi et d'évaluation
[en ligne], ONU Femmes, http://www.endvawnow.org/fr/articles/335-cadres-de-suivi-et-
evaluation-.html (Document consulté le 13 février 2012) .

KUSEK, Jody Zall and Ray C. RIST (2004). Ten Steps to a Resu/ts-Based Monitoring and
Evaluation System [en ligne], Banque mondiale,
http://www.google.ca/url?sa=t&rct=j&g=monitoring+and+evaluation+framework&source=web&
cd=13&ved=OCDUQFjACOAo&url=http%3A%2F%2Fived .dpt.gov.tr%21=DocObjects%2FDown
load%2F9658%2F10 Steps to a Results Based M and E System.pdf&ei=OEZnT7uMI4Ln
rAfCvJhL&usg=AFQjCNHPWY8Vao2Hg7H8YWtD loeaZFneQ (Document consulté le 19
mars 2012).

MASITENG, Kefiloe (2004) . Monitoring and evaluation framework (Implications for Government) [en
ligne], Presented at the Senior Management Service Conference, The Presidency- Republic

35
of South Africa, http://www.thepresidency.qov.za/docs/pcsa/me/mef.pdf (Document consulté
le 19 mars 2012).

OMS (2009). Stratégie mondiale de l'OMS pour l'alimentation, l'exercice physique et la santé :
Cadre de suivi et d'évaluation de la mise en œuvre [en ligne], Bibliothèque de l'OMS,
http://www.who.int/dietphysicalactivity/M&E-French-2009.pdf (Document consulté le 13 février
2012) .

ONU FEMMES (2011 ). Cadres de Suivi et ~valuation [en ligne], Entité des Nations Unies pour
l'égalité des sexes et l'autonomisation des femmes, http://www.endvawnow.org/fr/articles/335-
cadres-de-suivi-et-evaluation-.html (Page consultée le 19 mars 2012).

PROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT (2009). Guide de la planification, du


suivi et de l'évaluation axés sur les résultats du développement [en ligne], Nations Unies,
http://www.undp.org/evaluation/handbooklfrench/docments/PME-Handbook Fr.pdf (Document
consulté le 13 février 2012).

SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (201 0). Pour soutenir des évaluations efficaces :
Guide d'élaboration de stratégies de mesure du rendement [en ligne], Gouvernement du
Canada, http://www.tbs-sct.gc.ca/cee/dpms-esmr/dpms-esmrtb-fra.asp (Document consulté le
13 février 2012) .

UK FACULTY OF PUBLIC HEALTH (n .d). Tool 014 Monitoring and evaluation: a framework [en ligne],
http://www.fph .orq.uk/uploads/HealthyWeight SectD Toolkit14.pdf Document consulté le 19
mars 2012).

36
Annexe 1- Organigramme

37
;:
.,3
il
"'a
i'J
Annexe Il - Offre de service

41
Offre de service
Martine Leblanc-Constant

Proposée à madame Sonia Simard et madame Claire Bard, Direction de la mise en œuvre
de la Loi sur l'administration publique, Secrétariat du Conseil du trésor

16 janvier 2012

43
Contexte

La Direction de la mise en œuvre de la Loi sur l'administration publique (DMOLAP) du

Secrétariat du Conseil du trésor du Québec est responsable de coordonner les travaux de

révision de la Loi sur l'administration publique sur une base périodique. Elle conçoit

également les instruments et les outils permettant ou favorisant son application dans les

ministères et les organismes qui y sont assujettis. Elle développe donc des orientations,

des politiques et des directives qui viennent en appui à la loi ainsi que différents guides

inspirés des meilleures pratiques en matière de gestion axée sur les résultats.

Parmi les sujets sur lesquels la DMOLAP offre son soutien se trouvent la mesure et le suivi

du rendement (ou de la performance) et l'évaluation de programme. Contrairement à la

Direction de la performance organisationnelle du Secrétariat, la DMOLAP ne réalise pas

d'évaluation ni de projets d'optimisation. Son rôle est de soutenir l'ensemble des

ministères et organismes dans leurs efforts d'amélioration de leur gestion. Ainsi, dans le

domaine de l'évaluation de programme, elle travaille à soutenir l'implantation d'une

fonction évalùation compétente et le plus possible indépendante qui soutienne

efficacement · la prise de décisions au sein des organisations, mais également du

gouvernement.

Sur sa planche de travail de la DMOLAP, pour l'hiver 2012, sont inscrits plusieurs grands

projets, dont la révision de la Loi sur l'administration publique et la finalisation d'un

nouveau plan stratégique. Plus spécifiquement liés à l'évaluation de programme se

trouvent:

• la réalisation d'un sondage sur la fonction d'évaluation;


• un projet de nouvelles orientations en évaluation de programme.

Des défis importants attendent donc l'équipe dans les mois qui viennent.

Objectifs

44
Le principal outil concernant l'évaluation de programme visant à soutenir les organisations

du gouvernement du Québec est le Guide sur l'évaluation de programme à l'intention des

dirigeantes et dirigeants d'organismes. Ce dernier a été élaboré concurremment aux

orientations relatives à la fonction d'évaluation de programme dans les ministères et

organismes en 2002.

Il existe donc un besoin criant d'outiller les organisations et les équipes d'évaluation qui

travaillent dans ce domaine pour accroître la prise en compte et l'utilité dans la prise de

décision des travaux d'évaluation menés dans les organisations.

Le mandat consiste donc à travailler au développement du coffre à outils du

coordonnateur de la fonction évaluation et des évaluateurs de programme. Les outils

mis à la disposition des personnes intéressées par l'évaluation permettront notamment

d'uniformiser la pratique et d'améliorer la qualité des produits d'évaluation aux plans de


1
leur objectivité, de leur pertinence, de leur réponse aux besoins d information et donc de

leur utilité.

Livrables

Forte de l'expertise acquise lors de ma formation académique et de mes expériences

professionnelles, je propose mes services pour produire les livrables attendus :

• un glossaire des termes courants en évaluation de programme;


• un guide sur l'élaboration de cadres de suivi et d'évaluation

Le glossaire sera préparé dans la perspective de doter les personnes intéressées à

l'évaluation de programme de définitions adaptées au contexte québécois. Annoté et

illustré, il permettra à ses utilisateurs une compréhension facile et rapide des termes.

Le guide sur les cadres de suivi et d'évaluation permettra aux évaluateurs et aux

gestionnaires de disposer d'un gabarit de ce document utile préalablement aux travaux de

collecte d'information. Il exposera les stratégies et méthodologies envisagées pour

répondre aux questions d'évaluation. Il indiquera les principales sources de

45
renseignements, les responsables de leur collecte et, pour les activités de suivi, le cas

échéant, la fréquence à laquelle les différents renseignements devront être colligés. Il

comprendra une présentation de l'initiative évaluée et de sa logique et outre les éléments

concernant l'évaluation future, des mesures de suivi du rendement qui renseigneront en

continu sur le déroulement de l'intervention et ses effets et prépareront le terrain pour

une évaluation de qualité.

Démarche proposée

Pour la préparation du glossaire annoté proposant des définitions des termes courants en

évaluation de programme adaptées au contexte de la pratique au Québec, la démarche

proposée est la suivante:

7. Prendre connaissance de ce qui a déjà été réalisé à la DMOLAP en termes de

définitions propres à l'évaluation de programme;

8. Intégrer différentes définitions déjà existantes au sein d'unité comparable comme

le gouvernement fédéral canadien ou de centre de recherche en la matière,

particulièrement le Centre de recherche et d'expertise en évaluation (CREXE);

9. Faire une recherche dans les banques de données sur les articles scientifiques

d'évaluation de programme spécifiquement aux États-Unis, en Grande-Bretagne et

au Canada concernant des définitions existantes sur les termes courants en

évaluation de programme;

10. Élab.orer un glossaire préliminaire comprenant différentes annotations sur les

sources et des explications sur les termes en prenant soin de s'assurer que les

définitions soient adaptées au contexte québécois;

11. À des fins de validation, solliciter les commentaires de différents groupes de

spécialistes du domaine de l'évaluation de programme;

12. Préparer la version finale du document en y intégrant les commentaires et

préoccupations transmis, un plan de communication du document ainsi que sa

mise en ligne.

46
Pour la préparation du guide sur l'élaboration des cadres de suivi et d'évaluation, la

démarche proposée est la suivante :

6. Prendre connaissance des documents existants, notamment des documents du

gouvernement fédéral canadien en lien avec le livrable;

7. Proposer une liste de cont~nus à couvrir;

8. Développer les contenus et le gabarit permettant d'organiser l'information de

manière simple et complète;

9. À des fins de validation, solliciter les commentaires de différents groupes de

spécialistes du domaine de l'évaluation de programme;

10. Préparer la version finale du document en y intégrant les commentaires et

préoccupations transmis, un plan de communication du document ainsi que sa

mise en ligne.

Autres contributions proposées

En plus de ces deux livrables, la mandataire s'engage à mettre son expertise à la

disposition de divers projets et activités en lien avec l'évaluation de programme

notamment le projet d'enquête et la préparation d'un portrait de la fonction d'évaluation

dans les organisations assujetties à la Loi et également au projet de nouvelles orientations

en évaluation de programme.

Échéanciers

Le mandat nécessitera quelque 525 heures, · soit 15 semaines à raison de 35 heures par

semaine. Il débute le 9 janvier pour alors se terminer le 20 avril 2012. Compte tenu de ces

impératifs, voici l'échéancier proposé :

47
Étapes/Livrables Glossaire Guide & gabarit

1. Prendre connaissance Du 9 janvier au 20 janvier Du 20 février au 2 mars

des documents existants

2. Élaboration du contenu Du 23 janvier au 3 février Du 5 mars au 16 mars

3. Validation du contenu Du 6 février au 17 février Du 19 mars au 30 mars

4. Préparation de la Du 2 avril au 18 avril Du 2 avril au 18 avril

version filiale et son plan


de communication

Remise finale du 20 avril 2012 20 avril 2012

document:

Conditions de réalisation du mandat et clause particulière

Le mandat est réalisé dans le cadre du stage prévu à la formation de 2e cycle du

mandataire/ dont le Curriculum Vitae est joint à J1 Annexe 1. La mandataire sera

accompagnée et supervisée dans ses travaux par Monsieur Pierre Cliche/ professeur

associé à I1 École nationale d1 administration publique depuis 2007 et qui cumule plus de

vingt ans d1 expérience dans Jlappareil gouvernemental québécois notamment au

Ministère de la Santé et des Services sociaux/ du Ministère du Conseil exécutif et du

Secrétariat du Conseil du trésor.

Le mandant au sein de la DMOLAP 1 Madame Claire Bard/ est conseillère en évaluation de

programme et en qualité de services. La directrice de cette direction qui relève

directement du Secrétaire est Madame Sonia Simard.

Un rapport final de stage/ prévu pour dépôt le 15 juin 2012 pourra/ après lecture et
1

approbation du mandant/ être déposé en bibliothèque puisque les livrables à réaliser ne

48
sont pas de natures confidentielles (voir le plan de rédaction du rapport de stage à

l'Annexe Il).

Les ressources matérielles nécessaires à la réalisation du stage sont fournies par le

mandant. Le travail s'effectue dans les locaux de ce dernier au:

875, Grande Allée Est


3e étage, secteur 100
Québec (Québec) G1R 5R8
418-643-0875 (poste 4116)

La rémunération attendue est de 16,67 $/heure, taux horaire auquel s'ajoutera 6,5% du

montant consenti pour compenser les bénéfices marginaux non inclus dans les situations

de stages.

49
Annexe 1

Curriculum Vitae

··--··- -·-- ---·· , __ , ______________,


1 RENSEIGNEMENTS 1
MARTINE LEBLANC-CONSTANT i TéL : 581.307.:1909 l1
1
26, rue St-Joseph est, #1
1
Québec (Québec) G1K 31\5
1 Courriel:
1 rn artin e.leb lan c-con stant@en ap .ca
!

foRMATION ACADÉMQUE
1 ·' ... --- . ---·---- . ~-~=-~~-~-- -=·= --~~~--~-~~-~---=-~=-·-- =--~~- ~-"--~=~~-1

• Septembre 2010- Maîtrise en administration publique pour analyste


1
Arljo~ml'luiÏ Concentration: Évaluation de programmes publics
ÉCOLE NATCNALE D'ADMINISTRATCN PUBUQ.UE, Québec
(fin prévue: juin2012)
Septembre 2005 - Baccalauréat en politique appliquée
Juin 2010 Concentration : Politiques publiques
UNIVERSITÉ DE SHERBA:lOKE, Sherbrooke

Septembre 2002- DEC en sciences humaines


Décembre 2004 Concentration : Psychologie
CÉGEP DE SHERBA:lOKE, Sherbrooke

COMPÉTENCES SPÉCIRQ.UES
-, 1

- Connaissances informatiques : Suite Office, Internet, Acomba, SPSS;


- Connaissances linpistiques : Français et anglais
- Connaissan~-:_s autres: S(!l_1té & séc_urité au tr~(!il, Pr_er:nie-s_soi_ns
EXPÉRIENCES PERTINENTES EN ADMINISTRATION PUBLIQUE

Assistante de recherche
Centre de recherche et d'expenise en évaluation Octobre 2010 -Auj06td'luiÏ
(CREXE)
École nationale d"iidministration publique, Québec
./ Responsable pour le CREXE du projet de 1'0 util de l'évaluation de la performance;
./ Organiser et effectuer destocus group et entrevues individuelles lors de divers projets;
./ Analyse de données qualitatives et quantitatives;
./ Effectuer des recherches scientifiques et/ou méttodologjques.

Commis comptable, réception & serllice à la clientèle


Club Piscine super Atness, Sherbrooke Mars 2004- Août 2010
./ Gestion des ressources humanes et financières;
./ Gestion des ventes et des comptes-clients;
./ Service à la clientèle avant et après-vente;
./ Gestion du financement des clients.

50
EXPÉRIENCES PERTINENTES EN RECHERCHE

1 Tutorat sur la question constitutionnelle du Québec


Université de Sherbrooke- 6 crédits Octobre 2009- Juin 2010
.! Revue de littérature et conception d'un modèle méthodologique;
.! Organisation et création d'entrevues individuelles;
.! Analyse de données;
.! Production de2 rapports.

Micro-stage d'agent de recherche avec une OSBL


Li111e des droits et libertés de l'Estrie- 3 crédits Septembre 2 008 - Déce rn bre 200 8
.! Revue de littérature et création d'un questionnaire;
.! Réalisation d'entrevues individuelles;
.! Analyse des données;
.! Production d'un rapport.

! AUTRES EXPÉRIENCES DE TRA \/AIL


Entraîneuse de touck/ootiHIII juvénile féminin
1
École du Triolet · Septembre 2002- Juin 2003
.! Recrutement;
.! Fo-rmation et entraînements.

Archiviste mu~cales
École du Triolet Juil 2002- Août 2002
.! Vérification et classement des partitions de musique;
.! Création d'une banque de données.

------ -- - - - - 1
• ACTIVrrÉS ET EflllAG EMENTS SOCIAUX
t
Membre de la Société de débat
Univermé de Sherbrooke Septembre 2005 -Mai 2008

Trésorière à l'Association étudiante


Cégep de Sherbrooke Septembre 2002- Mai 2003

Membre du Comité des Sports et du Leadership


École du Triolet Septembre 2011- Juin 2002

Membre des Harmonies du Québec


École du Triolet Septembre 1997- Juin 2002

1
' RÉFÉRENCES 1
·j
- Mes références seront fournies sur demande.

51
Annexe Il

Plan du rapport

Afin de conclure le stage et d'en tirer des conclusions et apprentissages pertinents, un

rapport sera rédigé tout au long de l'exercice sous la supervision du professeur-

superviseur de l'École nationale d'administration publique et sera rendu dans les


7
semaines suivant la fin du stage. Celui-ci sera organisé de la façon suivante :

1. Introduction

2. Description du mandat
3. Présentation de l'organisation

4. Description des livrables

5. Démarche réalisée

6. Rétroaction sur la démarche

7. Acquis et leçons apprises

8. Conclusion

9. Bibliographie

10. Annexes (incluant les 2 livrables attendus)

7
Tiré du modèle conçu par l'École nationale d'administration publique en collaboration avec le GERFI,
janvier 2008.

52
Annexe Ill -Aperçu du document de travail

53
Glossaire des termes usuels en évaluation de programme et mesure du rendement
Pour tendre vers une plus grande cohérence et uniformité dans l'utilisation des concepts
couramment utilisés en évaluation de programme, ce glossaire a été préparé. Il vise à clarifier la
majorité des termes et des concepts nécessaires au travail de l'évaluateur de programme, mais
aussi des responsables de la fonction et de leurs clients.
Le mot initiative désigne ici toute action planifiée et conduite dans l'intention d'atteindre des effets
définis en termes de changements, souvent l'atténuation ou la résolution d'un problème. Il englobe
les politiques, les programmes de subvention, les contributions, les projets d'amélioration, etc.
Tout commentaire concernant les définitions que le document propose sera lé bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse claire.bard@sct. go uv.qc.ca

Activité (Activity)
1- Une opération ou un processus, propre à l'organisation, permettant la production d'extrants
à partir d'intrants. La formation , la recherche, la construction, la négociation sont des
exemples d'activités. (Guide SC T Canada, 2010, p.26)
2- Procédé ou opération qui concourt à la transformation de ressources en produits et en
services. (Guide GPR SCT-Qc, 2002, p.27)
3- Actions entreprises ou travaux menés en vue de produire des réalisations spécifiques.
L'activité mobilise des ressources telles que des fonds, une assistance technique et
d'autres types de moyens. Terme connexe : action de développement. (Glossaire OCDE,
2002, p.15)
4- Ensemble de procédés qui entrent en ligne de compte, ou d'étapes à franchir, pour
exécuter un programme ou encore pour assurer la production d'un bien ou la prestation
d'un service. (Lexique CCAF-FCVI, 1996, p.6)
5- Actions menées dans le contexte de la programmation qui sont nécessaires et suffisantes
et par lesquelles des apports (financiers, humains, techniques et matériels) sont mis en
œuvre pour donner des produits particuliers ou contribuer aux résultats. Les activités
peuvent également être définies comme des «interventions de développement». (Guide
PNUD, 2002, p.96)

6- C'est la façon dont les intrants ont été transformés par les agents producteurs pour livrer
les biens ou services publics du programme. L'exigence minimale est d'identifier
sommairement les liens de cause à effet entre les intrants et les extrants. Par exemple,
quelles modalités organisationnelles a-t-on adoptées en pratique versus celles prévues ou
quel est le mécanisme de contrôle de production utilisé et son résultat, son efficacité ou
encore quel est le cheminement type d'un dossier? (Cours ENP71 32, 2010, cours 4, p.9)
7- L'analyse des activités de production sert à identifier les procédés utilisés pour transformer
les intrants (ressources humaines, matérielles et financières) en production (extrants)
devant atteindre la cible directe du programme. (Cours ENP7132, 2010, cours 11, p.S)
8- Processus internes de gestion faisant partie de la mise en œuvre; procédés ou opérations
de transformation des intrants en extrants. Comprends généralement les paramètres
suivants :
• Qualité méthodologique, neutralité et utilité des évaluations;
• Améliorations réalisées à la suite d'évaluations de la mise en œuvre ou de la
performance;
• Processus pour s'assurer de la satisfaction de la clientèle de façon continue;

55
• Innovations mises en place pour améliorer la mise en œuvre et pour gérer le
changement;
• Processus mis en place pour mesurer et réaliser des gains d'efficacité et
d'efficience dans la mise en œuvre;
• lmpàcts des améliorations de la mise en œuvre sur l'efficacité et l'efficience de
l'élément de programme. (Outil d'évaluation, session 2, 2011, p.38-39)

Opération ou processus permettant la production de produits et de services à partir de


ressources.
Les principales activités d'une organisation peuvent être plus ou moins précises et
comporter plusieurs sous-activités pouvant être organisées dans une structure
hiérarchisée.
La formation, la recherche, fa construction d'infrastructures, la production
d'information, la négociation sont des exemples d'activités.
Justification
Les termes produits et services, et ressources sont possiblement plus accessibles
que les termes intrants et extrants.
Le terme processus est préféré à procédé, plus couramment rencontré dans les
domaines techniques.
Les exemples ont été choisis parmi les activités usuelles des administrations
gouvernementales.

Actualisation (Discount or Update)


L'opération mathématique qui permet de comparer des valeurs économiques qui s'échelonnent
dans le temps : il s'agit de ramener la valeur future d'un bien, d'une dépense à une valeur
actuelle. Repose sur 2 éléments essentiels : l'appréciation des flux monétaires (échéancier des
dépenses et recettes immédiates et futures, réelles ou fictives) et le taux
d'actualisation (coefficient permettant de ramener le futur au présent. Le taux d'actualisation
est donc un taux de substitution entre le futur et le présent; il traduit la valeur du temps pour
une entreprise ou une collectivité, c'est en quelque sorte le « prix du temps ». (Cours ENP7132,
2010, cours 16, p.?)

Opération qui consiste à déterminer la valeur actuelle d'un projet sur la base des
dépenses et des recettes immédiates et futures, réelles ou estimées, qui en sont
anticipées.
Le taux d'actualisation utilisé dans les calculs traduit la valeur du temps. De façon
générale, si les bénéfices anticipés d'un projet sont éloignés dans le temps, un faible
taux d'actualisation sera alors utilisé dans les calculs. Un taux d'actualisation élevé
exprime une vision qui favorise les bénéfices anticipés sur le court terme.

Analyse comparative (Benchmarking)


1- Répertorier, comparer, comprendre et adapter les pratiques en cours, à l'intérieur ou à
l'extérieur d'une organisation. L'analyse comparative est fondée principalement sur des
mesures communes et la comparaison de résultats obtenus à l'interne et à l'externe. Ces
renseignements aident une organisation à savoir où elle se situe en termes de rendement

56
et à prendre des mesures pour l'améliorer en fonction d'une organisation axée sur des
pratiques exemplaires. (Guide SCT Canada, 2010, 2010, p.26)
2- Points ou normes de référence utilisés pour évaluer l'atteinte d'un objectif. A titre
d'exemple, voici les points de repère servant à déterminer si on a réussi la modernisation
voulue de la fonction de contrôleur : les décideurs reçoivent une information rigoureuse et
exhaustive sur la performance ainsi qu'un soutien en matière de règlement de problèmes;
des normes ont été établies - concernant l'information sur la performance, la
budgétisation, et le contrôle - pouvant être adaptées aux besoins des ministères; les
gestionnaires et les professionnels disposent de centres d'excellence; les décideurs de
tous les échelons acceptent et adoptent des attitudes et des valeurs propres à la fonction
de contrôleur. (Lexique CCAF-FCVI, 1996, p.20)

Opération d'analyse de résultats par la comparaison entre des éléments communs ou


des pratiques communes.
Ces renseignements permettent aux organisations de savoir où elles se situent en
termes de rendement et de prendre des mesures pour s'améliorer sur la base des
pratiques exemplaires.
L'analyse comparative est considérée synonyme du mot étalonnage (benchmarking).
Voir étalonnage.

Apport
Moyen mis en œuvre pour exécuter des activités de programme ou de projet, c'est-à-dire des
ressources financières, humaines et matérielles. (Guide PNUD, 2002, p.96)
Terme non conservé.

Appréciation préalable (Prior assesment)


Appréciation globale de la pertinence, de la faisabilité et de la durabilité probable d'une action
· de développement avant que la décision de financement ne soit prise. Remarque : dans les
agences et banques de développement, le but de cette appréciation est de donner aux
décideurs les éléments qui leur sont nécessaires pour décider si l'action représente un usage
approprié des ressources de l'organisme. Terme connexe : évaluation ex ante. (Glossaire
OCDE, 2002, p. 16)

Terme non conservé.

Apprentissage (Learning)
1- Processus d'investigation continu et dynamique dont les pnnc1paux éléments sont
l'expérience, la connaissance, l'accès et la pertinence. Il exige une prédisposition à
l'enquête et à l'investigation au leu d'une attitude d'intervention et de communication
d'information. Il est plus facile de réunir ces conditions lorsqu'on offre la possibilité
d'observer, d'inventer ou de découvrir des stratégies et de participer à ces stratégies afin
de s'attaquer à des types de problèmes particuliers ou à des questions de développement.
(Guide PNUD, 2002, p. 77)

2- Modifications durables du comportement d'un sujet (humain ou animal) grâce à des


expériences répétées ou dotées de l'aptitude à modifier ses réponses futures en fonction
de son expérience passée. (Le Petit Robert, 1993, p.119)

57
3- Reflection on experience and results of monitoring and evaluation to identify how a
situation or future actions could be improved and then using this knowledge to make actual
improvements. This can be individual or group-based - the latter would be considered
"organizational" learning when it transcends the group and becomes part of the corporate
knowledge base. Learning involves documenting experiences, the process of synthesis
and the application of lessons learned to future actions. (0/0S G/ossary, 2006, en ligne)

Processus dynamique jumelant l'expérience à la connaissance et à la pertinence.


L'apprentissage nécessite la volonté et l'aptitude d'apprendre suite à des
comportements comme l'observation et l'élaboration de stratégies qui répondraient à
des problèmes particuliers. ·

58
Annexe IV - Aperçu du glossaire en tableau

59
Activité (Activity) Opération ou processus permettant la production de produits et
de services à partir de ressources.
Les principales activités d'une organisation peuvent être plus ou
moins précises et comporter plusieurs sous-activités pouvant être
organisées dans une structure hiérarchisée.
la formation, la recherche, la construction d'infrastructures, la
production d'information, la négociation sont des exemples
d'activités.
Actualisation Opération qui consiste à déterminer la valeur actuelle d'un projet 1 lequel des 2 termes anglais favorisez-vous?
(Discount or Update) sur la base des dépenses et des recettes immédiates et futures,
réelles ou estimées, qui en sont anticipées.
le taux d'actualisation utilisé dans les calculs traduit la valeur du
temps. De façon générale, si les bénéfices anticipés d'un projet
sont éloignés dans le temps, un faible taux d'actualisation sera
alors utilisé dans les calculs. Un taux d'actualisation élevé
exprime une vision qui favorise les bénéfices anticipés sur le court
terme .
Analyse comparative 1 Opération d'analyse de résultats par la comparaison entre des 1 Êtes-vous d'accord avec le synonyme?
(Benchmarking) éléments communs ou des pratiques communes.
Ces renseignements permettent aux organisations de savoir où
Voir : Étalonnage. elles se situent en termes de rendement et de prendre des
mesures pour s'améliorer sur la base des pratiques exemplaires.
l'analyse comparative est considérée synonyme du mot
étalonnage (benchmarking).
Apprentissage Processus dynamique jumelant l'expérience à la connaissance et
(Learning) à la pertinence.
l'apprentissage nécessite la volonté et l'aptitude d'apprendre
suite à des comportements comme l'observation et l'élaboration
de stratégies qui répondraient à des problèmes particuliers.

61
Annexe V - Aperçu du glossaire à la fin du stage
, - - ··.·---.- --------- ------~--

63
GLOSSAlRE DES TERMES USUELS D'ÉVALUATION ET MESURE
DU RENDEMENT

Pour tendre vers une plus grande cohérence et uniformité dans l'utilisation des concepts
couramment utilisés en évaluation et mesure du rendement, ce glossaire a été préparé. Il vise à
clarifier la majorité des termes et des concepts nécessaires au travail de l'évaluateur, mais aussi
des responsables de la fonction et de leurs clients.
Afin d'avoir un ouvrage reconnu et utile pour le milieu, ce document a fait l'objet de maintes
consultations, coopérations et validations auprès des communautés universitaires et de la pratique
de la fonction.
Par souci de concordance avec des évaluations qui peuvent être menées par divers acteurs sur
des problématiques publiques, le terme intervention sera préféré au terme programme. Le mot
intervention désigne ici tout action conduite dans l'intention d'atteindre des résultats sur la société
qu'ils soient suite à un programme, une initiative, un projet, une politique, une réglementation, etc.
Tout commentaire concernant les définitions que le document propose sera le bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse Martine.Leblanc-Constant@sct.gouv.qc.ca

Activité (Activity)
Processus et opérations permettant la production des extrants à partir des intrants de l'intervention.
(Marceau R., et F. Sylvain, à paraÎtre)

Les principales activités d'une organisation peuvent être plus ou moins précises et comporter
plusieurs sous-activités pouvant être organisées dans une structure hiérarchisée. ·
La formation, la recherche, la construction d'infrastructures, la production d'information, la
négociation sont des exemples d'activités.

Actualisation (Updating)
Opération qui consiste à déterminer la valeur actuelle d'un projet sur la base des dépenses et des
recettes immédiates et futures, réelles ou estimées, qui en sont anticipées.
Le taux d'actualisation utilisé dans les calculs traduit la valeur du temps. De façon générale, si les
bénéfices anticipés d'un projet sont éloignés dans le temps, un faible taux d'actualisation sera alors
utilisé dans les calculs . Un taux d'actualisation élevé exprime une vision qui favorise les bénéfices
anticipés sur le court terme.

Analyse comparative (Comparative analysis)


Opération d'analyse de résultats par la comparaison entre des éléments communs ou des pratiques
communes.
Ces renseignements permettent aux organisations de savoir où elles se situent en termes de
rendement et de prendre des mesures pour s'améliorer sur la base des pratiques exemplaires.
Terme connexe : Étalonnage.

Apprentissage (Learning)
Processus dynamique jumelant l'expérience à la connaissance et à la pertinence.

65
L'apprentissage nécessite la volonté et l'aptitude d'apprendre, suite à des comportements comme
l'observation et l'élaboration de stratégies qui répondraient à des problèmes particuliers.

Appui-conseil (Advisory support)


Action d'offrir, par l'intermédiaire d'une personne ou d'un groupe de personnes, de l'assistance de
manière indépendante en continu ou encore de manière ponctuelle, à la demande . ·
Souvent recommandée en amont avant l'application ou le déploiement d'une intervention ou d'une
mesure.
Synonyme : Service-conseil.

Architecture de programmes (Program architecture)


Répertoire structuré des programmes d'une organisation montrant les liens logiques entre chacun
d'eux et leur façon de converger vers les résultats stratégiques auxquels ils contribuent.

Attribution (Attribution)
Estimation de la mesure dans laquelle les résultats observés consécutivement à la mise en œuvre
d'une intervention lui sont attribuables.

Audit (Audit)
Processus de vérification et de contrôle axé sur l'organisation et ses pratiques de gestion, exercé
objectivement et de façon indépendante, afin d'améliorer les opérations d'une organisation et
d'amener cette dernière à atteindre ses objectifs autant en matière de performance
organisationnelle que de gestion des risques, de contrôle et de gouvernance.
Une distinction avec l'évaluation est que l'audit ne porte pas de jugement sur la valeur de
l'intervention, elle établit notamment l'écart entre les intentions et la réalité.

Auto-évaluation (Self-evaluation)
Forme d'évaluation où les responsables d'une intervention jugent eux-mêmes de la valeur des
résultats.

Benchmarking (Benchmarking)
Voir : Ëtalonnage.

Bénéficiaire (Beneficiaries)
Individus, groupe d'individus ou organisations qui tirent directement ou indirectement des
avantages d'une action .
Termes connexes : Groupe cible, Population cible.

But (Goal)
Fin que l'on se propose, intention animant une action ou motivant une démarche.
Terme connexe: Intention.

66
Annexe IV - Le glossaire8

8
Le glossaire présenté à cette annexe est la version en date du dépôt du rapport du stage et non
pas celle déposé à la 'fin du stage. Puisque le rapport est remis plusieurs semaines après la fin du
stage, le projet a eu le temps d'avancer considérablement entre les deux moments et cette version
est plus près de la version finale qui sera publié ultérieurement. Elle ne constit.ue pas la version
finale car cette version est actuellement soumise à une deuxième phase de validation auprès
d'experts de la profession . La version finale du glossaire est prévue être publique à l'été 2012 et
disponible sur Internet.

67
PROJET

Glossaire des termes usuels


d'évaluation et mesure du
rendement
·-
Direction de la mise en œuvre
de la Loi sur l'administration
publique .

SecréNrlillf .
du Conseil du tnisor
0 0
Québec un

69
PROJET
Remerciements
. Ce guide a été réalisé par le Secrétariat du Réalisation du Glossaire
Conseil du trésor en collaboration avec un
Secrétariat du Conseil du trésor, Direction de
groupe d'experts internes et externes.
la mise en œuvre de la Loi sur
Nous remercions sincèrement l'ensemble de l'administration publique
ces personnes, dont la collaboration et
Auteures : Martine Leblanc-Constant et Claire
l'expertise ont rendu possible la réalisation du
Bard
présent glossaire :
Le présent document est disponible daris le
Richard Marceau
site Web du Secrétariat du Conseil du trésor,
École nationale d'administration publique à l'adresse : www.tresor.gouv.qc.ca.
Francine Sylvain Les renseignements contenus dans ce
document ne constituent pas une
École nationale d'administration publique
interprétation juridique des lois, des
Érick-Noël Bouchard règlements ou des directives.
Secrétariat du Conseil du trésor Dépôt légal- 2012
Guy Lachapelle Bibliothèque et Archives nationales du
Québec
Université Concordia
Bibliothèque et Archives Canada
Marthe Hurteau
[ISBN (Imprimé)]
Université du Québec à Montréal
[ISBN (PDF)]
Nicolas Toutant
© Gouvernement du Québec, 2012
Société québécoise d'évaluation de
programme
Christophe Marchal
Ministère du Développement économique,
innovation et Exportation
[Autres à venir ... ]

70
PROJET

Préambule
Le Glossaire des termes usuels en évaluation et mesure du rendement se veut un document de
référence qui vise une compréhension commune des termes relatifs à l'évaluation et une plus
grande cohérence et uniformité entre les différents travaux d'évaluation et mesure du rendement
menés dans les ministères et les organismes. Il vise à clarifier la majorité des termes et des
concepts nécessaires au travail d~ l'évaluateur, mais aussi des responsables de la fonction et de
leurs clients. A ce titre, cet outil permettra de soutenir et de faire progresser la fonction d'évaluation
au gouvernement du Québec.
Afin d'avoir un ouvrage à la recherche du plus large consensus, ce document a fait l'objet de
nombreuses con'sultations, collaborations et validations auprès des communautés universitaires et
de la pratique du milieu.
Par souci de considérer les multiples objets pouvant être évalués par divers acteurs, le terme
intervention sera préféré au terme programme. Le mot intervention désigne ici toute action conduite
dans l'intention d'atteindre des résultats sur la société qu'ils soient à la suite d'un programme, d'une
initiative, d'un projet, d'une politique, d'une réglementation, etc.
Tout commentaire concernant les définitions que le document propose sera le bienvenu et fera
l'objet d'un suivi de la part de la personne qui en est responsable. Celle-ci peut être rejointe à
l'adresse martine.leblanc-constant@sct. go uv. qc. ca.

lxxi
PROJET

-A~ Architecture de programmes (Program


architecture)
Activité (Activity) Répertoire structuré des programmes d'une
Processus ou opération permettant la organisation montrant les liens logiques entre
production des extrants d'une intervention à chacun d'eux et leur façon de converger vers
partir de ses intrants. les résultats stratégiques auxquels ils
contribuent.
Les principales activités d'une organisation
peuvent être plus ou moins précises et Attribution (Attribution)
comporter plusieurs sous-activités pouvant être
organisées dans une structure hiérarchisée. Estimation de la mesure selon laquelle les
résultats observés consécutivement à la mise
La formation, la recherche, la construction en œuvre d'une intervention lui sont
d'infrastructures, la production d'information et attribuables.
la négociation sont des exemples d'activités.
Audit (Audit)
Actualisation (Updating)
Processus de vérification et de contrôle axé sur
Opération qui consiste à déterminer la valeur l'organisation et ses pratiques de gestion,
actuelle d'un projet sur la base des dépenses et exercé objectivement et de façon
des recettes immédiates et futures, réelles ou indépendante, afin d'améliorer les opérations
estimées, qui en sont anticipées. d'une organisation et d'amener cette dernière à
Le taux d'actualisation utilisé dans les calculs atteindre ses objectifs autant en matière de
traduit la valeur du temps. De façon générale, si performance organisationnelle que de gestion
les bénéfices anticipés d'un projet sont éloignés des risques, de contrôle et de gouvernance.
dans le temps, un faible taux d'actualisation Une distinction avec l'évaluation est que l'audit
sera alors utilisé dans les calculs. Un taux ne porte pas de jugement sur la valeur de
d'actualisation élevé reflète une vision qui l'intervention, elle établit notamment !:écart
favorise les bénéfices anticipés sur le court entre les intentions et la réalité.
terme.
Auto-évaluation (Self-evaluation)
Analyse comparative (Comparative analysis)
Forme d'évaluation où les responsables d'une
Opération d'analyse de résultats par la intervention jugent eux-mêmes la valeur des
comparaison entre des éléments communs ou résultats.
des pratiques communes.
Ces renseignements permettent aux -8-
organisations de savoir ·où elles se situent en
termes de rendement et de prendre des Benchmarking (Benchmarking)
mesures pour s'améliorer sur la base des
pratiques exemplaires. Voir : Étalonnage.
Terme connexe : Étalonnage. Bénéficiaire (Beneficiaries)
Apprentissage (Learning) Individus, groupe d'individus ou organisations
qui tirent directement ou indirectement des
Processus dynamique jumelant l'expérience à avantages d'une action .
la connaissance et à la pertinence.
Termes connexes : Groupe cible, Population
L'apprentissage nécessite la volonté et cible.
l'aptitude d'apprendre, à la suite de
comportements comme l'observation et But (Goal)
l'élaboration de stratégies qui répondraient à
des problèmes particuliers. Fin que l'on se propose, intention animant une
action ou motivant une démarche.
Terme connexe : Intention.

72
PROJET

-C- un échéancier. Il sert à formaliser les besoins et


à les expliquer aux différents acteurs. Il permet
également de cadrer les rôles et les
Cadre d'évaluation (Evaluation framework)
responsabilités des acteurs impliqués.
Document de planification décrivant la façon
dont une évaluation sera menée dans le détail Capacité informationnelle (Information capacity)
en précisant les questions d'évaluation et la
stratégie envisagée pour obtenir les Compétence transversale de l'organisation à
renseignements nécessaires pour y répondre. colliger, à organiser et à fournir les informations
nécessaires à la mesure des extrants, des
Étant préparé préalablement aux travaux de effets, de l'efficacité, de l'efficience et à la
collecte d'information, le cadre d'évaluation reddition de comptes.
expose les stratégies, les méthodologies et les
limites envisagées pour répondre aux questions Causalité (ou relation de cause à effet)
d'évaluation posées. Il indique également les (Causality)
principales sources de renseignements,
notamment l'identification des critères, des Relation logique entre deux éléments dont le
cibles, des indicateurs, des responsables de premier, la cause, est responsable du second.
leur collecte, des -activités de suivi, le cas La cause est une notion désignant ce qui
échéant, et de la fréquence à laquelle lés produit l'effet.
différents renseignements doivent être colligés.
Il comprend généralement une présentation de Cible (Target)
l'initiative évaluée et d.e sa logique.
Résultat à atteindre ou seuil de succès qu'une
Le document précise généralement le client et organisation ou une intervention prévoit
les autres auditoires auxquels l'évaluation atteindre dans une période donnée. Les cibles
s'adresse, les questions d'évaluation et les sont précises et normalement quantifiables.
méthodes préconisées pour recueillir et
Deux types de cibles existent :
analyser les résultats.
Termes connexes : Cahier des charges, Plan Cible d'objectif: Information exprimée à l'aide
d'un indicateur directement lié à un objectif
d'évaluation .
poursuivi d'une intervention.
Cadre de suivi et d'évaluation (Monitoring & Cible d'intervention : Situation jugée
evaluation framework) insatisfaisante devant faire l'objet d'une
intervention (Marceau R., et F. Sylvain, à paraïtre)
Document dé planification qui prévoit, outre les
éléments habituellement détaillés dans un
Chaîne de résultats (Chain of results)
cadre d'évaluation typique, des mesures de
suivi qui renseignent en continu sur le Représentation de la séquence d'évènements
déroulement de l'intervention et ses effets, et qui commence avec l'attribution des ressources
qui préparent le terrain pour une évaluation de permettant la réalisation d'activités qui génèrent
qualité. des biens et services - les extrants des
interventions - qui, à leur tour, suscitent des
Un cadre de suivi et d'évaluation devrait être
changements - les effets ou l'impact - sur les
préparé chaque fois qu'une nouvelle initiative clientèles ciblées des actions.
est conçue et avant sa mise en œuvre. Celui-ci
est normalement révisé préalablement à La chaîne de résultats forme le squelette des
l'amorce des travaux évaluatifs en tant que tels. modèles logiques qui propose aux parties
prenantes une vue d'ensemble des
Cadre logique (Log frame) évènements liant les besoins en ressources
d'une intervention et les resultats qui sont
Voir : Modèle logique. anticipés de celui-ci.

Cahier des charges (Specifications) Terme connexe : Modèle logique.

Docum~nt précisant les modalités de


l'évaluation. Il détaille notamment les conditions
de réalisation, les produits attendus et propose

73
. PROJET

Conclusion (Conclusion) Dans le cas d'un produit, le coût de revient


correspond à la somme des charges liées à
Jugement ou déduction fondé sur la base de la l'achat des matières premières et de leur
synthèse des résultats , escomptés ou non, et transport, des dépenses liées à la production
des constatations tirées des analyses de la dont les coûts de main-d'œuvre, la dépréciation
situation ou de l'action évaluée. du matériel, le loyer, etc., et des dépenses liées
à la distribution du produit, par exemple,
Constatation (Finding) l'emballage, le transport et les commissions.
Affirmation reposant sur la base d'éléments Il faut distinguer deux catégories de charges :
factuels, réunis aux moyens d'observations et les directes, qu'il est possible d'incorporer dans .
de mesures permettant d'établir ces faits . le calcul du coût sans hypothèse préalable ni
calcu l, et les indirectes devant être réparties
Contexte d'intervention (Context of program) entre toutes les productions comme le loyer, la
dépréciation des immobilisations, les charges
Ensemble des phénomènes sociaux,
d'eau, d'électricité, etc.
économiques ou politiques qui influence
l'efficacité et l'efficience des interventions, qu'il
s'agisse de circonstances historiques, Coût de revient (Cost accounting)
conjoncturelles ou exceptionnelles. Dans le domaine comptable, ce terme réfère à
une méthode de calcul des coûts lié à la
Contrôle (Control) fabrication d'un bien ou à la prestation d'un
service. Il a donc pour objectif de faire
Ensemble des actions posées et des
correspondre à chaque bien ou service, le coût
mécanismes de surveillance mis en place pour
total de l'ensemble des diverses ressources
aider les organisations à réaliser leurs objectifs
nécessaires à sa production ou à sa prestation.
en termes de qualité, d'efficacité et d'efficience.
Ses ressources peuvent être autant directes
Coordination (Coordination) qu'indirectes et doivent prendre en compte tous
les coûts reliés à la société.
Association harmonieuse de ressources ,
d'activités ou de services en vue de renforcer
Coûts-avantages ou coûts-bénéfices (Cost·
l'efficacité et l'efficience des actions.
benefit)
Corrélation (Correlation) Technique qui consiste à recenser et à
quantifier les effets positifs (avantages) et
Rapport existant entre deux phénomènes dont
négatifs (coûts) d'une initiative, puis à les
l'un implique l'autre et réciproquement.
exprimer en une unité commune permettant la
L'importance et le sens de l'association entre comparaison : l'unité monétaire.
les phénomènes peuvent être déterminés par
une analyse statistique. Ils sont exprimés sous Cet outil permet d'orienter les décideurs qui
la forme d'un coefficient prenant une valeur évaluent l'intérêt que présente pour la société
entre -1 et 1 : le coefficient de corrélation . une intervention et qui jugent les différents
choix stratégiques en termes d'impact sur la
Coût d'opportunité (Opportunity cost) population .

Coût correspondant à la perte des biens


Coût-efficacité (Cost-effectiveness)
auxquels il est nécessaire de renoncer lorsque
les ressources dont on dispose sont utilisées à Technique d'aide à la décision qui repose sur la
un usage donné au détriment d'autres choix. Il comparaison de plusieurs interventions en
représente la valeur de la meilleure autre option termes d'effets obtenus et de coûts de mise en
non actualisée. œuvre.
L'analyse a pour objectif d'identifier la manière
Coût unitaire (Unit cost) la plus efficace, du point de vue économique,
Coût de production d'un extrant. (Marceau R., et d'atteindre un objectif.
F. Sylvain, à paraïtre)
Crédibilité (Credibility)

74
PROJET
Critère de qualité d'une mesure ou d'une Dans le contexte de la recherche, le devis
personne qui suscite la confiance et signifie le protocole, l'approche ou la méthode
l'acceptabilité permanente. Un jugement de recherche utilisée pour étudier les liens de
crédible constitue un des fondements de causalité entre les variables à l'étude : devis
l'évaluation . expérimentaux, quasi expérimentaux et pré
expérimentaux.
En évaluation , un jugement ne doit pas être
seulement valide sur le plan scientifique, il doit Dans le contexte de l'évaluation, le devis est un
aussi être crédible pour être acceptable aux document qui présente notamment les
yeux des parties prenantes. La validité relève éléments suivants :
d'un processus interne associé aux choix
• Une description détaillée des biens et des
méthodologiques effectués sous la
services requis;
responsabilité du chercheur ou de l'évaluateur.
Le processus externe, sous la responsabilité • Un énoncé précis des objectifs;
des parties prenantes, est alimenté grâce à un
dialogue continu entre le chercheur ou • Les coûts approximatifs des biens ou
.l'évaluateur et ceux qui détiennent le pouvoir services;
d'allouer leur confiance au jugement émis. • Une indication des étapes à franchir avant
la mise en œuvre du projet;
Critère (Criteria)
• Les échéanciers du projet;
Norme ou point de référence qui sert de base à
un jugement. Cette norme peut être ce qui a été • Les normes de contrôle de la qualité que
accompli dans le passé, le rendement que des les biens et les services doivent respecter;
organisations comparables atteignent ou les • Une énumération et une description de
résultats attendus d'une initiative par exemple. toute documentation (manuels techniques,
Pou r porter un jugement explicite, il est manuels des utilisateurs et rapports des
souhaitable d'associer à la fois un critère de fournisseurs) qui devra accompagner les
jugement et une ou plusieurs cibles, c'est-à-dire produits;
à une norme de performance, un seuil de
• Une description des processus
succès ou une bonne pratique qu i sert de point
d'évaluation.
de comparaison .
On distingue quelques grandes catégories de
-0- protocoles expérimentaux. Les trois catégories
suivantes sont les plus documentées :
Défaillance de marché (Market failure) • Devis expérimental qui permet de dégager
l'effet net;
Incapacité du marché de maximiser le bien-être
d'ensemble dans certaines situations, les • Devis pré expérimental qui permet, dans le
mécanismes d'échanges entre consommateurs meilleur des cas, de dégager l'effet brut (ou
et producteurs n'arrivant pas à satisfaire les plutôt la variation de la variable);
critères d'efficacité.
• Devis quasi expérimental qui permet de
Les défaillances de marché constituent des dégager l'effet net des incertitudes quant à
raisons d'être des interventions publiques. la validité des résultats.
Il existe quatre principales situations menant à
des défaillances de marché : · Donnée (Data)
• Les biens sont des biens publics; Information admise, connue ou reconnue,
d'ordre quantitatif ou qualitatif, qui sert de base
• Il existe des externalités; à un raisonnement.
• Il existe un monopole dans la production du
bien ou du service; Donnée de référence (ou de base) (Baseline data)
Donnée décrivant la situation sur laquelle porte
• Il y a asymétrie d'information.
une initiative et qui sert de point de départ lors
des suivis du rendement de la dite initiative.
Devis (Quote)

75
PROJET
Donnée administrative (ou de gestion) intervention. Enfin, ils peuvent être visés
(Administrative data) spécifiquement, anticipés, mais non visés et
parfois, imprévus.
Donnée généralement recueillie par l'entremise
des dossiers ou de bases de données Remarque :
existantes permettant le suivi régulier des Les effets visés, anticipés et positifs sont des
processus de l'intervention. synonymes de résultat de programme .

Donnée primaire (Primary data) L'impact d'un programme serait quant à lui la
somme des effets (positifs et négatifs, visés ou
Donnée issue de collectes d'information non).
réalisées afin de répondre aux besoins
spécifiques d'une étude ou d'une évaluation . Termes connexes : Impact, Réalisation ,
Résultat.
Donnée secondaire (Secondary data)
Efficacité (Effectiveness)
Donnée colligée à d'autres fins que celle des
travaux ou de l'évaluation en cours. Degré d'atteinte des objectifs. (Marceau R. , et F.
Sylvain, à paraïtre)
Les données recueillies par l'Institut de la
statistique du Québec sur l'économie ou la Selon la nature de ces résultats, il sera
population sont produites pour différents question d'efficacité opérationnelle (efficacité
usages. Dans le cadre de plusieurs évaluations, dans la production de biens et services) ou
elles constituent des données secondaires. d'efficacité de l' intervention (efficacité dans
l'atteinte des effets visés sur les clientèles
ciblées des interventions).
-E-
Efficience (Efficiency)
Économie (Economy)
Rapport entre les résultats et les ressources
Signifie le non-gaspillage d'une ressource : le utilisées pour les atteindre. (Marceau R., et F.
coût des ressources utilisées en temps Sylvain, à paraïtre)
opportun se rapproche de la quantité minimale
de ressources nécessaires afin d'obtenir les L'efficience sera qualifiée d'opérationnelle dans
le cas où les biens et services produits sont
résultats attendus.
considérés. L'efficience d'intervention
En évaluation, l'économie est un critère de exprimera le rapport entre les résultats, en
rendement comme le sont aussi l'efficacité et termes d'effets sur la société, et les ressources
l'efficience. qui ont été nécessaires pour les obtenir.
L'efficience appréhendée de manière globale
Effet (Outcome) prend en compte les effets non ciblés, positifs
Conséquence attribuable à l'intervention. comme négatifs, des interventions.
(Marceau R., et F. Sylvain, à paraïtre)

Ces mêmes conséquences ou effets peuvent Efficience relative (Relative efficiency)


être positifs ou négatifs, visés ou imprévus Résultat de la comparaison entre les efficiences
(Annexe 1). d'interventions ayant des raisons d'être ou des
Généralement, c'est le changement suscité par natures d'intervention similaires ou proches.
l'offre de biens et services d'une intervention
(extrants). Les effets d'une intervention Élément de programme budgétaire (ou volet)
publique sur la population ou la société peuvent (Program component)
être déclinés de manière temporelle : effet à L'élément est une subdivision plus détaillée
court terme, effet à moyen terme et effet à long d'un programme budgétaire et sert à refléter
terme, ou de manière séquentielle : effet direct, différents champs d'intervention.
effet intermédiaire et effet ultime (final) .
Dans une dynamique de « gestion axée sur les Ces derniers regroupent les crédits destinés à
résultats », le terme résultat est assimilable aux la mise en œuvre d'un ensemble cohérent
effets visés, anticipés et positifs d'une d'activités qui concourent à la réalisation

76
PROJET
d'objectifs pour lesquels il est possible de Envergure d'une étude, d'une recherche, d'une
rendre compte. évaluation.
Terme connexe : Portée.
Enquête (Investigation}
Technique de cueillette d'information auprès Évaluabilité (étude d') (Evaluability assessment)
d'une population donnée en vue de connaître
Appréciation de la disposition d'one initiative à
son opinion, son comportement ou sa situation
être évaluée considérant le contexte
concernant un sujet particulier. Elle procède par
économique, politique, sociale, etc.
le biais de questionnaires.
Une analyse de l'évaluabilité permet de
Enseignement tiré (Lesson} déterminer si une évaluation est appropriée,
réalisable et susceptible de fournir une
Ensemble de leçons, applicable à une situation information utile. Elle démontre qu'une
générale, destiné aux parties prenantes d'une intervention peut, ou non, être évaluée et
évaluation, mais qui peut également indiquer fournir la réponse attendue au client de
des « pratiques optimales » à l'intention l'évaluation, mais. également si la conduite
d'autres évaluateurs, lorsque documentées. d'une évaluation pourra vraisemblablement
contribuer à améliorer le rendement et la
Équipe d'évaluation (Evaluation team} gestion de l'intervention concernée.
Groupe de spécialistes à qui la planification et À distinguer de l'étude préparatoire qui se veut
la conduite d'une évaluation sont confiées. · un exercice de planification d'une évaluation qui
Les membres de l'équipe d'évaluation sont comprend généralement :
préférablement choisis de manière à favoriser 1. Une description du programme et du
une évaluation juste et objective. Parmi eux se contexte;
trouvent généralement des spécialistes de la
démarche d'évaluation . Des responsables de 2. Une identification des utilisateurs et du
l'initiative évaluée sont aussi souvent comptés mandat;
dans l'équipe. 3. Les questions d'évaluation;

Étalonnage (Benchmarking} 4. Les stratégies de recherche;

L'action d'identifier, de comparer, de 5. Les options de devis;


comprendre et d'adapter les pratiques en cours 6. Les modalités de l'évaluation .
dans une organisation sur .la base
d'observations faites ailleurs. La comparaison Évaluateur (Evaluator)
des résultats d'une organisation aux résultats
des organisations démontrant les meilleures Personne qui réalise une évaluation ou qui fait
pratiques aide les premières à se positionner partie d'une équipe d'évaluation et qui se
en termes d'efficacité et d'efficience pour spécialise dans le domaine de l'évaluation
s'améliorer. d'intervention.

Parmi les types d'étalonnage qui se pratiquent, Idéalement, cette personne intervient à toutes
on retrouve fréquemment l'étalonnage ·interne les étapes d'une évaluation : au moment de la
(au sein de l'organisation), l'étalonnage définition du mandat, lors de la collecte et
concurrentiel (avec des organisations l'analyse des données, dans la rédaction des
concurrentes au sujet des activités) et rapports (comprenant des recommandations) et
l'étalonnage générique (avec des organisations pour présenter les résultats des travaux.
de secteurs d'activités différents, mais opérant
des processus similaires) . Évaluation (Evaluation)
Terme connexe: Analyse comparative. Champ de connaissances et de pratique
composé de plusieurs domaines et qui vise à
Étendue (Scope} déterminer la valeur d'une chose. (Marceau R.,
et F. Sylvain, à paraÎtre)
Ampleur et degré de détail.
Évaluation de programme (Program evaluation}

77
PROJET
Champ de connaissances et de pratique qui Terme connexe : Évaluation de la mise en
vise à déterminer la valeur d'une intervention œuvre.
pour la société. (Marceau R. , et F. Sylvain, à
paraitre) Évaluation de besoins (Needs assessment)
Dans la pratique : Démarche rigoureuse et Évaluation visant à fournir de l'information
systématique de collecte et d'analyse de valide sur les principaux problèmes et sur les
données probantes sur les interventions afin de besoins ou la persistance de besoins d'une
les améliorer ou de poser un jugement sur leur population justifiant une action.
valeur et, ainsi , d'éclairer la prise de décision.
Une évaluation de besoin établit l'écart entre la
Elle permet de juger · la pertinence de situation actuelle et souhaitée. Les objectifs de
l'intervention, l'efficacité avec laquelle ses l'initiative à mettre sur pied, le cas échéant,
objectifs sont poursuivis, l'efficience des devraient être formulés pour combler cet écart.
moyens mis en place et son impact.
Les critères de jugement communément Évaluation de mise en œuvre (Implementation
appliqués sont la pertinence, l'efficacité, evaluation)
l'efficience et occasionnellement la viabilité des
Évaluation qui s'intéresse au fonctionnement
programmes. d'une initiative et qui vise à cerner les facteurs
La validité, la fidélité, la crédibilité et l'utilité sont internes et externes affectant son déroulement.
des qualités fondamentales des évaluations.
Remarque : le terme anglais amène une
certaine confusion entre l'évaluation
Évaluation à mi-parcours (Mid-term evaluation) d'implantation d'une nouvelle initiative et les
Évaluation effectuée à la mi-parcours de la évaluations de mise en œuvre.
mise en œuvre des initiatives. Elle porte Terme connexe : Évaluation d'implantation.
généralement sur les questions opérationnelles
ainsi que sur le rendement de l'intervention afin Évaluation de rendement (Performance
de dégager de premières conclusions et
evaluation)
recommandations pour la suite des opérations.
Évaluation visant à déterminer si le coût des
Terme connexe : Évaluation formative.
ressources investies dans l'initiative justifie les
bénéfices qu'ils génèrent.
Évaluation a priori (Ex ante evaluation)
Elle implique généralement le suivi des effets
Voir : Évaluation ex ante. de l'initiative à l'aide d'évaluation, mais aussi
d'autres études et rapports.
Évaluation d'impact (Impact assessment)
L'évaluation d'impact est un type particulier Évaluation des effets (Impact evaluation)
d'évaluation qui vise à répondre à des Voir : Évaluation d'impact.
questions de causalité. Elle identifie les effets
positifs ou négatifs, attendus ou non, sur la
Évaluation économique (Economie evaluation)
population cible, les institutions,
l'environnement et la population en général Évaluation qui consiste à comparer les
d'une intervention publique. avantages et les coûts respectifs de différentes
interventions (programme ou initiative) afin de
C'est généralement une évaluation à long
déterminer l'allocation optimale possible des
terme que couvre l'ensemble des effets
ressources.
produits sur l'ensemble des domaines
concernés d'une initiative. L'objectif est de mesurer l'efficience, ou l'utilité
de l'argent dépensé pour une intervention par
Évaluation d'implantation (Evaluation of the rapport à une autre, de produire des
implementation) renseignements en vue d'éclairer la prise de
décision .
Évaluation d'une nouvelle initiative dans les
aspects relatifs à son déploiement dans le Évaluation ex ante (Ex ante evaluation)
temps et dans l'espace .

78
PROJ ET
Évaluation qui précède l'implantation d'une Évaluation dont l'objectif est de brosser en
intervention afin de concevoir la façon optimale cours de mise en œuvre d'une initiative un
dont elle doit être mise en œuvre pour viser les portrait du fonctionnement des activités dans
effets escomptés à un coût minimal. une perspective d'amélioration.
Puisqu'il est en amont du déploiement de Ce type d'évaluation est souvent conduit par
l'intervention, ce type d'évaluation procure une des personnes à l'emploi de l'organisation
idée des effets à atteindre à la suite de la mise concernée.
en œuvre de l'intervention tout en donnant des
Terme c_onnexe : Évaluation de processus.
informations sur les données qui seront
nécessaires à l'évaluation sommative.
Évaluation participative (Participatory evaluation)
Terme connexe : Évaluation à priori, Évaluation
préalable. Évaluation qui engage (directement et
activement) les différentes parties prenantes
d'une initiative dans sa planification et ·sa
Évaluation ex post (Ex post evaluation)
réalisation (gestionnaires de programme,
Évaluation d'une intervention lorsqu'elle est bénéficiaires, citoyens, etc.). Ceux-ci prennent
terminée ou au moment où il devient pertinent part aux différentes étapes de l'évaluation.
d'en faire le bilan . Celle-ci peut être réalisée
Les parties prenantes acquièrent des habiletés,
tout de suite après l'achèvement de
des connaissances et de la crédibilité tout au
l'intervention ou longtemps après.
long du processus. Ces acquis leur permettent
L'objectif de ce type d'évaluation est d'identifier de renforcer leur pouvoir d'action et d'alimenter
les facteurs de succès ou d'échec, d'apprécier la réflexion et l'analyse suscitées par
la durabilité des résultats et de tirer des l'évaluation.
conclusions qui pourront être généralisées ou
étendues à d'autres actions. Évaluation sommative (Summative evaluation)
Évaluation dont l'objectif est de tirer des
Évaluation externe (Externat evaluation)
conclusions et de poser un jugement sur la
Évaluation effectuée par des évaluateurs qui valeur d'une initiative.
sont extérieurs à l'organisation concernée et qui
Elle permet de déterminer si une initiative est
n'ont idéalement aucun intérêt pouvant
toujours pertinente, si on doit la poursuivre, la
influencer leur jugement.
supprimer ou la transformer.

Évaluation groupée ou intégrée (Ciuster Examen (Review)


evaluation) Action d'étudier, d'observer minutieusement
Évaluation regroupant, au sein d'une même une situation pour apprendre, la comprendre ou
évaluation, les initiatives similaires de façon à encore ajuster son comportement.
comprendre et résoudre les problèmes
communs. Extrant (Output)
Cette approche permet de déterminer dans Bien ou service issu des activités de
quelle mesure l'ensemble des projets répond production.
aux objectifs. Elle implique une
responsabilisation et un partenariat renforcé Leur production étant habituellement sous le
contrôle exclusif de l'organisation, les extrants
des parties prenantes des interventions visant
sont observables et mesurables
les mêmes objectifs.
(quantitativement ou qualitativement).
Évaluation interne (Internat evaluation) Par exemple : un document d'information,
l'aménagement de parcs, la dispensation de
Évaluation effectuée par des évaluateurs à services de renseignements, une subvention,
l'emploi de l'organisation. etc.
Évaluation formative (Formative evaluation)
-F-

79
PROJET
Fiabilité (Reliability) variable dépendante du groupe expérimental
avec ceux d'un groupe contrôle.
Mesure dans laquelle les données obtenues
peuvent être reproduites grâce à la qualité des
instruments et des procédures utilisées. -H-
Les résultats mesurés par l'indicateur doivent
Habilitation (Empowerment)
être constants et stables dans le temps si la
situation ne change pas et doivent faire Pratique de gestion de partage d'information,
ressortir les variations significatives, le cas de récompenses, et de responsabilités avec les
échéant. Lorsqu'un indicateur est fiable, il n'en employés afin qu'ils puissent prendre des
existe qu'une seule définition et ses limites sont initiatives et des décisions afin de résoudre les
connues. problèmes et améliorer les services eux-
mêmes.
Terme connexe : Fidélité.
L'habilitation est basée sur l'idée qu'en donnant
-G- aux employés les ressources, l'autorité, des
opportunités, la motivation, ainsi que la
responsabilité de rendre des . comptes, les
Gestion axée sur les résultats (Results-based résultats de leurs actions contribueront à leur
management) compétence et à leur satisfaction.
Dans l'administration publique québécoise :
Hypothèse (Hypothesis)
Approche de gestion qui prend en considération
les attentes exprimées par les citoyens en Dans le contexte de l'évaluation, supposition
fonction des ressources disponibles, afin relative à l'explication de facteurs ou de
d'atteindre des résultats en fonction d'objectifs phénomènes selon une approche théorique
préalablement établis. d'enchaînements de causes à effet menant aux
·effets attendus. Ces suppositions doivent être
Elle s'exerce dans un contexte de validées dans le cadre d'une évaluation .
transparence, de responsabilisation et de
flexibilité quant aux moyens utilisés pour
atteindre les résultats visés. -1-
Elle se concentre sur les r~sultats de Impact (Impact)
l'organisation plutôt que sur les règles et les
procédures en accordant, selon les situations, Somme des effets positifs et négatifs, visés,
le choix des moyens. anticipés et non anticipés, qui découlent d'une
intervention directement ou indirectement.
Groupe contrôle (Control group)
Indépendance (lndependence)
Groupe composé de personnes ou d'objets qui,
lors d'une expérimentation, ne reçoivent pas le Situation où aucune personne ou autorité n'a
traitement afin de comparer les résultats sur la de contrôle ou d'influence sur l'action.
variable dépendante du groupe expérimental
L'indépendance implique une liberté par rapport
avec ceux du groupe contrôle.
aux influences politiques et aux pressions des
organisations. Elle est caractérisée par l'accès
Groupe équivalent (Equivalent group) libre et complet à l'information et par une
Groupe composé d'un mélange de personnes autonomie totale pour mener des investigations
ou d'objets dont les caractéristiques pertinentes et en rendre compte.
sont voulues proches de celles du groupe Une évaluation indépendante est une
expérimental aux fins de comparaison. évaluation conduite par des services ou des
personnes non liés aux responsables de la
Groupe expérimental (Experimental group) conception et de la mise en œuvre de l'initiative
Lors d'une expérimentation , groupe composé évaluée.
de personnes ou d'objets qui reçoivent le Terme connexe : Neutralité.
traitement afin de comparer les résultats sur la

80
PROJET
Indicateur (lndicator) décrit le contexte dans lequel les travaux
s'inscrivent, en établit les objectifs et en cadre
Mesure qui sert à évaluer ou à apprécier les la portée.
résultats, l'utilisation des ressources, l'état
d'avancement des travaux, le contexte ou l'une
Mesure du rendement (Performance
des composantes d'une variable.
measurement)
L'indicateur permet d'apprécier un phénomène
qualitativement ou quantitativement à l'aide de Processus de collecte, d'interprétation et
valeurs utilisées comme point de repère. Les d'élaboration continue de données avec comme
indicateurs doivent présenter les but de mesurer objectivement la manière dont
caractéristiques suivantes : validité, fiabilité et les initiatives livrent les biens et services et
accessibilité en termes de disponibilité, de coût contribuent à l'atteinte des objectifs et
et de délai de production. l'obtention des résultats qui en sont attendus.

Indicateur de performance (Performance Mesure supplétive ou indicateur supplétif (Proxy


indicator) indicator) ·

Un indicateur de performance mesure le succès Variable ou indicateur de remplacement qui


en termes d'efficacité ou d'efficience à l'aide permet de mesurer indirectement un concept
d'une caractéristique ou d'une dimension trop difficile ou impossible à mesurer
particulière des résultats visés d'une initiative directement.
(extrants ou effets). Ces résultats sont précisés Synonyme: Indicateur de substitution ou de
dans le cadre théorique de l'initiative ou déduits remplacement.
de la théorie du changement sous-jacente.
Méta-évaluation (Meta-evaluation)
Intention (Purpose)
Évaluation conçue comme une synthèse des
Souhait exprimé quant à la résultante d'une enseignements tirés de plusieurs évaluations.
intervention. (Marceau R., et F. Sylvain, à paraître) Ce type d'évaluation peut aussi être utilisé pour
juger une évaluation en vue de se positionner
Initiative (Initiative) sur sa qualité ou d'apprécier l'adéquation et la
rigueur des approches et des travaux menés
Toute action planifiée et conduite dans
par les évaluateurs.
l'intention d'atteindre des effets définis en
termes de changements, souvent l'atténuation
ou la résolution d'un problème. Il englobe les Mise en œuvre (Implementation)
politiques, les programmes de subvention, les Concrétisation des moyens retenus pour
contributions, les projets d'amélioration, etc. répondre aux intentions de l'intervention.
(Marceau R. , et F. Sylvain, à paraitre)
lntrant (Input)
Modèle logique (Logic mode/)
Ressources humaines, financières, matérielles
et informationnelles utilisées pour mener à bien Illustration de la relation causale ou du lien
les activités de production . logique entre les éléments d'une intervention :
intrants, activités, extrants et effets (ou
Ce sont, par exemple; du personnel, des fonds,
résultats).
des locaux, des logiciels.
Synonyme : Cadre logique.
-M-
Modèle de problématique (Problem mode/)
Mandat (Terms of reference) Ensemble d'éléments d'une situation sociale
Acte délégué à une tierce personne afin qu'elle qui révèlent un problème, ses causes et ses
exécute une tâche ou des travaux en vue conséquences. (Marceau R., et F. Sylvain à
paraître) '
d'accomplir un but.
Le processus courant d'élaboration de modèle
Dans le contexte de l'évaluation, le mandat
de problématique implique de rassembler les
d'évaluation prend la forme d'un document qui

81
PROJET
études du problème sujet à l'origine de L'objectif est une déclaration sur l'ampleur des
l'intervention, d'identifier l'ensemble des changements désirés.. Il témoigne de ses
variables présentes, d'établir des liens, de ambitions.
construire le modèle puis de le faire valider.
Idéalement, les objectifs sont : spécifiques,
mesurables, appropriés, réalistes et délimités
-N- dans le temps (SMART).
Deux types d'objectifs sont g.énéralement
Nature d'intervention (Nature of the intervention) poursuivis :
Le moyen ou le mécanisme retenu ou choisi Des objectifs opérationnels : quantitatifs ou
pour intervenir et permettre à l'initiative qualitatifs. Ce sont les objectifs liés au
d'atteindre ses objectifs de façon cohérente processus de l'intervention et de sa mise en
avec sa raison d'être. (Adapté de : Marceau R., et œuvre par l'organisation;
F. Sylvain, à paraître)
Des objectifs d'intervention. Ce sont les
Les natures d'interventions courantes sont la objectifs liés directement aux effets attendus de
persuasion ou l'éducation (sensibilisation), la l'intervention.
réglementation, la subvention, la taxe, la
propriété publique et l'assignation de droits de -P-
propriété.
Une description de la nature d'intervention Parties prenantes (Stakeho/ders)
devrait préciser les effets anticipés devant
répondre aux intentions de l'intervention en se Les diverses entités (gouvernement, ministères,
sociétés, organismes, communautés, individus,
référant à la théorie du programme.
etc.) directement et indirectement touchées par
Synonyme : Moyen d'intervention. la mise en œuvre et les résultats d'une
intervention publique et qui sont susceptibles
Neutralité (Neutrality) d'avoir un intérêt dans son évaluation .
Dans le contexte de l'évaluation, l'état d'une
Performance (Performance)
personne ou d'un mécanisme d'enquête, de
collecte de données et de conclusions qui Degré d'accomplissement des objectifs établis
demeure libre de toute influence et qui ne vise par une organisation mesuré à l'aide
ni un but prédéterminé ni le renforcement d'une d'indicateurs et intégrant plusieurs paramètres
position donnée. propres à un ministère ou un organisme. Pour
apprécier la performance, l'un des paramètres
La neutralité devrait être une caractéristique
utilisés pour mesurer l'atteinte des résultats est
des évaluations indépendantes.
celui du rendement.
Terme connexe : Indépendance.
Dans l'administration publique québécoise :
Norme (Standard) Une organisation performante s'acquitte de sa
mission en atteignant les objectifs stratégiques
Définition , limite ou règle écrite et approuvée et les objectifs de qualité de services aux
assurant la conformité des attentes autant en citoyens (efficacité}, en utilisant de manière
termes de qualité que d'efficacité, d'efficience, économique les ressources (efficience}, en
de sécurité ou autre. maintenant un climat de travail adéquat et en
offrant des biens et services de qualité dans le
-0- respect des lois et règlements qui s'appliquent.

Objectif (Objective) Voir : Efficacité, Efficience, Rendement.


État souhaité et mesurable d'une situation
après l'action. (Marceau R., et F. Sylvain, à Pertinence (Relevance)
paraître)
Mesure selon laquelle une intervention répond
de façon appropriée à un besoin d'une
population ciblée.

82
PROJET
Rétrospectivement, la question de la pertinence Document qui précise le cadre de gestion des
consiste souvent à . s'interroger sur le fait de activités d'évaluation dans l'organisation.
savoir si les objectifs de l'intervention ou sa
La politique interne en matière d'évaluation
conception sont encore appropriés compte tenu
traite généralement des conditions permettant
de l'évolution du contexte.
d'assurer l'indépendance du responsable de
l'évaluation, des rôles et des responsabilités
Plan (Plan) des personnes impliquées et des champs
Recension des actions prévues visant à d'appréciation. Elle traite également de la
atteindre l'objectif spécifique ou les objectifs planification des travaux, de leur exécution, du
dans un délai prescrit. Il explique ce qui doit financement des travaux, de la reddition de
être fait, quand, comment et par qui. comptes et de la diffusion des résultats.

Plan d'évaluation (Evaluation plan) Population cible (Target population)


Document qui présente comment l'équipe Groupe de personnes ou d'organisations sur
d'évaluation prévoit mener l'évaluation qui l'initiative est censée exercer une influence
demandée à terme sur un horizon déterminé et bénéfique.
qui précise les différentes étapes des travaux. Synonyme : Groupe cible.
Ces informations favorisent la prise en compte
des objectifs opérationnels du ministère, ses Portée (Scope)
buts, ses échéanciers, ses plans de dotation et
Dans le contexte de l'évaluation, la portée est
ses budgets.
déterminée par la couverture de l'initiative
Le plan d'évaluation est une partie concernée, en incluant l'identification des
fondamentale de tout cadre d'évaluation. aspects à examiner et l'horizon temporel de la
période à évaluer.
Terme connexe : Cadre d'évaluation.
Les aspects examinés plus spécifiquement
Plan stratégique (Strategie plan) sont : les besoins, les moyens, les coûts, les
processus opérationnels et les résultats.
Plan réalisé par une organisation qui porte sur
ses objectifs fondamentaux, généralement à Ces aspects peuvent tout autant être examinés
long terme, et qui traite des actions importantes sous l'angle de la pertinence, de l'efficacité et
à mener en fonction de ses choix stratégiques. de l'efficience.
Dans l'administration publique québécoise : Terme connexe : Étendue.
Ce plan comporte les éléments suivants : une
Problématique (Problem theory)
description de la mission de l'organisation, le
contexte dans lequel elle évolue, les principaux Ensemble d'éléments d'une situation sociale
enjeux auxquels elle fait face, les orientations, qui révèlent un problème, ses causes et ses
les objectifs, les axes d'intervention retenus, les conséquences. (Marceau R., et F. Sylvain, à
résultats visés et, enfin, les indicateurs paraitre)
pertinents pour les suivis du rendement.
Processus (Process)
Politique (Policy) Ensemble d'activités logiquement liées et
Ligne directrice officielle ou ensemble orientées en vue d'un résultat attendu.
d'objectifs gouvernementaux généraux qui
Un processus permet la transformation
influencent les comportements au moyen d'intrants en e:Xtrants recherchés.
normalement d'un ou des programmes qui leur
sont liés en vue de l'atteinte d'un résultat
Productivité (Productivity)
attendu.
Rapport entre la quantité des biens et services
Politique interne en matière d'évaluation (Interna/ produits (extrants) et la quantité de ressources
policy evaluation) utilisées pour leur production (intrants).

83
PROJET
Cette mesure de l'utilisation efficiente des L'ampleur et la nature du problème doivent être
ressources peut être mesurée sur la base d'un documentées à l'aide de données probantes
ou de plusieurs intrants. afin de légitimer l'action.

Programme (Program) Réalisation (Achievement)


Ensemble cohérent et structuré d'objectifs, L'action d'accomplir ou son résultat. Initiative
d'activités et de ressources (humaines, accomplie avec succès, en particulier par le
financières, matérielles et informationnelles) biais de l'effort, de la compétence, de la
réunis pour offrir des biens et des services pratique ou de la persévérance.
spécifiques qui répondent à un ou des besoins
Dans le contexte de l'évaluation, une réalisation
précis d'une population ciblée.
équivaudrait à l'accomplissement par une
Un programme budgétaire regroupe les crédits initiative donnée des activités prévues à la
destinés à la mise en œuvre d'un ensemble hauteur des attentes et à l'obtention des
cohérent d'activités qui concourent à la résultats qui en étaient espérés.
réalisation d'objectifs pour lesquels il est
possible de rendre compte . Le vote des crédits Recommandation (Recommendation)
par les membres de l'Assemblée nationale se
fait par programmes. Proposition qui a pour but d'améliorer une
initiative ou une action notamment ses
résultats, son efficacité et son efficience.
-Q-
Une recommandation doit . découler
logiquement des observations et constatations
Qualitatif (Qualitative)
faites à la suite de l'analyse des données de
Caractéristique d'une information associée à la suivi de gestion et d'évaluation et des
qualité subjective d'une chose ou d'un conclusions qui en sont tirées. Elle peut
phénomène, par exemple la sensation, le goût, concerner notamment la conception des
le degré d'expertise, l'image, le leadership, la initiatives, leur gestion opérationnelle et les
réputation. choix d'allocation des ressources. Elle précise
normalement les parties responsables de
Les aspects qualitatifs sont abstraits; soit ils ne
mettre en œuvre les recommandations.
nécessitent pas de mesure ou ne peuvent être
estimés. Les informations qualitatives peuvent
être classées selon des catégories, par Reddition de comptes (Accountability)
exemple : « excellente », « moyenne », Opération qui découle de l'obligation de
« inférieure à la moyenne ». répondre de l'exercice d'une responsabilité qui
a été conférée, à un ministère ou un organisme
Quantitatif (Quantitative) par exemple.
Caractéristique d'une information qui peut être La reddition de comptes consiste à démontrer
dénombrée ou exprimée en termes numériques que le travail fait l'a été dans le respect des
ou exprimée par rapport à une échelle. règles et des normes convenues et à faire
rapport fidèlement et avec précision du
L'information peut être associée à un objectif de
rendement des ressources en vue de l'atteinte
qualité d'une chose ou d'un phénomène qui est
des résultats attendus.
mesurable et vérifiable.
Dans l'administration publique québécoise :
-R- La reddition de comptes vise à démonter
l'adéquation entre la m1ss1on, le plan
Raison d'être (Relevance) stratégique, les obligations législatives, les
capacités organisationnelles et les résultats
. Dans J'administration publique québécoise :
atteints.
Ensemble des motifs qui légitiment l'existence La reddition de comptes comporte deux
d'une intervention publique. (Marceau R., et F
nivea\JX :
Sylvain, à paraÎtre)

84
PROJET
La reddition de comptes interne concerne celle face aux citoyens et suppose que les
qui se fait des échelons inférieurs d'une gestionnaires des ressources publiques soient
organisation vers la haute direction de cette prêts à faire rapport ouvertement des résultats
même organisation, par exemple un directeur atteints par leur organisation.
ou un sous-ministre;
La reddition de comptes externe est celle qui Ressource (Resource}
est faite par la direction ou les instances Ensemble des moyens financiers, humains,
gouvernantes d'une organisation face aux matériels et informationnels utilisés pour mettre
personnes devant qui elles sont redevables, par en œuvre des activités.
exemple l'Assemblée nationale ou la population
dans le cas des ministères et organismes Résultat (Result}
publics.
Extrants et effets ou bénéfices intentionnels
Référentiel (Frame of reference} visés des activités des organisations et des
initiatives qu'elles mettent de l'avant.
Ensemble d'éléments servant à décrire les
fondements d'une intervention et permettant Préférablement, pour éviter la confusion, le
notamment d'en établir les critères d'évaluation. terme résultat devrait être réservé aux extrants
(Adapté de : Marceau R., et F. Sylvain, à paraitre) et aux effets intentionnels (attendus, visés,
ciblés) des actions. (Annexe 1)
Le référentiel inclut une présentation des
éléments suivants : Les premiers, soit les biens ou les services
découlant des activités ou des opérations,
Contexte d'intervention; seront alors qualifiés de « résultats
Raison d'être d'intervention ; opérationnels» .

Objectifs d'intervention; Les seconds seront qualifiés de résultats


d'intervention ou de résultats sociétaux. Ils
Nature d'intervention. résultent des changements de situation ou de
comportement provoqués par le contact avec
Rendement (Performance} les biens et services rendus disponibles :
Mesure avec laquelle une initiative démontre renseignements, aide financière, éducation,
soin, etc.
économie dans les ressources utilisées,
efficacité dans la production des résultats Les résultats « d'intervention » seront dits
attendus et efficience. directs, intermédiaires ou ultimes (finaux) selon
Tout rendement est apprécié par rapport à une leur position séquentielle dans la chaîne des
donnée de référence. Les bases de résultats ou , alternativement, qualifiés de
comparaison possibles sont : résultats à court, moyen ou long terme selon
leur horizon de réalisation.
Ce que l'organisation accomplit jusqu'à présent
Aux résultats opérationnels et aux avantages et
(le rendement passé);
bénéfices que ces derniers induisent
Ce qui a été proposé comme cible ou objectif s'observent généralement des extrants non
de rendement à atteindre; · recherchés (par exemple des sous-produits et
déchets) et des effets (conséquences ou
Ce qui peut être réalisé considérant les
retombées) non intentionnels, positifs . ou
circonstances;
négatifs, anticipés ou non. Ceux-ci ne devraient
Le rendement que d'autres organisations sont pas être qualifiés de résultats, bien qu'ils
capables d'atteindre. doivent être pris en compte au moment de juger
de la valeur des initiatives.
Responsabilisation (Accountability} Contrairement aux extrants dont la production
Action de rendre quelqu'un responsable en est en grande partie sous le contrôle des
identifiant clairement ses responsabilités et organisations, les résultats en termes d'effets
l'obligation de répondre de son rendement. sur la société ne sont trouvés que dans la
sphère d'influence de celles-ci.
Une responsabilisation de l'appareil
gouvernemental le rend davantage transparent

85
PROJET
Termes connexes : Effet, Impact, Livrables, Soutien-conseil (Advisory support)
Réalisation , Retombée.
Action d'offrir, par l'intermédiaire d'une
personne ou d'un groupe de personnes, de
Résultat stratégique (Strategie result)
l'assistance de manière indépendante en
Avantage durable pour les citoyens qui découle continu ou encore de manière ponctuelle, à la
des responsabilités confiées à une organisation demande.
et des biens et services qu'elle offre.
Souvent recommandé en amont avant
Un résultat stratégique est un résultat qu'une l'application ou le déploiement d'une
organisation souhaite obtenir pour le bénéfice intervention ou d'une mesure.
du citoyen .
Synonyme : Appui-conseil.
Rétroaction (Feedback)
Stratégie d'évaluation (Evaluation strategy)
Processus de transmission de renseignements
Aperçu de la manière dont il est prévu de
pertinents provenant d'activités de suivi et
trouver réponse aux différentes questions
d'évaluation aux personnes qui peuvent en tirer
d'évaluations posées.
des leçons utiles et pertinentes, de manière à
favoriser l'apprentissage et à éclairer les Une stratégie d'évaluation est un plan qui
décisions. propose les moyens considérés les plus
adéquats et efficaces (analyse des données
Risque (Risk) administratives, consultation de données
secondaires, enquêtes, entretiens, groupes de
Éventualité qu'un danger ou une incertitude discussions, observations, mesures, etc.) pour
plus ou moins prévisible compromette l'atteinte assurer la collecte des données nécessaire
des objectifs, le fonctionnement d'une pour répondre aux questions d'évaluation
organisation ou celui de l'une de ses activités. posées et juger de la valeur de l'initiative
Une gestion du risque est la meilleure façon de concernée.
procéder lors de circonstances incertaines en $elon le temps et les ressources à consacrer
établissant une · démarche systématique et aux travaux, la stratégie d'évaluation peut varier
rigoureuse d'évaluation des risques, de leur considérablement.
compréhension et des procédures à suivre.
Suivi (Monitoring}
-S-
Examen continu ou périodique des activités et
des extrants d'une activité effectué dans le but
Savoir (Knowledge) de renseigner sur le déroulement de celles-ci et
Ensemble de connaissances capable d'inspirer d'apporter des correctifs sans tarder lorsque la
des changements ou de susciter des actions en situation s'écarte des objectifs recherchés.
fonction d'un contexte plus large permettant Les suivis ont pour fonction de fournir aux
d'alimenter un nouvel apprentissage. responsables et aux parties prenantes des
La gestion du savoir implique la création, le initiatives ou des activités un retour
partage et la recherche de nouvelles d!information régulier concernant le progrès ou
connaissances à l'aide de mécanismes et l'absence de progrès dans la réalisation des
procédures pour réunir, organiser, présenter et résultats attendus.
diffuser l'information au moment opportun pour Ce suivi sert de base documentée permettant
les décideurs. de tirer des constatations préliminaires
nécessaires pour concrétiser et procéder aux
Sondage (Survey) changements voulus.
Opération consistant à interroger un certain
nombre d'individus au sein d'une population -T-
déterminée afin d'étudier une ou plusieurs de
ses caractéristiques en utilisant des méthodes Théorie du changement (Theory of change)
statistiques adaptées.

86
PROJET
La théorie du changement offre un portrait -V-
permettant d'identifier les conditions préalables,
les parcours et les actions nécessaires au
succès de l'initiative. Elle permet de lier Valeur (Value for money)
logiquement les activités aux objectifs de En évaluation, la valeur d'une initiative
l'initiative. correspond à la mesure avec laquelle celle-ci
démontre pertinence et rendement.
Théorie du programme (Program theory)
La synthèse des observations et des analyses
La théorie du programme correspond à la sur l'intervention se traduit en jugement sur la
théorie explicite de la façon dont le programme valeur. En d'autres termes, la valeur exprime ou
prévoit obtenir les résultats attendus. Les reflète l'importance de la contribution de
hypothèses concernant les ressources et les l'intervention dans la résolution du problème
activités et la manière dont celles-ci conduiront pour lequel il a été mis de l'avant.
aux résultats attendus y sont exposées,
expliquées, et justifiées. Valeur actuelle nette VAN (Net present value)
La théorie du programme présente la théorie du La valeur actuelle nette est la valeur que
changement qui en est sous-jacente et qui représente aujourd'hui un investissement
représente la manière dont une initiative est s'échelonnant sur plusieurs années.
supposée mener aux résultats espérés.
Elle est calculée à partir du cumul des flux nets
de trésorerie (différence entre les recettes et les
Transparence (Transparency)
dépenses d'exploitation année par année)
Qualité d'une personne ou d'une organisation actualisés jusqu'à l'année où nous voulons
qui transmet de manière fidèle et précise les l'information et en tenant compte de
informations concernant son fonctionnement, l'investissement initial.
ses pratiques, ses. intentions, ses objectifs et
Terme connexe : Actualisation .
ses résultats afin, notamment, de permettre une
compréhension suffisante de la logique derrière
les gestes posés. Validité (Validity)
Dans l'administration publique québécoise : Critère de qualité d'une mesure. La validité
correspond à la mesure avec laquelle une
La transparence est une qualité recherchée variable représente ce qu'elle est supposée
pour sa capacité à renforcer le lien de représenter ou dans le cas d'une méthode de
confiance entre les gestionnaires des mesure, ce qu'elle est supposée mesurer.
organisations publiques et les citoyens.
La validité peut se décomposer selon les deux
perspectives suivantes :
Triangulation (Multiple-/ines of evidence)
Validité interne : Caractéristique selon laquelle
Approche utilisée en recherche sociale ou
les résultats sont directement en lien avec les
stratégie de recherche, consistant à combiner
objectifs visés. Deux facteurs contribuent à la
et à comparer au moins trois différentes
validité interne : sa pertinence et sa convivialité.
sources de données, méthodes de collecte
d'information, démarches d'analyse pour Validité externe : Caractéristique selon laquelle
vérifier et soutenir une appréciation ou un point les résultats mesurés dans une situation
de vue. peuvent être comparés avec ceux mesurés
dans d'autres situations analogues de façon à
La triangulation permet d'appréhender de
pouvoir comparer les constats à d'autres
manière plus large un phénomène ou un
contextes.
construit et de réduire les biais inhérents au
recours à une source unique d'information, à un
informateur unique, à une méthode de collecte Variable (Variable)
unique, à une seule théorie, etc. Caractéristique observable ou mesurable qui
Elle constitue un critère permettant de juger de peut prendre différentes valeurs autant
la rigueur d'une recherche. quantitatives que qualitatives.

87
PROJET .
Les variables sont dites dépendantes quand et de l'efficience des activités et la validation
elles subissent l'influence d'autres variables et des données du rapport annuel de gestion et
indépendantes lorsqu'elles exercent une des contrôles afférents.
influence sur une autre variable ou en
expliquent les variations. Viabilité (Viability)
Les variables peuvent être de différentes Caractère de ce qui est viable ou qui va durer.
natures :
En évaluation, on pourrait qualifier les effets
Les variables nominales sont celles qui se d'une intervention sur une population en
présentent en classes identifiées par des noms, fonction de son éventuel succès ou échec en
par exemple le sexe (féminin, masculin), la termes de viabilité ou non. Les effets d'une
localité (Québec, Montréat Sherbrooke), la intervention viable devraient apparaître après
profession (mécanicien, conseiller, comptable), un certain temps et continuer dans le temps,
etc.; résistant aux changements de contexte.
Les variables ordinales, souvent nominales Terme connexe : Pérennité.
sont celles qui établissent une relation d'ordre
entre les différents éléments proposés, par
exemple la catégorie d'âge (moins de 25 ans, 5
ans ou plus), la grandeur (petit, moyen, grand),
etc.;
Les variables numériques sont des variables
qui se présentent sous la forme de nombres.
Les variables numériques sont discrètes ou
continues selon qu'elles peuvent prendre
certaines valeurs seulement ou toutes les
valeurs sur un intervalle, respectivement. Elles
sont dites « à intervalles » quand la différence
entre deux chiffres traduit la grandeur de
l'intervalle qui les sépare, mais que la valeur
zéro ne correspond pas à l'absence de
l'élément. L'addition et la soustraction des
variables numenques à intervalles, la
température par exemple, sont impossibles.
Elles sont dites « de rapport » quand toutes les
opérations mathématiques sont possibles et
que la valeur zéro indique l'absence de
manifestation de la variable.

Vérification interne (Interna/ audit)


Fonction qui vise principalement à fournir à la
direction une évaluation objective et
indépendante du fonctionnement des systèmes,
des · processus et des activités d'une
organisation ainsi qu'une appréciation du degré
de contrôle exercé sur ceux-ci.
La vérification interne indique à l'organisation
des pistes de réflexion et peut lui fournir des
services-conseils pour améliorer sa gestion.
La fonction de vérification interne mène des
travaux de vérification et conseille dans de
nombreux champs d'activité dont l'évaluation
des systèmes de gestion des risques et des
contrôles internes, la vérification de l'efficacité

88
PROJET

Annexe 1

'.
EFFETS VISU
DU PROGRAIIIIIE

IU"SUL TI\TS RE ULTATS


Ol"E'RI\T!ONNELS tlE PROGRAMME
1B ns Oll ~f> f"f1.C.~s ) Changements. o lûlt·"• aur lu
p oputaiJon~ lee, cmtropt1t.os.
t ê.oonon11c rcnvlt01'1nC!m nt

AUTRES EFFE18
DU PROGRAIIWE

Effets anticipés non visés


fOO!.!Uf~ 61 dt~IJ{)(;l~}

Effets no11 antic1pés


fpc.sJ~~ etM'arotanll'"! '

89
PROJET

Index

-A- ............................................................... 72
Coût de revient (Cost accounting) .......... . 74
Activité (Activity) ... .... .. .. ....... ....... ... .. ... .. ... 72
Coûts-avantages ou coûts-bénéfices (Cost-
Actualisation (Updating) .. .. ......... ..... ........ 72 benefit) ... ... ...... .... .. ... .. ... .... ... ... ..... .... ..... .. . 74
Analyse comparative (Comparative Coût-efficacité (Cost-effectiveness) ......... 74
analysis) ... .... ...... ..... .. ......... .... ................. 72
Crédibilité (Credibility) ...... ..... .... .. .. .... .. .. ... 74
Apprentissage (Learning) ......... ... .... ... ... .. 72
Critère (Criteria) ........... .... .... ........ .. .... ... ... 75
Architecture de programmes (Program
architecture) ... ..... ..... .... .. .......... ...... ... ... .. . 72 -0-................................................................ 75
Attribution (Attribution) .. .. .. ... ....... ...... ....... 72 Défaillance de marché (Market failure) .. .. 75
Audit (Audit) .... ........... .... .... .. ..... ..... ....... .. . 72 Devis (Quote) .. ........ .. .. .. ... .... .. .. ...... .......... 75
Auto-évaluation (Self-evaluation) ..... .... ... 72 Donnée (Data) .................. .. ... ... .. ... ..·....... . 75
Donnée de référence (ou de base)
-8- ............................................................... 72
(Baseline data) ... .... .. ...... .. ............. ........... 75
Benchmarking (Benchmarking) ........ ... .... 72
Donnée administrative (ou de gestion)
Bénéficiaire (Beneficiaries) ........... ........ ... 72 (Administrative data) ................... .... ... .. .... 76
But (Goal) .... .. .... .... ...... ....... .. .... ... .... .. ... .. . 72 Donnée primaire (Primary data) .............. 76
Donnée secondaire (Secondary data) ... .. 76
-C- ............................................................... 73
Cadre d'évaluation (Evaluation framework) -E- ..... .-.......................................................... 76
..... .... ....... ; ..... ..... .... ... .. .................... .... ..... 73
Économie (Economy) .. ............................ 76
Cadre de suivi et d'évaluation (Monitoring
Effet (Outcome) .. .... .......... ...... .... .. ........... 76
& evaluation framework) ... .. ....... .... .. ..... ... 73
Efficacité (Effectiveness) .... .. .......... .. ....... 76
Cadre logique (Log frame) ..... ... ...... ... ..... 73
Efficience (Efficiency) .......... .......... ........ .. 76
Cahier des charges (Specifications) ...... . 73
Efficience relative (Relative efficiency) .. .. 76
Capacité informationnelle (Information
capacity) ..... .... .. ..... .... ...... ........ ........ ..... ... 73 Élément de programme budgétaire (ou
volet) (Program component) ........ ..... ....... 76
Causalité (ou relation de cause à effet)
(Causality) ........................ .. .... .. .. .. .. .. ....... 73 Enquête (Investigation) ... ....... .. ...... .... ...... 77
Cible (Target) ...... .. ... ... ............. ... ...... ...... 73 Enseignement tiré (Lesson) ........ ....... ...... 77
Chaîne de résultats (Chain of results) ..... 73 Équipe d'évaluation (Evaluation team) .. .. 77
Conclusion (Conclusion) .... .. .... .... ... ........ 74 Étalonnage (Benchmarking) .... .... ............ 77
Constatation (Finding) .. ......... ........ .......... 74 Étendue (Scope) .. ... .. .. ...... .... .. .......... .... ... 77
Contexte d'intervention (Context of Évaluabilité (étude d') (Evaluability
program) .. ............. ............................... ... . 74 assessment) .. ....... .................... .. .......... .... 77
Contrôle (Control) ... ....... .. .... ...... .. ... ......... 74 Évaluateur (Evaluator) .... .. ....... .... ... .. ..... .. 77
Coordination (Coordination) .. ... ... .. .... .. .... 74 ÉvalUation (Evaluation) ... ........ ...... ........ ... 77
Corrélation (Correlation) ..... .. ... .... ... .... ..... 74 Évaluation de programme (Program
evaluation) ... ......... .. ............ .. .... .......... .... . 77
Coût d'opportunité (Opportunity cost) .. ... 74
Évaluation à mi-parcours (Mid-term
Coût unitaire (Unit cost) ....... .. .... ... ....... .... 74
evaluation) ......... ............ .... .......... ...... .... .. 78

90
PROJ ET

Ëvaluation a priori (Ex ante evaluation) .. 78 -1- ................................................................. 80


Évaluation d'impact (Impact assessment) Impact (lmpact) .. ....................... ........ ....... 80
········ ·· ··· ····· ··· ······· ·· ························ ··· ····· ··· 78 Indépendance (lndependence) ................ 80
Ëvaluation d'implantation (Evaluation of the
Indicateur (lndicator) .... ... ... .............. .... .... 81
implementation) ..... .... ... .... ....... .... ...... ...... 78
Indicateur de performance (Performance
Ëvaluation de besoins (Needs assessment)
indicator) .......... ..... ........ ..... .... .... ............ .. 81
.. ... ........ .. ;.... ....... ... ..... .. ........ ........... ... ... ... 78
Intention (Purpose) ..................... .. ........... 81
Ëvaluation de mise en œuvre
(Implementation evaluation) .. .... .... .... ... ... 78 Initiative (Initiative) .... .. .... .... ..... .... ...... ...... 81
Ëvaluation de rendement (Performance lntrant (Input) ...... .. .... .. ............................. 81
evaluation) ....... .. .. .... .. .. .......... ...... ..... ... .... 78
-M- ..... ;....... ~................................................. 81
Ëvaluation des effets (Impact evaluation) 78
Mandat (Terms of reference) ................ ... 81
Ëvaluation économique (Economie
evaluation) .. ....... .......... ... ..... ....... ............. 78 Mesure du rendement (Performance
measurement) .. .............. ... ........... .. .......... 81
Ëvaluation ex ante (Ex ante evaluation) .. 78
Mesure supplétive ou· indicateur supplétif
Évaluation ex post (Ex post evaluation) .. 79
(Proxy indicator) ......... ... ........ .... .... ..... .. .... 81
Ëvaluation externe (Externat evaluation) 79
Méta-évaluation (Meta-evaluation) .... .... .. 81
Ëvaluation groupée ou intégrée (Ciuster
Mise en œuvre (lmplementation) ............. 81
evaluation) ............ .. ... ... .............. .... ..... .... 79
Modèle logique (Logic madel) ........ .... ..... 81
Ëvaluation interne (Internai evaluation) ... 79
Modèle de problématique (Problem madel)
Évaluation formative (Formative evaluation)
.. ................. ... .. ... ....... .. ............. .. ........ ...... 81
.... ...... .. .......... ... ... .... ..... .. .. ... .... ....... ... ... .... 79
Évaluation participative (Participatorv . -N-................................................................ 82
evaluation) ... .... ...... .. ..... ... ......... ... .. ..... ..... 79
Nature d'intervention (Nature of the
Évaluation sommative (Summative rvention) ... .. .. ....... ... ..... .... .............. ..... 82
inte_
evaluation) ........ .. .... ..... ... .... ......... .. ....... ... 79
Neutralité (Neutrality) .. ... ..... ... .. ... .... ......... 82
Examen (Review) .. .................... :..... .. .... .: 79
Norme (Standard) .... .... .... ..... ................ ... 82
Extrant (Output) ......... .. .. ....... ............... ... . 79
-0- ............................................................... 82
-F-................................................................ 79
Objectif (Objective) .. .. ............ ....... .... ...... . 82
Fiabilité (Reliability) .. .. .......... .......... ........ . 80
-P- ................................................................ 82
-G- ............................................................... 80
Parties prenantes (Stakeholders) ............ 82
Gestion axée sur les résultats (Results-
based management) ............ .................. . 80 Performance (Performance) ............ ....... . 82

Groupe contrôle (Control group) ............. 80 Pertinence (Relevance) ....... ... .... ... ....... ... 82

Groupe équivalent (Equivalent group) .... 80 Plan (Plan) ....... .................................... .. .. 83

Groupe expérimental (Experimental group) Plan d'évaluation (Evaluation plan) ......... 83


······· ······ ····· ······ ····· ·· ·········· ··· ···· ·· ···· ··········· 80 Plan stratégique (Strategie plan) ........ .. ... 83

-H- ............................................................... 80 Politique (Policy) ............ ..... ....... ...... ... ... .. 83

Habilitation (Empowerment) ........ .. .. ........ 80 Politique interne en. matière d'évaluation


(1 nternal policy evaluation) ....................... 83
Hypothèse (Hypothesis).. .. .... .... .. .... .. ...... 80
Population cible (Target population).. ...... 83

91
PROJET
Portée (Scope) ....... .... .. ........ ........ ..... ...... 83 -S- ................................................................ 86
Problématique (Problem theory) ......... ... . 83 Savoir (Knowledge) .... ...... .... .... ........... .. .. 86
Processus (Process} .. ... ......... .. .... ... ..... ... 83 Sondage (Survey) ...... .......................... .. .. 86
Productivité (Productivity) .... .. ...... ... ...... ... 83 Soutien-conseil (Advisory support) .. ...... .. 86
Programme (Program) .. ... ......... ..... ... .... .. 84 Stratégie d'évaluation (Evaluation strategy)
........ .. ........... ... ........ ..... .......... .... .......... ... . 86
-Q- ............................................................... 84
Suivi (Monitoring) ............. .. ............. ....... .. 86
Qualitatif (Qualitative) ...... .. ..... .... ............ . 84
-T- ................................................................ 86
Quantitatif (Quantitative} ..... ...... .. .... ..... ... 84
Théorie du changement (Theory of change)
-R- ............................................................... 84 .. ...................... ... .. ... .. ..... ...... ...... .. ... ... .. .. .. 86
Raison d'être (Relevance) ... ........ ... ......... 84 Théorie du programme (Program theory) 87
Réalisation (Achievement) .... ........ ... .. .... . 84 Transparence (Transparency) ............ .. .. . 87
Recommandation (Recommendation) ... . 84 Triangulation (Multiple-lines of evidence) 87
Reddition de comptes (Accountability) .. .. 84
-V- ................................................................ 87
Référentiel (Frame of reference) ... ..... .. ... 85
Valeur (Value for mo ney).. ...... .. .......... .. ... 87
Rendement (Performance) ... .............. ... .. 85
Valeur actuelle nette VAN (Net present
Responsabilisation (Accountability) ... .. ... 85 value) ..... ........ ....... .. ...... ... ............... ... .... .. 87
Ressource (Resource) ... .. ..... ... ......... ... ... 85 Validité (Validity) ................. .... ..... ..... -... .. . 87
Résultat (Resultl .. ... ......... ...... ....... ... ..... ... 85 Variable (Variable) ............ ....... ..... .... .... ... 87
Résultat stratégique (Strategie result) ..... 86 Vérification interne (Internai audit) .... .... ... 88
Rétroaction (Feedback} .. .. .. ............. .. .. .... 86 Viabilité (Viability) .. :.... .... .... .. .... ........ ....... 88
Risque (Risk).. .... ........ .......... .. ...... .. .. .... .. . 86 Annexe 1 ...... .... ........ ...... ..... .. .... ... .... ....... . 89

92
PROJET
Principales sources consultées

ARBOUR, Ghislain (201 0). Principes, CENTRE DE RECHERCHE ET D'EXPERTISE EN


processus et méthodes d'évaluation des ÉVALUATION ET L'OBSERVATOIRE DE
programmes publics (Notes de cours L'ADMINISTRATION PUBLIQUE (20 11).
ENP7132), Basé sur le matériel de ~valuation de la performance des
Richard Marceau, École nationale programmes du secteur public québécois
d'administration publique, Québec, - Conception et caractéristiques de l'outil
Québec. d'évaluation, Document remis au
Secrétariat du Conseil du trésor lors
BANNON, Yves, Diane CHAREST, Alice
d'Ateliers préparatoires à l'École nationale
DIGNARD, Guy GIGUÈRE, Serge HAMEL et
d'administration publique, Québec,
André VIEL (2009). Manuel du
Québec, 106 p.
responsable en évaluation de programme
[en ligne], Groupe des responsables en EVALUATION TECHNICAL WORKING GROUP OF
analyse et en évaluation de programme THE JOINT UNITED NATIONS PROGRAMME ON
(GRAEP), HIV/AIDS (UNAIDS) MONITORING AND
http://graep.org/doc . publigue/Manuei- EVALUATION REFERENCE GROUP (2008).
GRAEP.pdf (Page consultée le 12 janvier Monitoring and Evaluation Termina/ogy
2012) . G/ossary [en ligne],
http://www.globalhivmeinfo.org/Pages/Gio
BROUSSELLE, Astrid, François CHAMPAGNE,
ssarv .aspx?Paged= TRU E&p Title=Popu 1
André-Pierre CONTANDRIOPOULOS et
ation%2dbased%20surveys&p 1D=53&Vi
Zulmira HARTZ (2009). L'évaluation:
ew=%7bBD9525B9%2dDE08%2d4F2B%
concepts et méthodes, Les Presses de
2dBE58%2dAA 17FEBEB67D%7 d&PageF
l'Université de Montréal, Québec, 300 p.
irstRow=51 (Page consultée le 12 janvier
BUREAU DE L'ÉVALUATION (2002). Guide du 2012).
suivi et de l'évaluation axés sur les
FONDATION CANADIENNE AXÉE SUR LA
résultats [en ligne], Programme des
RECHERCHE ET L'ÉDUCATION (1996).
Nations Unies pour le développement,
Lexique de la CCAF-FCVI : Un glossaire
http://www.undp.org/evaluation/document
des termes reliés à la gouverne, à la
s/Hand Boo kiF rench/Fr-M&E-
reddition de comptes et à la vérification
Handbook.pdf (Document consulté le 12
intégrée, tels qu'utilisés par la FCVI [en
janvier 2012).
ligne], http://www.ccaf-
CAVELIER, Bernadette, Antoine DU BUYSSON, fcvi .cam/index. php?option=com content&
Claude FANDRE, Richard RÉQUÉNA, view=article&id=253&catid=87 &ltemid=99
Michael RULETA et Daniel VOIZOT (2007). &lanq=fr (Document consulté le 12 janvier
Guide de l'évaluation 2007 [en ligne], 2012) .
Direction générale de la coopération
LAPOINTE-GIGUÈRE, Micheline et Yolande
internationale et du développement,
PERRON (2004). Vocabulaire de la
Ministères des • affaires étrangères,
prestation de services, Bibliothèque
http://www. oecd. org/dataoecd/36/45/3839
nationale du Québec, Gouvernement du
9219.pdf (Document consulté le 27 février
Québec, 120 p.
2012).
MARK, Katharine et John R. PFEIFFER (2011 ).
Monitoring and Evaluation in the United
States Government [en ligne], The World
Bank Group (lndependent Evaluation
Group),
http://siteresources.worldbank.org/EXTEV
ACAPDEV/Resources/ecd wp 26 US . G
ov.pdf (Document consulté le 12 janvier
2012).

93
)

PROJET )
)
MAZOUZ, Bachir et Jean LECLERC (2008). La des programmes - Mesure et attribution
gestion intégrée par résultats, Presses de des résultats des programmes [en ligne],
l'Université du Québec, Québec, 440 p. Gouvernement du Canada,
http://www.tbs-
MONITORING & EVALUATION REFERENCE GROUP 1
sct. ge. ca/cee/pubs/meth/pe m-mep-fra.pdf '
(2010). Glossary - Monitoring and
(Document consulté le 12 janvier 2012).
Evaluation Terms [en ligne], Joint United
Nations Programme on HIV/AIDS, SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
http://www. unaids.org/en/media/unaids/co CANADA (201 0). Lexique de la gestion
ntentassets/documents/document/201 0/11 axée sur les résultats [en ligne],
ME Glossary FinaiWorkingDraft.pdf Gouvernement du Canada,
(Document consulté le 12 janvier 2012) . http://www.tbs-sct.gc.ca/cee/pubs/lex-
fra .asp (Page consultée le 12 · janvier
OCDE (2002). Glossaire des principaux
2012).
termes relatifs à l'évaluation et la gestion
axe sur les résultats [en ligne], SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
http://www.oecd.org/dataoecd/29/21/2754 CANADA (201 0). Pour soutenir des ·
804.pdf (Document consulté le 12 janvier évaluations efficaces : Guide d'élaboration
2012) . de stratégies de mesure de rendement [en
ligne], Gouvernement du Canada,
OFFICE FÉDÉRAL DE LA SANTÉ PUBLIQUE (2005).
http ://www.tbs-sct. ge. ca/cee/d pms-
Glossaire de termes d'évaluation [en
esmr/dpms-esmrtb-fra.asp (Document
ligne], Berne, Confédération Suisse,
consulté le 12 janvier 2012) .
http://www.bag .admin.ch/evaluation/02357
/02603/index. html?lang=fr (Document SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
consulté le 12 janvier 2012). CANADA (2010). Principes pour l'évaluation
des programmes par les ministères et
PLANNING AND PERFORMANCE MANAGEMENT
organismes fédéraux [en ligne],
UNIT (2009) . Glossary of Evaluation Terms
Gouvernement du Canada,
[en ligne], Office of the Director of U.S.
http://www.tbs-
Foreign Assistance, United States
sct.gc.ca/cee/pubs/principles-
Government,
principes1984-fra.asp#p4 (Page consultée
http://pdf.usaid.gov/pdf docs/PNAD0820.
le 10 janvier 2012).
QQf (Document consulté le 12 janvier
2012). UK EVALUATION SOCIETY (2008). Glossary of
Evaluation Terms [en ligne], United
RIDDE, Valéry et Christian DAGENAIS (2009).
Kingdom Government,
Approches et pratiques en évaluation de
http://www.evaluation .org.uklresources/glo
programme, Les Presses de l'Université
ssary .aspx (Page consultée le 12 janvier
de Montréal, Québec, 358 p.
2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002).
U.S. ENVIRONMENTAL PROTECTION AGENCY
Guide sur la gestion axée sur les résultats
(2012). Program Evaluation Glossary [en
[en ligne], Gouvernement du Québec,
ligne], United States Government,
http://www.tresor.gouv.gc.ca/fileadmin/PD
http://www.epa.gov/evaluate/glossary/all-
F/publications/guide gest-axee-
esd.htm (Page consultée le 12 janvier
resultat 02. pdf (Document consulté le 12
2012).
janvier 2012).
USAID (201 1). USAID Evaluation Policy [en
SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002).
ligne], Évaluation : Learning ·from
L'évaluation de programme - Document
Experience,
destiné aux dirigeants et dirigeantes de
http://www.usaid .gov/evaluation/USAIDEv
ministères et d'organismes [en ligne],
aluationPolicy.pdf (Document consulté le
Gouvernement du Québec,
14 février 2012).
http://www.tresor.gouv.qc.ca/fileadmin/PD
F/publications/eval-progr 02 .pdf
(Document consulté le 12 janvier 2012).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU
CANADA (1998) . ·Méthodes d'évaluation

94
Annexe VIl - Le cadre de suivi et d'évaluation
-- - -- - .-- - - - -· --------- --------

95
Secrétariat
du Conseil du trésor B Il PROJET
Québec au
Direction de la mise en œuvre de la
Loi sur l'administration publique

LE CADRE DE SUIVI ET D'ÉVALUATION

Au sein de l'administration publique québécoise, la pratique de la fonction d'évaluation de


programme a progressé. Cependant, de nombreuses opportunités d'améliorations demeurent,
notamment en ce qui concerne la qualité des renseignements fournis dans plusieurs évaluations.
Souvent encore, au moment de mener une évaluation de programme, il est constaté que des
données de gestion qui auraient été utiles pour poser un jugement sur l'initiative évaluée font
défaut. Elles n'ont pas été colligées, ou consignées.
La fonction évaluative a avantage à prévoir, en amont de l'implantation et de la .mise en œuvre de
ses initiatives9 , les données qui lui seront ultérieurement utiles dans le cadre des évaluations à
mener. Telle est l'utilité d'un cadre de suivi et d'évaluation.
Le suivi et l'évaluation permettent de juger de la progression réalisée en vue de l'atteinte des
objectifs et des résultats. La mesure systématique et continue du progrès dans le temps est plus
qu'une simple collecte d'information proactive. Elle permet d'identifier les points forts et les points
faibles au fur et à mesure qu'ils influencent le rendement des interventions favorablement ou
défavorablement pour éclairer les décisions à prendre et susciter l'action.
Le suivi et l'évaluation jouent des rôles complémentaires. Une fonction efficace de mesure et de
suivi, en plus de permettre le bon déroulement des initiatives, permet de faciliter leurs évaluations
futures en fournissant une information plus complète et plus pertinente.
Le suivi et l'évaluation procurent aux institutions publiques des moyens de tirer des leçons de
leurs expériences. Ces enseignements permettent l'amélioration de la prestation des services,
une affectation des ressources judicieuse et une reddition de comptes davantage complète et
pertinente sur les résultats obtenus et en particulier les résultats obtenus en fonction des objectifs
visés.

Ce qu'est un cadre de suivi et d'évaluation


Un cadre de suivi et d'évaluation est un outil de gestion préparé préalablement à toute activité de
collecte et d'analyse d'information sur les résultats, l'efficacité et l'efficience des initiatives à
suivre et à évaluer. La portion Plan de suivi précise les indicateurs à suivre en cours d'initiative.
L'efficacité et l'efficience sont mesurées de manière continue pendant la mise en œuvre de
l'initiative de manière à fournir à ses gestionnaires responsables et autres parties prenantes des
données permettant de juger du déroulement de l'action et de déceler, le cas échéant, et au fur et
à mesure qu'elles se présentent, les situations qui méritent d'y porter attention. Des mesures
correctives peuvent alors être prises rapidement, améliorant les chances d'obtenir en bout de
course les résultats escomptés. D'autre part, la partie Cadre d'évaluation, également à concevoir
en version préliminaire en amont de l'initiative idéalement, permet de confirmer et de compléter le
choix des indicateurs à suivre au long de la mise en œuvre pour produire l'information nécessaire
aux évaluations prévues. Ces deux composantes complémentaires forment, ensemble, le cadre
de suivi et d'évaluation.

9
Par initiative, on entend une action ou un moyen qui peut être prise par un ou plusieurs ministères dans le cadre d'un ou
de plusieurs programmes afin d'atteindre un objectif.

97
PROJET
Un cadre de suivi et d'évaluation est donc un outil de planification . Il aide les organisations à
prévoir en amont l'information qui sera nécessaire aux évaluations futures . Il permet aux
gestionnaires de l'initiative et aux coordonnateurs d'évaluation de s'assurer que les données
générées par les suivis du rendement sont pertinentes, suffisantes et qu'elles seront disponibles
pour appuyer l'évaluation prévue au moment où celle-ci est prévue. Il permet de déterminer les
besoins d'information et le moment où l'information sera requise préalablement aux travaux
d'évaluation. Cette information permet notamment de préparer des plans d'évaluation ministériels
ou organisationnels plus réalistes.
La préparation d'un cadre de suivi et d'évaluation implique la participation d'un spécialiste de la
démarche évaluative et idéalement celle du plus grand nombre de parties prenantes possibles,
en commençant par les gestionnaires responsables de l'initiative.
Une fois complet, le document permet aussi de préciser les responsabilités relativement à la
collecte et aux suivis. Il sera normalement révisé en cours de mise en œuvre si nécessaire et
surtout au moment d'amorcer les travaux d'évaluation proprement dits.

Quand est-il à propos de préparer un CSRE?

Le plus tôt, le mieux!


C'est au moment de concevoir les initiatives que le travail de définition du cadre de suivi et
d'évaluation est le plus rentable. C'est à ce moment que se prennent les principales décisions
relatives aux moyens à déployer, aux objectifs à poursuivre, à la hauteur des changements
visées et aux ressources à consentir. C'est également à ce moment que sont normalement
exposées les hypothèses qui sous-tendent les choix de moyens et les liens de cause à effet qui
vont permettre ultimement d'obtenir les résultats escomptés sur la société.
Le travail de réflexion que l'exercice présuppose entraînera généralement une prise de
conscience de l'importance à accorder à la définition des objectifs, que l'on souhaite, à des fins
d'évaluation : précis, mesurables et positionnés dans le temps.

Que faire lorsque l'initiative est déjà sur les rails?


Le jugement de l'évaluateur est ici nécessaire, mais à moins que l'initiative n'arrive à terme sur
un horizon prochain, il est toujours avantageux de chercher à préciser l'information qui serait utile
dans le cadre d'une évaluation future et de se mettre en marche pour colliger celle-ci.

Et que faire quand l'initiative arrive à son terme?


Quand l'initiative arrive à son terme, seule la pertinence de planifier les travaux d'évaluation
demeure et, dans ce cas, la portion suivi du document sera mise de côté.

Pourquoi préparer un CSE?

Les principales raisons pour lesquelles il est avantageux de préparer un CSE sont les suivantes :
• Il aide à assurer une surveillance adéquate des initiatives et à faire une
évaluation systématiquement et rigoureuse de leurs résultats;
• Il contribue à éclairer la prise de décisions et favorise l'adoption de mesures
appropriées et en temps opportun en cours de mise en œuvre des initiatives;
• Il aide à une reddition de comptes utile et pertinente;
• Il aide à s'assurer que l'information recueillie soit fiable et crédible.

98
PROJET
Un cadre de suivi et d'évaluation aide aussi à examiner les stratégies d'action , les objectifs et les
activités avant même la mise en œuvre des initiatives pour déterminer s'ils sont bien les meilleurs
dans le contexte :
• Le CSE aide à comprendre et à analyser l~s initiatives;
• Il aide à élaborer et à mettre en œuvre des activités de suivi et d'évaluation
congruentes;
• Il permet d'énoncer des objectifs mieux articulés;
• Il identifie les liens entre les intrants, les activités, les extrants et leurs effets;
• Il précise, enfin , l'influence possible de facteurs externes.

La préparation du CSE

Un cadre de suivi et d'évaluation n'est pas nécessaire à toute initiative. Cette dernière doit être
évaluable, c'est-à-dire disposée à se soumettre à une éventuelle évaluation qui est susceptible
de fournir une information utile aux fins dè prise de décisions.
La planification du suivi et de l'évaluation débute généralement concurremment à aux travaux de
conception des initiatives. Ainsi, une équipe formée d'évaluateurs et de responsables de
l'initiative peut être constituée. Cette équipe établit à l'aide des objectifs de l'initiative en termes
d'extrants et d'effets, les indicateurs appropriés. Cette équipe établit également la manière dont il
est prévu répondre aux questions d'évaluation, et ce, toujours en amont de la mise en œuvre de
cette dernière.

Les composantes essentielles des CSE

La description de l'initiative

Une description de l'initiative est présentée de façon concise et ciblée, de manière à fournir aux
personnes concernées l'information élémentaire nécessaire à la compréhension de l'initiative.
Plus spécifiquement, la description de l'initiative vise à :
• appuyer l'élaboration du modèle logique et du cadre de suivi et d'évaluation;
• servir de document de référence aux évaluateurs et analystes;
• faciliter la communication au sujet de l'initiative entre les parties prenantes.

La description comprend généralement les éléments suivants :


• l a raison d'être de l'initiative;
• Les objectifs qu'elle poursuit (objet, horizon, hauteur des progrès) ;
• La population qu'elle cible, ses bénéficiaires;
• Les ressources consenties (de l'initiative et du suivi/évaluation) .

Référentiel et modèle logique

Le référentiel et le modèle logique illustrent les composantes essentielles de l'initiative.


Ensemble, ils décrivent les résultats attendus et les moyens mis en œuvre pour les atteindre. Ils

99
PROJET
présentent la chaîne de résultats et comportent une sene d'éléments démontrant les liens
logiques notamment les intrants, les activités, les extrants et les effets. Ils ont pour objectifs :
• D'aider les gestionnaires de l'initiative à s'assurer de la solidité de la théorie du
programme et que les résultats attendus sont réalistes et logiques;
• De garantir que le cadre de suivi et d'évaluation correspond explicitement à la
logique de l'initiative;
• D'aider les gestionnaires de l'initiative à interpréter les données recueillies tout
au long du suivi et à en établir les implications sur la conception de l'initiative ou
des activités;
• De servir de point de référence pour les évaluateurs en vue des évaluations
ultérieures;
• De faciliter la communication au sujet de l'initiative entre le personnel de
l'initiative et les autres parties intéressées.

Le référentiel décrit la façon dont les activités et mesures se traduiront en résultats attendus
selon la théorie du programme. C'est la partie descriptive préalable au modèle logique qui illustre
la raison d'être de l'initiative, les objectifs et les cibles visés et la nature du programme. Par la
suite, le modèle logique illustre la causalité entre les intrants, les activités de production, les
extrants et les effets de l'initiative.

Le plan de suivi

Le plan de suivi du rendement définit les indicateurs nécessaires aux fins de surveillance et de
l'évaluation. Ce plan permet de préciser l'information et les moyens pour assurer la collecte de
ces renseignements.
Il n'y a pas de règles quant au nombre d'indicateurs à inclure dans un tel cadre. Cependant, un
nombre suffisant pour les besoins d'information, mais raisonnable est préconisé. Une description
accompagne généralement le plan.
Les étapes à suivre pour élaborer le plan sont :
1. Identifier les extrants et les effets escomptés de l'initiative;
2. Choisir les indicateurs d'efficacité et d'efficience pertinents;
3. Pour les différents indicateurs retenus, déterminer les données de référence (situation de
départ ou actuelle) ;
4. Déterminer l'importance des changements visés;
5. Déterminer les échéances pour l'atteinte de chacun des objectifs;
6. Déterminer les sources des données;
7. Déterminer la méthode de collecte de l'information;
8. Déterminer la fréquence de collecte des données;
9. Déterminer les responsabilités liées à la collecte des données
1O. Valider les indicateurs retenus auprès d'évaluateurs et auprès des parties prenantes afin
de s'assurer que les ressources requises pour la collecte des données sont prévues et
conformes au budget.

Au moins un indicateur pour chaque extrant et effet figurant dans le modèle logique de l'initiative
devrait être prévu au plan .
L'annexe x propose un gabarit général qui peut être utilisé dans la préparation d'un plan de suivi.

100
PROJET

Plan de suivi - Proposition de gabarit

Extrants et Indicateurs Données de Importance Échéances Sources des Méthodes de Fréquence Responsabilité
effets du base (à t=O) du pour données collecte des de la collecte de la collecte
programme changement atteindre données des données d'information
visé les
objectifs

Extrant 1 Indicateur 1
Indicateur 2

Extrant 2 Indicateur 3
Indicateur 4
Indicateur 5

Extrant 3 Indicateur 6

Effet 1 Indicateur 7
Indicateur 8

Effet 2 !Indicateur 9
Indicateur 10

101
PROJET

Le cadre d'évaluation

Le cadre d'évaluation d'une initiative expose ou traduit la stratégie d'évaluation retenue par les
évaluateurs de programme pour répondre aux questions d'évaluation posées par le client des
travaux. Il permet une estimation des coûts des évaluations et le choix ou la conception de
méthodes et d'évaluation rigoureuses et économiques .
L'élaboration des cadres d'évaluation est une responsabilité du gestionnaire de l'initiative qui doit
solliciter les conseils d'évaluateurs de programmes. Plusieurs des données nécessaires pour
répondre aux questions du cadre d'évaluation seront puisées parmi les indicateurs listés dans le
plan de suivi du rendement. D'autres seront propres à la phase d'évaluation.
Une collaboration du coordonnateur de l'évaluation et du gestionnaire de l'initiative est pertinente
afin d'examiner le cadre et le mettre à jour périodiquement afin d'élaborer un cadre d'évaluation
définitif pour le processus d'évaluation.

Le contenu d'un cadre d'évaluation

La préparation d'un cadre d'évaluation provisoire, au moment de concevoir les initiatives, est
pertinente. Il permet, en fonction des questions d'évaluation anticipées, de prévoir les données
requises pour bien répondre à celles-ci. Il permet d'envisager une méthodologie d'évaluation,
d'identifier les données requises aux fins de l'évaluation et de proposer des façons dont ces
besoins d'information seront satisfaits.
Le cadre d'évaluation est un document de travail qui, au début de l'initiative, s'appuie sur les
meilleurs renseignements disponibl.es. Ce document trace les grandes lignes de l'initiative ou de
l'intervention à évaluer et précise le déroulement des travaux d'évaluation envisagés. Il repose
sur les questions d'évaluation. Chacune donne lieu à certains indicateurs et à parfois à plus d'une
approche ou ]11éthodes d'évaluation .
Le contenu d'un cadre d'évaluation comprend généralement les éléments suivants :
• Une description du contexte de l'évaluation;
Dans cette partie le contexte de l'initiative ou de l'organisation est décrit. La problématique
sur laquelle l'intervention agit y est présentée. Les actions posées y sont présentées. Les
raisons pour lesquelles une évaluation a été jugée pertinente sont exposées.
• Les objectifs de l'évaluation (evaluation purpose) ;
Dans cette partie, l'objectif général poursuivi par l'évaluation est précisé.
Procurer à l'organisation l'information nécessaire à une prise de décision éclairée et
fondée concernant Je futur du projet.
Vérifier que le projet a produit les résultats visés de manière à décider si l'approche
peut être réutilisée ailleurs.
Évaluer l'initiative en termes de résultats, d'efficacité et d'efficience dans une optique
d'amélioration continue.

Il s'accompagne d'objectifs plus spécifiques concernant la portée et les champs


d'évaluations.
• Une description de l'initiative et de son cadre logique;
• Les questions d'évaluation (key evaluation questions) et les enjeux que cette dernière revêt;
Une présentation des questions clés que l'évaluation doit examiner est listée.
• L' approche méthodologique retenue ;
Ici sont présentés les grands paramètres concernant l'approche préconisée : auto-évaluation,
évaluation participative, évaluation externe, etc. Y sont également précisés les méthodes de
collecte d'information, les sources d'information nécessaires, les dispositifs envisagés pour

102
PROJET
isoler de l'ensemble des facteurs d'influence, la contribution de l'intervention, etc. A chaque
objectif poursuivi peut correspondre une stratégie différente.
Certaines questions pourront être répondues à l'issue d'une recherche documentaire.
D'autres nécessiteront une collecte d'information auprès de la clientèle bénéficiaire et la
réalisation, par exemple, d'enquêtes, d'entretiens, de groupes de discussion.

• Une présentation des détails techniques et logistiques : les livrables, les besoins en
ressources et la composition de l'équipe de travail, un échéancier, une estimation du coût
des travaux, etc.;
• L'utilisation qui sera faite des résultats.
Les évaluations n'ont que peu de valeur ajoutée si elles ne suscitent pas l'action ni
n'appuient de décisions. Conséquemment, il importe de faire connaître les résultats aux
parties prenantes et d'apprendre de l'exercice. Il peut être utile d'identifier dès le départ les
audiences cibles et les moyens par lesquels l'information sera diffusée.

Quelques mots sur les questions d'évaluation

Les questions d'évaluation fondamentales concernent la pertinence : celle d'agir et celle du


moyen d'action, l'efficacité sur les plans opérationnels et d'effet sur la société de l'action et enfin
d'efficience qui, comme l'efficacité comporte une dimension opérationnelle et une dimension
sociétale.
Des formulations de questions sont proposées dans le tableau qui suit. Notez qu'il est nécessaire
préalablement au travail visant à répondre aux questions d'efficacité et d'efficience de
commencer par les activités préalables de recension et de description (voir sur ce sujet le tableau
x)

A - La pertinence de l'action et celle du moyen d'intervention

Raison d'être: Dans quelle mesure le programme répond-il ou est-il supposé


répondre à un besoin démontré?
Les besoins justifiant l'intervention publique sont-ils clairement
identifiés et quantifiés?
Considérant le problème à l'origine de l'initiative et les différentes
forces agissant sur lui, l'initiative est-elle toujours pertinente?

Nature ou moyen Le moyen ou le mécanisme choisi pour intervenir est-il judicieux?


d'intervention choisi :
Le moyen ou le mécanisme d'action choisi permet-il d'atteindre les
objectifs visés par l'intervention de façon cohérente avec sa raison
d'être considérant l'éventail des moyens possibles?

Objectifs Les objectifs et les ambitions en matière de changements visés


sont-ils pertinents, logiques et réalistes en fonction des attentes?

B - L'efficacité et efficience opérationnelles (transformation des intrants en extrants)

Efficacité opérationnelle Les objectifs préalablement fixés en termes de production de biens


et services sont-ils atteints ou partiellement atteints? Si partiellement
atteints, dans quelle mesure le sont-ils?

Efficience opérationnelle Mis en relation avec les ressources investies, les biens produits et

103
PROJET
les services rendus respectent-ils les critères d'efficience établis?
Comment la production se compare-t-elle en termes d'efficience en
termes de progrès dans le temps, comparativement à celle d'autres
organisations ayant des activités comparables ou à d'autres moyens
de production ou de façon de rendre les services?
Est-ce que les produits et services concrétisés avec les ressources
investies répondent au critère d'efficience?

D- l'efficacité et l'efficience de programme (transformation des intrants en effets)

Effets Quels changements, positifs et négatifs, anticipés et non anticipés,


ont été provoqués sous l'influence des biens et services produits?

Efficacité de programme Les effets engendrés sont-ils à la hauteur des objectifs


(quantifiables) du programme préalablement fixés?

Efficience de programme Les effets réalisés par rapport aux ressources investies dans le
programme répondent-ils au caractère d'efficience?
Mis en relation avec les ressources investies, les effets mesurés
respectent-ils les critères d'efficience établis?
Comment l'importance des effets mesurés se compare-t-elle en
termes d'efficience dans le temps, comparativement à celle d'autres
organisations ayant des activités comparables ou à d'autres moyens
de production ou de façon de rendre les services?

Des préalables aux mesures d'efficacité et d'efficience

Recensement et Quelles sont les ressources humaines, financières et non


quantification des financières nécessaires au programme?
lntrants

Description des Quelles sont les opérations et leur enchaînement permettant la


opérations ou processus transformation des intrants en extrants?
permettant la production
de produits et de
services.

Recensement et Quels produits (biens ou services) ont été concrétisés suite aux
quantification des activités du programme?
extrants

104
lllllllllllllllllllllllllllllllllllllllllllllllllllllll
00204439 3

Vous aimerez peut-être aussi