Praxis de l'évaluation et de la révision des programmes publics: Approches, compétences et défis

différents.

CHAPITRE 1 /

Praxis de l’évaluation

de l’action gouvernementale

Approches, compétences et défis

Moktar Lamari, Line Poulin-Larivière et Karine Lemieux

Depuis le milieu de la décennie 2000, l’évaluation des politiques publiques a gagné en notoriété et en ascendant, tant au sein des diverses instances gouvernementales (nationales, provinciales, municipales, internationales, etc.) que dans les structures non gouvernementales et les organisations à but non lucratif. La valeur ajoutée par l’évaluation, en tant que démarche rigoureuse d’appréciation et de mesure de la performance de l’action publique, est désormais palpable dans les divers processus de prise de décision et d’arbitrage des choix publics. Plus que jamais auparavant, l’évaluation constitue le fer de lance d’un nouveau management public, axé sur la performance et éclairé par les connaissances et les données probantes. L’intérêt grandissant pour l’évaluation est aussi reconnu dans diverses disciplines de recherche scientifique, de sorte que les recherches publiées au sujet de l’évaluation s’affranchissent du cadre restreint des revues spécialisées dans les sciences sociales et humaines pour se retrouver aussi dans les publications spécialisées en génie et en médecine. C’est pourquoi la quasi-totalité des pays de l’Organisation de coopération et de développement économiques (OCDE) et pratiquement toutes les grandes organisations internationales ont institué la fonction évaluative au sein de leurs organigrammes, structures et procédures de gouvernance. Une telle institutionnalisation met en relief les apports et les responsabilités des évaluations et des évaluateurs pour l’optimisation des choix publics et l’amélioration de la performance réalisée par l’action gouvernementale et les choix collectifs.

Pour être à la hauteur des attentes des décideurs, des gouvernements et des citoyens, les pratiques évaluatives doivent se plier à des pressions grandissantes visant notamment à bonifier la qualité, la rigueur et la célérité des processus d’élaboration des évaluations. En même temps, les évaluateurs et les centres de recherche en évaluation mettent de l’avant l’impératif d’indépendance des processus d’évaluation et déplorent la complexité, les pressions et les contingences associées à la réalisation des activités évaluatives (Scriven, 2013; Patton, 2012; Stufflebeam, 2001; Bamberger, Rugh et Mabry, 2012).

En même temps, ce gain d’intérêt pour l’évaluation génère une véritable effervescence dans les pratiques évaluatives, dans leurs prérequis conceptuels et surtout dans leurs modalités d’opérationnalisation (méthode, données, analyses, institutionnalisation, etc.). Les acteurs en présence ont favorisé l’émergence de pratiques évaluatives innovantes, créatives et surtout plus utiles aux décideurs, soumis à leur tour à des processus de lutte aux déficits publics, à l’endettement gouvernemental et à des attentes gouvernementales voulant faire mieux (biens et services publics) avec toujours moins de ressources. Ainsi, depuis quelques années, nous assistons: 1) à la diversification des approches évaluatives; 2) à la prolifération des instruments d’analyse des données évaluatives; 3) à la multiplication des compétences requises pour pratiquer le métier d’évaluateur (savoir-faire technique, aptitudes interactionnelles, valeurs éthiques, etc.). Cette évolution s’accompagne dans une large mesure de nouveaux défis liés à la complexité grandissante des enjeux évaluatifs et des modalités de leur opérationnalisation dans le cadre des contingences imparties (quant aux délais, au budget, aux ressources humaines, aux données, etc.).

Le présent texte traite de la praxis de l’évaluation des politiques publiques. On entend par praxis l’action pratique stricto sensu, par opposition à la théorie et à l’herméneutique sous-jacentes. Dans ce texte, la praxis désigne le champ de l’action pratique tel qu’il s’opérationnalise par des applications codifiées et inspirées par des repères théoriques et des façons d’actionner la transformation des ressources rares (intrants ou inputs), par des activités de production, en extrants (outputs) en vue de générer des effets porteurs de nouveaux rapports sociaux et des impacts bénéfiques (résultats ou outcomes) sur la collectivité et sur la capacité de solutionner des problématiques collectives associées à des enjeux d’utilité publique.

Les développements qui suivent abordent la praxis de l’évaluation des politiques publiques en mettant l’accent sur trois dimensions complémentaires. La première dimension concerne les principales approches évaluatives observées durant les dernières années. La deuxième dimension porte sur les compétences requises par les diverses tâches évaluatives. La troisième dimension a trait aux défis à relever par les évaluateurs à une époque où la complexité des programmes augmente sans cesse, le contexte est favorable aux nouvelles technologies porteuses pour la collecte de données et la mobilisation des connaissances (Internet, réseaux sociaux, etc.) et, surtout, les attentes sont de plus en plus élevées.

La suite du texte est structurée en trois sections. La première brosse un portrait des principales approches et modèles d’évaluation développés depuis quelques années. La deuxième passe en revue les compétences requises pour mener à terme des évaluations fiables et crédibles, à la lumière de l’évolution des ambitions quant à un système d’accréditation pour la profession d’évaluateur. La troisième section met en relief les principaux défis à relever en évaluation, notamment pour crédibiliser la fonction évaluative et renforcer sa valeur ajoutée collective. En guise de conclusion, les implications issues de ce texte font l’objet d’un sommaire des constats et de quelques recommandations.

1/Les approches de l’évaluation

Les dernières années ont vu éclore un nombre grandissant d’approches évaluatives. Stufflebeam (2001) recensait déjà une vingtaine d’approches qu’il classait en quatre grandes catégories: les pseudo-évaluations, les évaluations centrées sur les questions ou les méthodes, les évaluations centrées sur l’amélioration de la reddition de comptes et les évaluations liées à l’agenda sociopolitique. Cette recension et sa taxonomie sont utiles d’un point de vue théorique, mais surtout d’un point de vue pratique. Du point de vue opérationnel, cette monographie peut aider les évaluateurs à considérer et à appliquer sélectivement les approches d’évaluation, selon le contexte, les contingences et l’état des enjeux en présence. Les approches présentées ci-après s’inspirent de celles que décrit Stufflebeam dans son précieux texte «Evaluation models» (2001).

1.1/Les pseudo-évaluations

Les pseudo-évaluations mettent l’évaluateur au service des intérêts des acteurs politiques ou bureaucratiques, ou encore des groupes de pression influents. Ces évaluations sont généralement produites de façon peu respectueuse des valeurs éthiques et des impératifs de la rigueur et de la démonstration. La pseudo-évaluation rapporte des appréciations souvent subjectives et partiales sur les mérites et les limites d’un programme. Ce type d’évaluation mine grandement la confiance du public à l’égard de la fonction évaluative et des évaluateurs. On distingue deux approches en ce sens, bien qu’elles aient en commun la docilité et la complicité avec des intérêts stratégiques exogènes à l’évaluation.

Dans ce cadre, les pseudo-évaluations se caractérisent par un souci de communication promotionnelle à l’égard des interventions à évaluer et des organismes responsables. La première approche consiste à produire un rapport évaluatif, dans une perspective «ritualiste» et de relations publiques. Ce type de rapport livre une information sélective, souvent articulée autour d’un message positif simplifié, et une rhétorique narrative, dénuée de données probantes soutenant le discours véhiculé sur la performance des programmes évalués. Les auteurs de ces rapports insistent sur des impressions, des «métaphores» formulées de manière à glorifier l’objet évalué et à mettre en relief ses forces, occultant totalement l’examen des faiblesses, même les plus criantes. La communication joue un rôle majeur dans ces rapports, dont le but principal consiste à persuader les lecteurs et les décideurs que le programme évalué est efficace, unique en son genre, et qu’il justifie sa raison d’être. Des lecteurs avertis des enjeux de la mesure de la performance de l’action publique verront dans ces rapports prétendument évaluatifs des similitudes avec les brochures publicitaires ou les pamphlets propagandistes.

La deuxième approche a trait à des évaluations dont la conception, le contenu et le message sont contrôlés politiquement ou administrativement. Les évaluations de ce type sont également très biaisées, puisque les résultats présentés sont scrupuleusement épurés, pour occulter délibérément les informations négatives et les «résultats qui fâchent». Heureusement, ce type de rapport prétendument évaluatif est de plus en plus décrié et dénoncé par les instances gouvernementales et, surtout, par les chercheurs qui portent une attention grandissante sur les méthodes évaluatives poursuivies et la validité des indicateurs utilisés. Bref, ces deux approches entravent la gestion axée sur les résultats, dévalorisent la fonction évaluative, discréditent les évaluateurs et ne font qu’empirer la performance des actions publiques.

1.2/Les évaluations axées sur les méthodes

Les évaluations de programme peuvent être soit formatives, axées sur le suivi et la production d’enseignements utiles au sujet du fonctionnement et de la performance des programmes, soit sommatives, porteuses d’enseignements et de réponses finales sur les performances obtenues au terme de la réalisation des programmes à évaluer. Cela dit, plusieurs questions et méthodes sont mises à contribution dans le cadre de ces évaluations. Une douzaine d’approches évaluatives différentes peuvent servir à démontrer la pertinence, les mérites et la valeur ajoutée des interventions à évaluer. Cette famille d’approches accorde une importance cruciale aux préoccupations liées à la rigueur, à la mesure et à l’amélioration des effets des programmes visés par l’évaluation. Plusieurs questions sont posées dans le cadre des activités évaluatives. Les évaluateurs peuvent s’interroger sur la théorie de l’intervention (sa conception), sur sa pertinence (sa raison d’être, l’ampleur des besoins à satisfaire, le rôle de l’État, etc.), sur sa mise en oeuvre (les progrès, l’acceptabilité, la faisabilité, etc.), ainsi que sur ses performances, ses effets ainsi que les impacts des interventions. Pour évaluer les performances, les évaluateurs sont souvent appelés à apprécier l’efficacité, à mesurer l’efficience et à interroger la valeur nette des interventions. Selon le contexte et les enjeux en présence, les évaluateurs et les parties prenantes s’entendent pour déterminer les principaux enjeux évaluatifs et se limitent aux questions les plus préoccupantes, en évitant ainsi de répondre à toutes les questions en même temps et de prolonger inutilement la durée des activités évaluatives.

De manière générale, les évaluateurs sont souvent invités à répondre à des questions portant sur l’atteinte des objectifs et la mesure des performances. Les évaluations portent sur l’atteinte des objectifs escomptés par les programmes, en fonction de leurs maîtres d’oeuvre ou encore des parties prenantes concernées. Ce type d’évaluation, souvent réalisé à l’interne, implique le recours à l’utilisation de données et d’indicateurs permettant d’examiner la mesure dans laquelle les objectifs ont été atteints. Le point faible de cette approche est que l’évaluation ne permet pas de déterminer les moyens d’améliorer un programme et qu’elle se limite à apprécier l’atteinte des objectifs.

Les évaluations portant sur la vérification de la performance sont plus larges dans leurs questionnements et modalités pratiques. Elles visent la mesure et l’appréciation du rendement du programme à évaluer. Dans un contexte de gestion axée sur les résultats, cette approche permet aux parties prenantes de déterminer si les ressources investies produisent des extrants à la hauteur des attentes, dans une perspective d’amélioration en termes d’efficacité, d’efficience ou d’optimisation des ressources.

Pour répondre à ces questions, plusieurs méthodes d’investigation sont plus ou moins applicables selon le secteur et le domaine d’intervention du programme. Nous proposons sommairement les plus importantes:

•La méthode de la différenciation sert à apprécier l’évolution des cibles de l’action et des indicateurs de résultats, par exemple entre la situation qui prévalait avant l’intervention et celle qui est observée après celle-ci. Ce type d’évaluation est monnaie courante dans le secteur de l’éducation, où la performance des élèves est comparée selon le niveau des connaissances ou des apprentissages avant et après l’intervention du programme. En plus de cette méthode mesurant une différence simple, les évaluateurs font de plus en plus appel à la méthode de la double différence, en mesurant non seulement les différences entre avant et après l’intervention, mais aussi les différences entre les résultats et comportements observables chez les bénéficiaires et les non-bénéficiaires de l’intervention.

•La méthode de la valeur ajoutée consiste à apprécier les contributions nettes attribuables à l’intervention visée par l’évaluation. La démarche consiste à mesurer les progrès et les changements observés et, souvent, à reconnaître leurs déterminants. Dans les secteurs de la santé et des services sociaux, l’évaluation de la valeur ajoutée mesure la différence générée par un programme sur les comportements, les processus ou les ressources. Il s’agit d’une technique très répandue et exigeante en rigueur et en données quantitatives. La valeur ajoutée à mesurer peut être d’ordre social, économique ou utilitaire. Les techniques d’analyse statistique requises exigent de plus en plus de compétences en analyse quantitative avancée.

•La méthode des tests empiriques consiste à mesurer les changements imputables à un programme au moyen d’instruments et d’outils validés par des experts. Ce type d’évaluation permet de faire avancer les connaissances de manière rigoureuse et irréprochable, puisque les tests standardisés donnent une grande valeur scientifique aux évaluations. Cette méthode est d’usage courant dans les secteurs de l’éducation, des services sociaux et de la formation professionnelle.

•La méthode expérimentale (ou quasi expérimentale) fait appel à des protocoles plus rigoureux pour mesurer les impacts et démontrer l’efficacité des interventions. On fait souvent appel à l’assignation aléatoire (randomisation), en constituant au moins deux groupes (groupe d’intervention et groupe-témoin), dont le premier bénéficie d’une intervention alors que le second en est privé. Cette méthode en vogue depuis quelques années procure des résultats plus rigoureux, même si sa systématisation soulève des préoccupations éthiques, notamment dans les secteurs sociaux précaires et vulnérables. L’expérimentation contrôlée est fort utile pour les évaluateurs puisqu’elle favorise la production d’inférences sans équivoque au sujet de la relation causale entre le traitement et la variable qui en mesure l’impact.

•La méthode des systèmes informationnels est utilisée par plusieurs ministères et organismes publics et privés pour constituer des tableaux de bord servant d’outils pour l’évaluation et la planification. Parce qu’ils facilitent le suivi de l’implantation d’un programme et de l’atteinte des objectifs, les tableaux de bord fournissent une information utile pour planifier l’avancement d’un programme, le contrôler et en rendre compte. Ce type d’évaluation portant sur les processus et non sur les impacts nécessite une mise à jour constante des outils afin de s’adapter à l’état actuel d’un programme.

•La méthode coûts-avantages est très prisée pour l’évaluation de l’efficience économique des programmes. Cette méthode d’analyse quantitative permet de porter un jugement sur le rendement des investissements, en termes d’avantages quantifiables monétairement par des proxys même pour les impacts intangibles et non marchands. Cette méthode économique produit divers indicateurs de rendement (valeur actualisée nette, ratio avantages-coûts, taux de rendement interne, délai de récupération, etc.) sur la base de prémisses macroéconomiques permettant d’actualiser les impacts futurs (avec un taux d’actualisation convenu) et de mesurer les risques et incertitudes susceptibles d’influer sur les coûts et les avantages.

•La méthode d’évaluation par une commission d’enquête (ou un jury) constitue une procédure évaluative fondée sur les investigations et les travaux d’une commission formée à cette fin et présidée par un expert neutre et crédible. L’évaluation par une commission produit un jugement sur le programme au regard de critères prédéfinis. L’examen du programme permet de débattre d’une intervention, de confronter ses arguments avec la réalité et de produire un jugement équilibré sur les forces et les faiblesses d’un programme. Toutefois, on reproche à l’évaluation par une commission d’enquête d’entraîner des débats très controversés, parfois entachés de biais politiques et médiatiques faisant dévier les travaux évaluatifs de leur trajectoire initiale.

•La méthode d’évaluation par étude de cas privilégie l’examen approfondi d’un cas d’intervention jugé intéressant. Souvent réalisée dans une perspective rétroactive ou rétrospective, cette approche procure aux parties prenantes concernées une explication approfondie sur le programme et son fonctionnement au regard de leurs intérêts et de leurs besoins. Elle implique le recours à une diversité de sources de données et de techniques d’analyse. Les principales limites de cette approche résident dans le choix des cas et dans la difficulté d’extrapoler les résultats et enseignements obtenus.

•La méthode basée sur l’avis d’experts sert elle aussi à évaluer des interventions particulières à certains domaines de l’action publique. Cette approche requiert la participation d’un ou plusieurs experts reconnus dans leur champ d’expertise et qui auront pour tâche d’exprimer leur opinion sur un programme à la suite d’une analyse approfondie. Cette méthode est souvent critiquée au regard de sa dépendance au niveau d’expertise et au profil des experts impliqués, notamment pour les problèmes de subjectivité, d’éthique ou d’absence de consensus qu’elle soulève.

•La méthode de la théorie du changement sous-jacente au programme consiste à interroger les concepts, les causalités et les paradigmes ayant servi de fondement à la conception et à la mise en œuvre d’une intervention. Ce type d’évaluation questionne la théorie retenue et vérifie si les changements et les objectifs escomptés sont cohérents et plausibles au regard de cette théorie. L’évaluation interroge la théorie ou les théories ayant façonné les relations de causalité entre les intrants, les extrants et les résultats, puisque le recours à une théorie validée et cohérente peut aider à structurer et à guider l’interprétation des résultats par l’évaluateur. Toutefois, le recours à ce type d’évaluation sousentend que le programme est soutenu par une théorie validée et articulée.

•La méthode mixte consiste à combiner plusieurs méthodes (quantitatives, qualitatives, économiques, participatives, etc.) pour assurer une complémentarité et un équilibre fructueux entre des sources d’informations diverses et des types de données variés (données narratives, descriptives, quantitatives, financières, etc.). Les méthodes quantitatives sont de plus en plus standardisées, normées et enrichies par des données qualitatives issues de l’observation, des entrevues et des groupes de discussion.

•La méthode d’évaluation d’impact contrefactuelle est une méthode en vogue et qui connaît un engouement grandissant. Cette méthode essentiellement quantitative et basée sur des techniques statistiques avancées cherche à produire des évaluations rigoureuses non biaisées (notamment par les biais de sélection) et capables de comparer les impacts observés et non observés chez les bénéficiaires des programmes. Dans ce cadre, plusieurs techniques sont utilisées par les évaluateurs: 1) la technique randomisée expérimentale; 2) la technique de l’appariement par score de propension; 3) la technique de la double différence; 4) la technique de la régression par discontinuité; 5) la technique de la variable instrumentale.

Ces développements nous éclairent sur la rapide prolifération des méthodes évaluatives. Cela dit, les évaluations restent tributaires des contingences exogènes à l’évaluation (les délais, les budgets, les pressions, les données, etc.) et dépendantes des questions évaluatives à traiter.

Les approches centrées sur les questions sont motivées par des questions particulières, tandis que les approches centrées sur les méthodes utilisent des méthodes particulières; la méthodologie et les questions abordées dans ces approches peuvent servir à évaluer le mérite et la valeur d’un programme (Stufflebeam, 2001, p. 16, notre traduction).

1.3/Les évaluations centrées sur l’amélioration de la reddition de comptes

La troisième grande catégorie d’approches se compose d’évaluations centrées sur l’amélioration de la reddition de comptes. Cette catégorie regroupe au moins trois approches, soit l’évaluation centrée sur l’aide à la décision, l’évaluation centrée sur la satisfaction des bénéficiaires et l’évaluation pour des fins d’accréditation et de certification. Ces approches sont vastes et visent l’exhaustivité dans l’examen de l’ensemble des questions et critères nécessaires pour évaluer la valeur d’un programme. Elles sont destinées à documenter les décisions, les besoins, les bénéficiaires et la qualité de la gestion (Stufflebeam, 2001).

•L’évaluation centrée sur l’aide à la décision et à la gestion constitue une approche de plus en plus utilisée pour répondre aux questions et aux exigences contextuelles des parties prenantes qui veulent notamment, d’une part, impliquer davantage d’acteurs concernés (bénéficiaires, agences gouvernementales, groupes d’intérêts, élus, etc.) et, d’autre part, alimenter les processus décisionnels en quête de données probantes afin de mieux comprendre les enjeux, de solutionner des problématiques complexes, de justifier et légitimer des décisions à prendre (ou déjà prises) ou encore de favoriser l’adhésion des parties prenantes. Cette approche vise à produire des connaissances pertinentes, dans le but d’améliorer les processus d’intervention d’un programme, mais pas nécessairement pour prouver le rendement et les impacts obtenus (not to prove but to improve). Les enjeux de l’utilisation des résultats des évaluations se posent avec acuité dans ce type de démarche évaluative.

•L’évaluation de la satisfaction consiste à mesurer le niveau d’adéquation entre les besoins et les services rendus par les programmes au regard des attentes (besoins, coûts, impact, valeur, qualité, etc.). La satisfaction des bénéficiaires constitue un proxy des impacts escomptés par les programmes publics; c’est pourquoi les évaluateurs se proposent de mesurer la satisfaction des bénéficiaires par une gamme de méthodes axées sur l’étude de la satisfaction.

•L’évaluation pour des fins d’accréditation et de certification vise à garantir les aptitudes des institutions, des programmes et des acteurs concernés à s’acquitter de leurs fonctions. C’est souvent par l’entremise d’un groupe d’experts que les informations utiles à la prise de décision sont vérifiées et rassemblées. La limite de cette approche est le risque de biais, étant donné la proximité des acteurs impliqués.

1.4/Les évaluations véhiculées par l’agenda sociopolitique

L’évaluation de programme peut être aussi perçue comme un outil pour les groupes d’intérêt et les groupes de pression. Elle devient un moyen de pression et un instrument de communication pour influencer les politiques publiques. Cette famille d’évaluations est constituée de quatre approches principales.

•L’évaluation issue des coalitions plaidantes constitue une évaluation réalisée en réponse à des préoccupations manifestées par certains acteurs influents. Les parties prenantes sont souvent les initiateurs de ce type d’évaluation, et les évaluateurs emploient des méthodes telles que l’étude de cas, l’observation, mais aussi des données quantitatives pour évaluer le niveau d’opposition ou d’insatisfaction à l’égard d’un programme. Ces évaluations s’inscrivent dans le cadre de recherches-actions portées sur la communication et la démonstration par des essais et des erreurs.

•L’évaluation constructiviste s’inscrit dans le paradigme constructiviste, où la réalité objective est souvent remise en cause, voire contestée. Les acteurs impliqués dans le processus d’évaluation sont considérés de facto comme des humains subjectifs, et l’évaluateur assume un rôle éthique, «penseur» des enjeux et meneur des consciences. Cette approche implique une collaboration entre l’évaluateur et les parties prenantes. L’évaluateur définit les fron-tières de son travail et les mesures qu’il emploiera, mais il interagit constamment avec les parties prenantes pour définir ou redéfinir les questions d’évaluation. Cette approche vise la déconstruction et la reconstruction des enjeux, des causalités et des modalités pour solutionner une problématique par une intervention ou un programme public; «en un sens, l’évaluation constructiviste est un processus sans fin. Il y a toujours davantage à apprendre, et la découverte des bonnes réponses est considérée comme un idéal impossible» (Stufflebeam, 2001, p. 72, notre traduction).

•L’évaluation démocratique s’appuie sur les principes de la démocratie participative, selon lesquels l’évaluateur doit tirer des conclusions défendables et informatives sur les choix et les actions d’un programme. L’évaluateur détermine les questions évaluatives de manière collégiale, participative et démocratique. Cette approche comprend trois dimensions: la dimension participative, par l’implication des parties prenantes; la dimension consultative; la dimension délibérative, qui consiste à rapporter honnêtement les points de vue. La limite de cette approche repose sur le fait qu’elle peut être difficile à mettre en oeuvre.

•L’évaluation axée sur l’utilisation vise à répondre aux attentes particulières des parties prenantes pour s’assurer que l’évaluation produite sera utile. Selon Stufflebeam (2001), même si un rapport d’évaluation est excellent, s’il se retrouve sur une tablette, il ne pourra pas contribuer de manière positive à l’amélioration du programme. En bref, les approches de cette catégorie «visent à faire une différence dans la société grâce à l’évaluation de programme» (Stufflebeam, 2001, p. 62, notre traduction). Le tableau 1.1 présente l’ensemble des approches présentées par Stufflebeam selon les différentes catégories.

TABLEAU 1.1 / Catégories et approches d’évaluation selon Stufflebeam

2/Les compétences requises et l’accréditation en devenir

Depuis quelques années, l’exercice des fonctions de l’évaluateur s’est complexifié; il requiert désormais la maîtrise d’un nombre croissant de compétences. Face à la récente professionnalisation de la pratique, de nombreuses démarches ont été entreprises dans le but de former les évaluateurs et de les outiller de nouvelles compétences, à la hauteur des défis associés à la complexité grandissante des mandats d’évaluation. Au Canada, tout comme ailleurs dans le monde, des préoccupations émergent chez les professionnels quant à la définition, à l’acquisition et à la mesure des compétences requises.

2.1/Les compétences comme garant de la qualité des évaluations

La réalisation d’évaluations fiables et crédibles n’est malheureusement pas à la portée du premier venu qui s’improvise comme évaluateur sans nécessairement pouvoir démontrer qu’il possède les compétences et les connaissances requises. C’est parce que l’évaluation constitue une activité stratégique pour les politiques publiques qu’on ne peut se permettre de confier à n’importe qui le droit de juger des mérites et de la valeur des interventions et des programmes publics.

Stevahn et al. (2005, p. 48, notre traduction) font un lien étroit entre expertises et compétences:

[D]ans le monde du travail, être expert signifie qu’on détient les habiletés multidimensionnelles nécessaires pour pratiquer un métier donné. Des cadres de référence différents, par contre, influencent la manière de concevoir et d’opérationnaliser les compétences (Weinert, 2001). Dans le domaine de l’appréciation des compétences, certains auteurs se limitent à définir les compétences en fonction de capacités et de connaissances, alors que d’autres prennent également en compte les attitudes et les valeurs (Blanton, 1992; Gettinger et al., 1999).

Bourgault et al. (2003) balisent les compétences requises dans un spectre plus large:

Une compétence est faite de diverses habiletés […]; la compétence existe avec un certain potentiel chez chacun et se trouve manifestée à des degrés divers, variant selon le développement de cette personne. Une même habileté […] peut contribuer à la manifestation de plusieurs compétences (communiquer par écrit, fournir des analyses fiables) […] Chaque compétence se trouve alimentée par des savoirs (connaissances générales), des savoir-faire (habiletés) et des savoir-être (attitudes ou dispositions personnelles) (Bourgault et al., 2003, p. 10).

Kerka (1998) va dans le même sens et soutient une vision intégrée des compétences, comme une combinaison de connaissances, d’attitudes, d’habiletés et de valeurs affichées dans le contexte du rendement au travail (Gonczi, 1997; Hager, 1995; Kerka, 1998). Hunter et McDavid (2016) brossent un portrait actualisé de l’acquisition des compétences en évaluation dans le système universitaire canadien en se basant sur le Profil de compétences de la Collectivité des spécialistes de l’évaluation de la fonction publique fédérale (PCSEFPF). Les auteurs analysent la mise en place d’un système d’éducation et de formation axé sur les compétences (ÉFAC) et affirment que

le développement et l’élaboration des compétences professionnelles ont grandement influencé la manière dont les employeurs, les programmes académiques, les formateurs et les autres parties prenantes réalisent leur travail (Hunter et McDavid, 2016, p. 4, notre traduction).

En collaboration avec les professeurs universitaires enseignant l’évaluation au sein des universités membres du Consortium des universités pour l’enseignement de l’évaluation (CUEE), Hunter et McDavid (2016) ont développé une grille matricielle basée sur le PCSEFPF et réalisé l’analyse des cursus universitaires proposés aux étudiants. Les résultats publiés permettent de générer trois constats principaux:

1Les auteurs reconnaissent l’importance de professionnaliser les évaluateurs, mais ils déplorent aussi le manque de consensus en ce qui a trait à l’arrimage entre les compétences requises et les formations universitaires acquises.

2Ils reconnaissent que les formations universitaires en évaluation telles qu’elles sont offertes en Ontario et au Québec procurent de meilleures compétences qualifiantes pour évaluer les politiques publiques, comparativement au reste des provinces canadiennes.

3Dans l’ensemble des établissements, c’est la catégorie des compétences intellectuelles requises pour l’évaluation qui a la couverture la plus complète, tandis que la catégorie des compétences de gestion des évaluations est la plus lacunaire (Hunter et McDavid, 2016, p. 17).

2.2/Les profils des compétences en évaluation

Contrairement aux autres professions opérant dans les champs des sciences sociales (par exemple les services sociaux ou l’éducation), l’évaluation de programmes n’a que récemment entrepris la tâche de définir les compétences associées à sa pratique (Stevahn et al., 2005). Rappelons que ce type de démarche permet des usages connexes tels que la disponibilité d’une liste de compétences pour les individus en formation, pour les professionnels novices, pour les employés impliqués dans la formation continue ou pour ceux qui font des études en évaluation (Stevahn et al., 2005).

À l’échelle du Canada, deux initiatives principales ont cherché à baliser les compétences requises pour exercer le métier d’évaluateur. Nous présenterons dans un premier temps la grille proposée par le Centre d’excellence en évaluation (Conseil du Trésor du Canada), puis celle de la Société canadienne d’évaluation.

2.2.1/La grille élaborée par le Centre d’excellence en évaluation

Le Centre d’excellence en évaluation (CEE) occupe un rôle central dans la pratique de l’évaluation au sein de la fonction publique fédérale canadienne «en fournissant des conseils et des orientations sur la mise en oeuvre, l’utilisation et le développement des pratiques d’évaluation» (CEE, 2010). À cette fin, il publie depuis les années 1980 des outils et des politiques d’évaluation à l’intention des gestionnaires dans le but de favoriser la pratique de la gestion axée sur les résultats (CEE, 2010).

Parmi les initiatives lancées par le CEE se trouve l’élaboration d’un profil de compétences pour les évaluateurs. Développés en 2002 par le Centre de psychologie du personnel de la Commission de la fonction publique, les travaux incluaient un processus de consultation élargi (CEE et Treasury Board of Canada Secretariat [TBCS], 2010). Cette première démarche avait permis d’élaborer un profil composé de quatorze compétences principales regroupées en cinq groupes et distinguait trois niveaux d’exercice des fonctions: subalterne, intermédiaire et principal. Les trois principales applications visées étaient le recrutement, la formation et le perfectionnement, et la promotion du travail d’équipe (Centre de psychologie du personnel, 2002).

Dans le cadre de la révision de la politique en évaluation datant de 2001, le profil de compétences est retravaillé à partir de 2008. La deuxième version du profil tient compte des travaux précédents et résulte de la collaboration entre plusieurs parties prenantes internes. Cette version se veut générique, dans le but de laisser aux ministères et organismes le soin de développer eux-mêmes des outils précis mieux adaptés à leur secteur d’activité (CEE et TBCS, 2010). La grille développée propose dix compétences principales, organisées en quatre grandes catégories: 1) les compétences intellectuelles, 2) les compétences de gestion, 3) les compétences relationnelles, 4) les compétences personnelles. Chacune des compétences est accompagnée d’indicateurs comportementaux offrant des exemples concrets d’application. D’ailleurs, ceux-ci sont également structurés en quatre catégories permettant de distinguer le niveau d’exercice des fonctions: 1) débutant, 2) intermédiaire, 3) avancé, 4) chef de l’évaluation. La figure 1.1 présente la synthèse de la grille proposée à l’échelle du gouvernement fédéral canadien.

2.2.2/Le référentiel de la Société canadienne d’évaluation

La Société canadienne d’évaluation (SCÉ) est une communauté de pratique regroupant un réseau de professionnels en évaluation oeuvrant à travers le Canada. Créée au début des années 1980, la SCÉ est la plus ancienne société professionnelle d’évaluation (SCÉ, 2014a). Misant sur la force cohésive, ses membres sont issus de quatre secteurs principaux: le secteur privé, le secteur éducatif et les organismes sans but lucratif, la fonction publique fédérale et la fonction publique non fédérale (SCÉ, 2014a).

Dans un contexte marqué par un mouvement d’auto-identification souhaitant la mise en valeur des pratiques, l’idée de formaliser la profession est officiellement lancée dans les années 1990 (SCÉ, 2014a). L’adoption d’un processus rigoureux de validation des compétences des évaluateurs voit finalement le jour en 2010. Le titre d’évaluateur accrédité, associé à un registre public, requiert de répondre à des critères précis impliquant la formation, l’expérience et la participation à une formation complémentaire (SCÉ, 2014a). De plus, le programme officiel d’accréditation est basé sur quatre éléments essentiels: les lignes directrices en matière d’éthique, les normes de pratique, les exigences de maintien et le profil des compétences (SCÉ, 2014a).

FIGURE 1.1 / Profil des compétences pour l’évaluateur à l’échelle du gouvernement fédéral canadien

D’ailleurs, l’élaboration du référentiel des compétences professionnelles implique des travaux en recherche, une consultation des membres et une validation externe (SCÉ, 2014b). La grille élaborée par la SCÉ reprend la définition de la compétence formulée par Stevahn et al. (2005) et s’inspire des travaux de King et al. (2001) sur la nécessité d’une classification des compétences au sein des professionnels de l’évaluation. La sélection des compétences professionnelles se veut évolutive, ouverte aux résultats de récentes recherches et intégrée à un processus itératif. L’utilisation du référentiel a comme principaux objectifs:

l’élaboration de programmes de formation et les choix de compétences et de connaissances à intégrer dans une activité d’apprentissage; l’auto-évaluation par les évaluateurs pour planifier leur perfectionnement professionnel; la conception des emplois, la rédaction des descriptions de tâches au moment de décider d’embaucher des spécialistes de l’évaluation; l’élaboration d’appels d’offres et de termes de référence pour acquérir des services d’évaluation; la prise de décision en lien avec le programme d’accréditation (SCÉ, 2014b).

Le référentiel mis de l’avant par la SCÉ se compose de 49 compétences structurées en cinq catégories. Les compétences professionnelles

incluent les normes et les valeurs qui balisent l’exercice professionnel ainsi que la conscience requise par l’évaluateur pour établir son niveau d’expertise dans le domaine et pour assurer son développement professionnel (SCÉ, 2010, p. 2).

Les compétences opérationnelles font référence aux connaissances liées aux méthodologies employées par les évaluateurs telles que la collecte ou l’analyse des données. Les compétences contextuelles intègrent la notion de prise en compte des contextes et des préoccupations particulières au projet d’évaluation. En ce qui a trait aux compétences de gestion de la démarche, elles touchent les ressources financières et temporelles et la coordination de projet. Enfin, les compétences interpersonnelles impliquent entre autres l’habileté communicationnelle et de gestion de conflits.

Le référentiel propose également des indicateurs précis pour chacune des 49 compétences. Définis comme étant des descripteurs, ils offrent plus de détails sur les exigences entourant le travail des évaluateurs accrédités. La figure 1.2 présente les catégories ainsi que les compétences proposées par la SCÉ dans son référentiel des compétences professionnelles.

Patton (2012) rappelle que les travaux entourant la définition de profils des compétences se sont multipliés dans le cadre d’un processus de recherche de crédibilité de la part des évaluateurs. L’auteur explique que les lignes directrices de la Société américaine d’évaluation mettent également l’accent sur la compétence de ses membres. En ce qui concerne les évaluations axées sur l’utilisation, il souligne que les liens unissant les compétences et l’engagement rendent l’évaluateur crédible. Pour sa part, il identifie sept catégories de compétences particulières à l’évaluateur: les compétences professionnelles, les compétences techniques, l’analyse situationnelle, la compétence culturelle, la compétence interpersonnelle, la gestion de projet et la pratique réflexive (Patton, 2012).

Certains dénominateurs communs ressortent des deux initiatives mises en oeuvre jusqu’ici quant à la détermination du profil des compétences des professionnels en évaluation au Canada. Dans un premier temps, il s’avère évidemment que les deux organisations répondent à un besoin documenté à partir des années 1990 au sein des professionnels en évaluation. Dans leurs travaux initiaux, les deux initiatives tiennent compte des efforts réalisés aux États-Unis pour identifier les compétences essentielles liées à la fonction d’évaluation (King et al., 2001; Stevahn et al., 2005). Également dans les deux cas, le processus d’identification et de sélection des compétences fait partie d’un processus de consultation des parties prenantes déjà impliqué dans les mandats d’évaluation et d’une validation externe. Les deux grilles de compétences arrivent à dresser un profil à la fois clair et précis des évaluateurs et proposent de regrouper la liste de compétences en catégories similaires.

Par contre, le référentiel proposé par la SCÉ inclut près de trois fois plus de compétences que l’approche proposée à l’échelle du gouvernement fédéral, dont il se distingue en ce qu’il vise ultimement l’instauration d’un système obligatoire d’accréditation transparent et structuré. La disponibilité d’un registre officiel des évaluateurs accrédités contribue à la professionnalisation des évaluateurs et peut servir de source d’inspiration aux communautés de pratiques basées à l’extérieur du Canada.

FIGURE 1.2 / Référentiel des compétences professionnelles de la Société canadienne d’évaluation

Au terme de ces développements et surtout au regard des enjeux relatifs aux méthodes évaluatives et aux compétences requises, la pratique de l’évaluation progresse rapidement, tout en faisant face à des défis de taille. Les progrès dans la pratique évaluative sont aussi porteurs de défis à relever à court et moyen terme.

3/Les défis à relever

Les développements décrits ci-dessus ont balisé les principaux