Fiche pédagogique du cours

Domaine Sciences de la santé humaine et animale

Mention Médecine humaine
Spécialité Santé publique
Offre de formation Licence professionnelle en Santé publique
Option Épidémiologie
Semestre 5
Licence 3, 1er semestre
UE Évaluation des interventions en santé
Crédits 4
ECUE Évaluation des interventions en santé
Autre ECUE de l’UE Néant
Masse horaire 100 heures dont 39 en présentiel
Enseignant Maurice T. AGONNOUDE, MD, MPH, PhD, Maitre-assistant
Période : 21 au 25 octobre 2019

Objectifs d’apprentissage
A la fin du cours, l’apprenant doit être capable de:
1. Utiliser dans leur sens approprié, les concepts: intrants, extrants, évaluation,
suivi/monitoring, supervision, contrôle, résultat, effets, impact, indicateur,
intervention, performance, efficience, efficacité, pertinence.
2. Expliquer l’importance de l’évaluation dans le cycle de vie d’un projet de santé;
3. Faire le lien entre le suivi et l’évaluation;
4. Exposer les différents typologies d’évaluation;
5. Identifier les différentes étapes du processus d’évaluation;
6. Appliquer la démarche d’évaluation des effets d’un projet d’intervention en santé.

Contenu du cours

1. Généralités
1.1 Définition des concepts
1.2 Cadres d’élaboration des indicateurs
1.3 Buts et contre-indications d’une évaluation
1.4 Composantes d’un projet et place de l’évaluation dans le cycle de
management
2. Cadre d’évaluation & typologies d’évaluation

1
 3. Processus d’évaluation
4. Critères et question d’évaluation
5. Démarche d’évaluation des effets en situation réelle
Méthodes d’apprentissage et d’évaluation
• Méthode de la découverte
– Travaux de groupes sous forme de jeux
– Exercice individuel
– Brainstorming/ Exposés-discussion
• Evaluation:
– Contrôle continu : des exercices en classe (20%)
– une évaluation sous forme de travaux de groupe (30%)

– Une ou plusieurs évaluation(s) finale(s) individuelle(s) (50%).

2
Calendrier de déroulement
Date Horaire Chapitres
21 octobre 2019 14h-19h Prise de contact : présentation Étudiants- Enseignant
Présentation du cours
Exercice sur les concepts
Exercice sur les indicateurs
22 octobre 2019 8h-12h Synthèse sur la définition des concepts:
Cadre d’évaluation et types d’évaluation
14h-19h Étapes standards du processus d’une évaluation

23 octobre 2019 14h-19h Critères et questions d’évaluation

Travaux de groupe
24 octobre 2019 8h-12h Démarche d’évaluation des effets d’une intervention
Conclusion
14h-19h Révision et exercice
25 octobre 2019 8h-12h Révision et exercice
14h-19h Évaluation partielle N° 1
Références
Livre :
1. Astrid Brousselle, François Champagne, André-Pierre Contandriopoulos et al.
L’évaluation : Concepts et méthodes. Edition les presses de l’Université de
Montréal, 2009.

2. Valery Ridde et Christian Dagenais. Approches et pratiques en évaluation de

programme. Edition les presses de l’Université de Montréal, 2009.

3. Drummond M., O’Brien J. B., Stoddardt, Torrance W. G. Méthodes d’évaluation

économiques des programmes de santé. 2ième édition Economica 2008.

Sites web
http://www.unicef.org/reseval/index.html
A UNICEF Guide for Monitoring and Evaluation Making a Difference?.

http://www.unfpa.org/monitoring/toolkit/5managing.pdf
Programme Manager’s Planning Monitoring & Evaluation Toolkit

3
Introduction

Dans la vie quotidienne, on juge des faits, on apprécie des évènements, des gestes, des
activités. On peut dire que notre quotidien est jalonné d’activités d’évaluations. Pourtant,
pouvons-nous-dire que nous sommes tous des évaluateurs. L’évaluation des programmes
en général et des interventions de santé en particulier présente quelques spécificités qui
font de leurs pratiquants des professionnels d’une activité nouvelle sous nos cieux et en
pleins essors partout dans le monde. Dans ce cours nous verrons les concepts et les
principales méthodes utilisées dans le domaine de l’évaluation des programmes.

I. Généralités
1.1 Définition des concepts

Intervention en santé: c’est un système d’actions utilisés pour produire des biens et
services en vue de corriger une situation problématique en santé.

Intrants (inputs, apports): ce sont des ressources allouées à la mise en œuvre d’une
intervention.

Extrants (outputs, réalisations): ce sont les productions de l’intervention (session de

formation, documents pédagogique….).

Résultats: ce sont des changements immédiats escomptés (amélioration de compétences,

construction d’infrastructure,…).

Effets: ce sont des changements à court terme escomptés ou non: (augmentation de

l’utilisation des services, Diminution des cas de complications de maladie, …) Parfois les
effets sont assimilés aux résultats.

Impacts: ce sont des changements sociaux, économiques et environnementaux à long

terme imputables à une intervention.

La supervision : c’est une action qui permet à un chef hiérarchique compétent de vérifier
l’exécution du travail d’un agent, de le motiver, en vue d’améliorer sa performance.

Contrôle: c’est la vérification qui vise à s’assurer de l’exécution d’une tâche, à déceler
les anomalies et erreurs afin d’y remédier. Peut aboutir à une sanction

4
Figure N°1 Chaines de résultats lors de la mise en œuvre d’une intervention

Effets
Produits/ Impacts
Apports/ Baisse de la
Résultats prévalence Diminution
Intrants Outputs 80% des cas de de du taux de
ou Inputs extrants de l’anémie mortalité
Ressources paludisme sévère infantile
Formatons
sont pris en chez les
des
charge enfants
infirmiers sur
l’a prise en selon les
charge du normes du
paludisme PNLP.
selon les
directives
du PNLP

Suivi = Monitoring: c’est un processus continu de collecte de donnée visant à assurer à

la direction, des indications rapides de progrès ou d’absence de progrès dans la réalisation
des résultats.

Évaluation : c’est un processus qui amène à porter un jugement scientifiquement valide

et socialement acceptable et prendre une décision sur une intervention, décision pouvant
se traduire en actions : mesurer, comparer, juger, décider et agir.

Cycle de vie de projet : Phases par lesquelles passe le projet: Identification -

planification - exécution et de suivi – évaluation

Critère: c’est la base du jugement évaluatif

Indicateur: c’est une variable permettant la mesure de changements; information

permettant d’objectiver une réalité. Il n’a de sens que confronté à un critère.

5
Les qualités d’un indicateur :

 Validité: il doit mesurer vraiment l'état ou le phénomène pour lequel il a été

choisi.
 Fiabilité: il doit produire le même résultat quand il est réutilisé dans les mêmes
conditions.
 Spécificité: il doit mesurer exclusivement l'état ou le phénomène pour lequel il a
été choisi.
 Sensibilité: il doit refléter les changements de l'état ou du phénomène étudié.
 Compatibilité : il faut pouvoir le mesurer en utilisant des définitions et des
références standard.
 Économie: il faut que les coûts de sa mesure demeurent raisonnables.
 Faisabilité: il doit permettre de calculer effectivement les mesures voulues.

La performance: c’est la capacité à produire des résultats conformes aux objectifs et

normes.

La pertinence: c’est un critère interrogeant le bien-fondé, l’adéquation entre les objectifs

et la nature du problème à résoudre.

1.2 Cadre d’élaboration des indicateurs de suivi et /ou d’évaluation dans un

projet
Toute activité de suivi ou d’évaluation s’élabore autour d’indicateurs. Il existe des cadres
qui peuvent guider dans l’élaboration de ces indicateurs. Le tableau suivant est l’un de
ces cadres.

6
Tableau 1 : Cadre de référence pour le monitoring et l’évaluation des interventions
en santé Adaptation de Afari E, Fall I S, Minkoulou E et Tohon S

Évaluation de l’intervention
Monitoring de la mise en œuvre Évaluation des résultats, effets et de l’impact
Intrants Processus Résultats Effets Impact
Ressources Formation Personnes Amélioration Réduction de la
humaines Appui technique formées performances morbidité
Ressources Production Services produits Augmentation Réduction de la
financières guides et Partenariat mis en couvertures mortalité
Médicaments et documents place Amélioration de Amélioration de la
produits CCC, plaidoyer Mécanismes de l’accès qualité de vie
Logistique Fourniture de coordination Augmentation de
Information médicaments et Information la qualité et
Infrastructures autres. produits Infrastructure l’utilisation des
Planification services, (bien-être
socio-écono.)
Indicateur Indicateur de Indicateurs de Indicateurs Indicateurs d’impact
d’entrée processus Résultats d’effet

Exercice d’application 1

• Imaginer une intervention pour solutionner un problème de santé de votre

communauté. On vous demande de proposer quelques pistes pour l’évaluation de
cette intervention.

• Travail à faire

• Donner le problème de santé ou relatif à la santé qui se pose dans cette

communauté.

• Formuler une intervention pour la résolution de ce problème :

• Titre de l’intervention

• Proposez l’objectif général et 2 objectifs spécifiques

• Pour l’évaluation, identifier les indicateurs suivants et leur critère de

jugement:

7
 • 2 indicateurs de processus

• 2 indicateurs de résultat

• 2 indicateurs d’effet

• 2 indicateurs d’impact

1.3 Buts et contre-indications d’une évaluation

L’évaluation étant une activité exigeante et consommatrice de temps et de ressources, la
question se pose de savoir pourquoi entreprendre l’évaluation d’une intervention. On
entreprend généralement une évaluation pour atteindre cinq buts ou objectifs :

• stratégique: l’évaluation aide à la planification et à l’élaboration d’une

intervention nouvelle;

• sommatif: l’évaluation aide à la prise de décision sur l’intervention en cours

(poursuivre ou ne pas poursuivre l’intervention)

• formatif: ici, l’évaluation permet la production d’informations pour modifier une

intervention en cours;

• politique: l’évaluation fournit des preuves scientifiques que l’on peut utiliser dans
un débat politique sur un sujet à controverse;

• fondamental: l’évaluation sert à la production de nouvelles connaissances pour

l’avancement de la science.

Dans le même temps, il est important de savoir que toute intervention ne mérite pas
évaluation et donc qu’il y a des circonstances dans lesquelles l’évaluation est contre-
indiquée ou inutile. Ces circonstances sont :

• des interventions peu coûteuses affectant peu de personnes;

• une intervention unique;

• une intervention efficace et sans alternatives;

• une intervention confuse;

• une intervention manquant de ressources pour la mise en œuvre;

• en cas de forte opposition à l’évaluation;

8
 • lorsqu’il n’y a pas d’utilisateurs intéressés par les résultats de l’évaluation.

1.4 Composantes d’un projet et place de l’évaluation dans le cycle du

management

1.4.1 Composantes d’un projet

L’idée de conception d’une intervention débute par l’expression d’un besoin de santé par
une communauté. À réponse à ce besoin, une intervention est planifiée. Une fois
planifiée, l’intervention a besoin d’une série de moyens humains, matériels et financiers
pour son exécution ou sa mise en œuvre qui conduira à la satisfaction du besoin initial
identifié. Durant tout le processus de mise en œuvre, les gestionnaires font face à des
contraintes de qualité, de temps et de ressources. Une évaluation est susceptible
d’interroger chacune de ces composantes de l’intervention. La figure suivante résume ces
différentes composantes. La figure suivante montre les différentes composantes d’un
projet.

Figure N°2 Les composantes d’un projet ou d’une intervention

Besoin de santé
de la communauté Humain
s
Moyens Matériel
s

Service
s
Planification Exécution-Conduite Satisfaction
de l’intervention du besoin

Conduite
Qualité

Contraintes Finances
9

Temps
Une autre façon de concevoir une intervention est de la considérer comme un système
organisée d’actions qui comprend dans un environnement donné: des acteurs, des
processus (qui sont des relations entre les ressources et les activités) et un but.

1.4.2 Place d’évaluation dans le cycle de vie d’un projet

Dans le cycle du management, l’évaluation fait suite à la mise en œuvre et peut aboutir à
l’identification d’un nouveau problème pour un renouvellement du cycle. Notons que le
manager ou la direction de l’organisation occupe dans ce cas une position centrale lui
permettant de jouer le rôle de pivot pour la mise en orchestre des différentes phases du
cycle (voir figure 3). En fait cette vision du cycle de management est assez simplificatrice
car en réalité, le suivi et l’évaluation sont des activités connexes indispensables du
management et qui peuvent intervenir à toutes les phases depuis l’identification du
problème jusqu’à la satisfaction des besoins en passant par la mise en œuvre de
l’intervention planifiée et l’offre des services. Cela peut être schématisé par la figure 4 ci-
après.

Figure N°3 Place de l’évaluation dans le cycle du management

Évaluation

Direction
• Créativité
• Planification Problème
Mise en œuvre • Organisation Identifié
• Communication
• Contrôle/Supervision

Solution panifiée

Figure N 4Place centrale du suivi et de l’évaluation dans le cycle du management

10
Enfin comme le montre la figure N°5 ci-après, l’évaluation peut être une activité à mener
avant pendant et après la mise en œuvre d’une intervention alors que le suivi est
consubstantiel au déroulement de l’action ou la mise en œuvre.

Figure N°5 Conception de l’évaluation en lien avec les différentes phases de l’action

11
II- Cadre d’évaluation & typologies d’évaluation
2.1 Lien entre le suivi et l’évaluation
Le suivi ou monitoring contribue à établir un processus continu de collecte de données
d’auto-évaluation pour détecter à temps des retards ou des dysfonctionnements.
L’évaluation, quant à elle, survient à des fréquences plus espacées et pose des questions
plus fondamentales quant à l’atteinte des résultats / objectifs et à la stratégie du projet).

Pour certains auteurs, il n’y a pas de distinction nette (les deux processus se chevauchent
et s’inscrivent dans une démarche participative d’apprentissage). Mais s’il est exact qu’en
raison des fréquences de réalisation des deux activités, il peut exister des moments de
leur chevauchement, il serait erroné de réduire le suivi d’une intervention à son
évaluation. En effet, à la recherche des données pour sa réalisation, l’évaluation peut faire
appel à deux grandes catégories de données à savoir :

 les données primaires qui sont celles collectées lors des enquêtes réalisées dans le
cadre précis de l’évaluation et qui autrement ne seraient par organisées;
 les données secondaires qui sont données qui ont été collectées en dehors de toute
préoccupation liée à la présente évaluation et qui se regroupent en trois catégories :
• les données de la littérature, des conférences de consensus d’experts ou des
données d’évaluation passées sur des sujets proches ou ayant trait à l’intervention
en cours d’évaluation;
• des séries statistiques que l’on peut retrouver dans des offices statistiques ou dans
des bases de données de bibliothèques spécialisées;
• des documents de gestion de l’intervention en cours d’évaluation et qui
constituent l’ensemble de son dispositif de suivi.

Il apparait donc clair qu’une bonne évaluation d’une intervention ne saurait se suffire des
données de suivi de cette intervention. La figure N°6 illustre cette situation.

12
Figure N°6 Sources de données d’une évaluation montrant le lien avec le suivi

Source : Brousselle et coll. (2009)

2.2 Cadres et typologies de l’évaluation

On distingue plusieurs typologies de l’évaluation.

En fonction de l’approche utilisée, on distingue :

• les évaluations normatives dans lesquelles on cherche à comparer une composante

donnée de l’intervention ou de ses résultats à une norme : trois types d’évaluation
normatives à savoir

- les évaluations normatives de la structure ;

- l’évaluation normative du processus ;
- l’évaluation normative des effets.

• les évaluations relationnelles (recherches évaluatives ou analyses évaluatives ou encore

évaluations analytiques) : elles permettent de mettre en relation analytique (de cause à
effet) deux composantes d’une intervention. Ce sont l’analyse stratégique, l’analyse

13
logique, l’analyse des effets, l’analyse de la production, l’analyse de l’efficience ou
évaluation économique et l’analyse de l’implantation.

La figure N°7 montre ces 9 différents types d’évaluation retrouvés dans les deux
approches.

Figure N°7 Évaluations normatives et évaluations relationnelles d’une intervention

Évaluation
normative Recherche évaluative
(Fréquente+
SITUATION
++) PROBLÉMATIQU
Analyse stratégique
E
Impacts
Effets Objectifs Analyse logique
Évaluation Résultat
s
des effets s
Analyse des effets

Évaluation Services Analyse de l’efficience

du processus
Ressources
Analyse de la production
Évaluation de
la structure
Analyse de l’implantation
CONTEXTE

En fonction de la position de l’évaluateur par rapport au programme, on distingue :

• l’évaluation interne : elle est mise en œuvre par l’équipe du projet ou les partenaires du
projet;

• l’évaluation externe : mise en œuvre par les experts ou une agence d’évaluation
indépendante

En fonction de la théorie de l’évaluation

14
Les théories de l’évaluation définissent dans le détail la façon dont l’évaluation est menée
dans la réalité. Les théories d’évaluation les plus connues sont :

• Utilisation focus evaluation (Mickael PATTON);

• Goal free evaluation;
• Empowerment evaluation and Developmental evaluation (David FETTERMAN);
• Democratic deliberative evaluation;
• Realistic evaluation (Pawson et Tilley);
• Theory driven evaluation;
• Participative evaluation;
• Contribution analysis.

2.2.1 Les approches d’évaluation

2.2.1.1 Les évaluations normatives

Les différents types d’évaluations normatives sont :

- Évaluation des besoins

Elle permet d’apprécier les conditions de vie et les problèmes de santé ou connexes qui se
posent dans une communauté donnée. Elle fait partie de l’analyse de la situation qui est
une partie intégrante du processus de planification d’une intervention. C’est la raison
pour laquelle certains refusent à le considérer comme faisant partie de l’évaluation.

- Évaluation de la structure organisationnelle

Elle permet l’appréciation de l’organisation des ressources engagées dans l’intervention.

La préoccupation principale de ce type d’évaluation est : sommes-nous organisées
comme prévu pour atteindre les objectifs?
- Formative evaluation (évaluation du processus)
Evaluation is set to improve developing or ongoing program, role as
helper/advisor/planner and measure progress in achievements and potential
problems/needs for improvements (L’évaluation est conçue pour améliorer le programme
en cours de développement ou de mise en œuvre, agit comme aide/conseiller ou

15
planificateur et mesure les progrès dans les réalisations ainsi que les besoins ou
problèmes potentiels d’amélioration).

- Outcome evaluation (évaluation des résultats ou des effets)

Evaluation is ruled out to measure program’s achievements, extent to which program
objectives achieved and the program status (l’évaluation permet de mesurer les
realization du programme, la mesure dans laquelle les objectifs sont atteints et son statut).

2.2.1.2 Les évaluations analytiques

Ce sont :

- l’analyse stratégique: c’est l’appréciation de l’adéquation entre les objectifs et le

problème à résoudre;

- l’analyse logique: c’est l’appréciation du bien-fondé du modèle théorique qui sous-tend

l’intervention, la plausibilité des hypothèses, l’adéquation entre les moyens mis en œuvre
pour l’atteinte des objectifs;

- l’analyse des effets: c’est l’étude de la relation causale entre l’intervention et les effets.
La question fondamentale de ce type d’évaluation est : les effets mesurés résultent-ils
bien de l’intervention?

- l’analyse économique : c’est une mise en relation des moyens avec les effets. Un projet
étant un ensemble d’activités et d’opérations qui consomment des ressources limitées qui
sont des COUTS et dont on attend des AVANTAGES monétaires ou non monétaires
futurs. La question se pose dans l’analyse économique de savoir si les résultats et les
impacts d’une activité en justifient le coût ; on en en distingue trois variantes : les
analyses cout-avantages ou coûts-bénéfices, les analyses coût-efficacité, et les analyses
coût- utilité ; les analyses coûts-bénéfices mesurent les ressources et les résultats en
termes monétaires. Les analyses coût-efficacité, mesurent les ressources en termes
monétaires et les résultats en termes non monétaires (par exemple, le développement
cognitif des enfants, infections évitées, décès évités, etc.) ; les analyses coût-utilité
mesurent les coûts en terme monétaire et les avantages en termes d’utilité: QALY=

16
Quality Adjusted Life Year (année de vie corrigée par la qualité) ou DALY (Disability
Adjusted Life Year) ;

- l’analyse de la productivité; c’est une analyse de la relation entre le volume ou la qualité

des services produits et les ressources utilisées pour leur production.

- l’analyse de l’implantation : c’est l’étude de la relation entre l’intervention et son

contexte au cours de la mise en œuvre. En d’autres termes, on se demande, dans le
contexte, quels aspects de l’intervention faut-il modifier pour de meilleurs résultats.

2.2.2 Évaluations interne et externe : avantages et inconvénients

Le tableau suivant montre les avantages et inconvénients de l’évaluation interne.

Le tableau suivant montre les avantages et inconvénients de l’évaluation externe.

17
Exercice N3
En vous référent au modèle logique de l’implantation d’un programme de conseil et
dépistage volontaire du VIH, identifiez quelques questions auxquelles répondra chaque
type d’évaluation applicable à cette intervention.

18
III. Processus d’évaluation
Il comporte neuf étapes.

3.1 Questions préalables à l’évaluation ou évaluation de l’évaluabilité

Ces questions préalables à régler sont :

- Quelle est la situation problématique?

- Quelles sont les finalités de l’évaluation, ses enjeux et son utilisation en fonction des
attentes des diverses parties prenantes?

- Quelle est la perspective adoptée pour faire l’évaluation?

- Quelle est l’intervention: composante? son modèle logique? la partie concernée par
l’évaluation?

- Quel est le contexte politique, économique, historique, législatif, culturel, social

organisationnel, institutionnel et technique de l’intervention?

- À quel stade de l’intervention se situe l’évaluation?

- Quelle est la faisabilité opérationnelle de l’intervention? Les ressources financières et

humaines sont-elles suffisantes pour que l’intervention puisse être mise en œuvre?

- L’évaluateur a-t-il les moyens nécessaires pour mener à bien son travail?

3-2 Définir les raisons et le but de l’évaluation

La question ici est de savoir les raisons qui ont motivé la commande de l’évaluation et
l’utilisation envisagée par le ou les commanditaires de ses résultats.

3-3 Identifier et faire une analyse des parties prenantes

Les principaux groupes de parties prenantes habituellement concernés par une évaluation
sont des personnes affectées par l’intervention et/ou à impliquer dans l’évaluation. Ce
sont :

- l’évaluateur ou l’équipe d’évaluation;

19
 - l’équipe du projet (gestionnaires et intervenants);
- les représentants des bénéficiaires de l’intervention;
- les représentants de la communauté;
- les leaders d’opinions;
- le ou les représentants du ou des partenaires techniques ou financiers;
- les autorités administratives nationales ou locales;
- les autres : media, ONG, groupes de pression.
Il faut ensuite catégoriser et intégrer ces parties prenantes en fonction du style de
l’évaluateur et la théorie d’évaluation choisie :
- les principales parties prenantes (les utilisateurs finaux du produit/service)

- les parties prenantes secondaires : donateurs, partenaires techniques, distributeurs de

service, organisations médiatiques), agences gouvernementales.
Il faut ensuite analyser les intérêts de ces parties prenantes, les consulter et les informer.
Selon Tulchinsky et al, (2009), les besoins d’informations des parties prenantes d’une
évaluation sont :
- la crédibilité de l’évaluateur;
- sa portée de l’évaluation et la sélection des informations;
- l’identification des valeurs et enjeux des pp pour une bonne interprétation des
résultats;
- la clarté du rapport: description de l’intervention + résultats de l’évaluation;
- le délai de rédaction et de diffusion du rapport;
- l’impact de l’évaluation: utilisation des résultats.
3-4 Conceptualiser ou modéliser l’intervention
C’est une étape essentielle pour mieux définir l’intervention en tant qu’un système
organisé d’action qui comprend dans un environnement donné, des acteurs, des processus
(relation entre ressources et activités) et un but). Les avantages de la modélisation sont :
- expliciter les liens entre l’intervention et ses effets ;
- outil d’aide à la communication sur le programme
La modélisation consiste à établir les liens de cause à effet entre les différentes parties
d’un programme ou d’une intervention de façon à fonder la rationalité de chaque action
du projet ou de l’intervention.

20
La figure suivante donne un exemple de modèle logique d’un programme de prévention
de l’infection à VIH/Sida.

4-5 Définir la portée de l’évaluation (tenir compte des contraintes)

- L’objet de l’évaluation: l’intervention à évaluer

21