Vous êtes sur la page 1sur 5

Évaluation en santé publique

L’action ou le programme en santé publique vise à améliorer la santé d’une


population. Son évaluation consiste à apprécier son déroulement ou à mesurer ses
effets, elle est donc un processus qui accompagne l’action depuis sa conception
jusqu’à ses résultats.
ans le domaine de la santé publique, plus jugement, non seulement sur le programme,
D que dans tout autre domaine, l’évaluation
est indissociable de l’action entreprise.
mais encore sur la législation, les services et les
institutions concernés.
Si on considère l’action de santé publique Les actions de santé, selon leur thème, vi-
Suchman EA. Evaluative comme une suite logique d’opérations à entre- sent des « populations cibles » diverses et uti-
research : principles and
practice in public service
prendre afin de préserver ou d’améliorer la lisent des stratégies variées (dépistage de masse
and social action programs. santé d’une population, la qualité de cette ac- de certains cancers, prévention des accidents
New York : Russell Sage, tion ou celle du programme envisagé reposera chez les enfants, maintien à domicile des per-
1967, 186 p. sur la clarté de sa conception, l’organisation de sonnes âgées…). Ceci explique qu’il n’est pas
sa préparation et de son déroulement et la per- aisé d’élaborer un cadre unique pour leur éva-
tinence des résultats obtenus. Dans ces condi- luation, d’autant que le projet peut prendre
• Viveret P. L’évaluation des
politiques et des actions tions, l’intérêt de suivre méthodiquement une forme, soit par une ou des actions indépendan-
publiques. Propositions en démarche élaborée sous forme de procédures tes, soit par un ensemble coordonné d’actions
vue de l’évaluation du revenu s’impose de facto. dépendantes appelé Programme de santé publi-
minimum d’insertion. Ces procédures, qui doivent prendre en que.
Rapports au Premier compte tous les éléments constitutifs du projet, Une fois accepté le rôle fondamental de
ministre. Paris : La
participent à l’élaboration de l’évaluation elle- l’évaluation, les questions traditionnelles se
documentation Française,
1989, coll. Rapports officiels,
même. posent pour savoir : quand ? pourquoi ? sur
193 p. L’évaluation en santé publique, comme dans quoi ? comment ? entreprendre cette démarche
• Conseil Scientifique de d’autres secteurs de la santé, est une démarche d’évaluation.
l’évaluation. L’évaluation en scientifique incontournable dés lors que l’on Ne pouvant couvrir tout le champs des pro-
développement 1995. cherche à savoir le pourquoi, le comment et les cessus complexes et interactifs des actions de
Rapport annuel sur conséquences d’une décision dans ce domaine. santé publique et de leur évaluation, l’Andem
l’évolution des pratiques
d’évaluation des politiques
L’évaluation d’une action ou d’un pro- a construit une liste de conseils méthodiques, à
publiques. Paris : La gramme de santé publique peut s’intégrer ou l’usage des promoteurs potentiels des actions
documentation Française, non dans l’évaluation d’une politique publique de santé publique, qui peuvent être suivis, quel
1996, 247 p. c’est-à-dire se donner comme but de porter un que soit le thème choisi, à la fois pour le dé-

actualité et dossier en santé publique n° 17 décembre 1996 page XVIII


roulement de l’action et pour le dispositif de Andem. Évaluation d’une tion exige pour être significative, le respect des
fonctionnement de son évaluation. action de santé publique : procédures inscrites dans le cahier des charges
Recommandations. Paris :
Pour ce faire, l’Andem a privilégié la mé- et la mise en concordance des objectifs du pro-
Andem, 1995, 48 p.
thode déductive et construit un ensemble orga- gramme avec ceux des évaluations préalables
nisé de questions appropriées qui renvoient à et intermédiaires.
autant de procédures indispensables à finaliser. La démarche d’évaluation en santé publique
À travers cette méthode, la démarche d’évalua- et telle qu’elle est présentée par l’Andem, doit
tion est décomposée en opérations élémentai- être envisagée et structurée avant le lancement
res d’évaluation puis recomposée en trois gran- de toute action.
des étapes essentielles. À chacune de ces étapes
correspond un certain nombre de questions aux-
quelles les promoteurs se doivent de répondre. Évaluer : quoi ?
Quelques exemples, parmi ces questions, il-
lustreront ces propos : Selon les objectifs poursuivis et les caractéris-
Première étape J. Plante. Principes d’une
tiques de l’action entreprise, on attribuera dif-
Dans quel contexte a émergé le projet d’ac- évaluation socialement utile férentes missions à la démarche d’évaluation
tion ? (leçons de l’expérience (voir encadré page suivante) :
Quel est l’initiateur du projet ? québécoise). In : Outils, • soit évaluer la pertinence de l’action, c’est-
A-t-on recherché et analysé la littérature ? pratiques, institutions pour à-dire le lien entre les besoins identifiés et les
Quels sont les besoins identifiés ? évaluer les politiques objectifs poursuivis,
publiques. Actes du
Existe-t-il d’autres moyens de réalisation ? • soit évaluer la cohérence, c’est-à-dire le
séminaire PLAN-ENA, avril-
… juillet 1990. Paris : lien entre les différentes composantes du pro-
Si l’on considère l’exemple d’un programme Commissariat Général du gramme mis en œuvre,
départemental de dépistage systématique du Plan, Textes rassemblés par • soit évaluer l’efficacité, c’est-à-dire la re-
cancer du sein chez les femmes de 50 à 69 ans B. Perret 1991 : 29-57. lation entre les objectifs poursuivis et les résul-
il est indispensable et facile de répondre à ces
questions avant la mise en œuvre du projet.
Conception de l’évaluation,
Évaluer : quand ?
liens avec l’action

La première des trois grandes étapes de l’éva- Avant Analyse préliminaire Conception de l’action ou du
luation, intitulée évaluation a priori ou analyse l’action (évaluation a priori) programme de santé publique
préliminaire, est déterminante pour l’organisa-
tion et la cohérence du programme ou de l’ac- Situation Besoins/ Choix Faisabilité Objectifs Moyens Ressources Intervenants
tion. Elle règle le choix et le bien-fondé du pro- initiale attentes des (modalités
thèmes d'action)
jet, conditionne les modes de décision, de suivi,
de réalisation de l’ensemble des activités à en-
Conception du projet d’évaluation de l’action
treprendre. Ces modalités préliminaires carac-
térisent l’originalité de la démarche d’évalua- Pendant
tion en santé publique (voir encadré ci-contre). Évaluation Résultats intermédiaires
l’action en cours 1
La deuxième étape de l’évaluation corres-
pond au recueil éventuel de mesures, pendant Évaluation Cohérence Conditions de Résultats
l’action, à des fins de correction. On la nomme en cours 2 des différents déroulement attendus
évaluation en cours, évaluation concomitante éléments de l’action
Évaluation
ou évaluation intermédiaire. Elle peut être re- de l’action
en cours 3
nouvelée autant de fois qu’il sera jugé utile de
le faire, elle est ni indispensable ni obligatoire. Après
Résultats terminaux
Source : Andem

Néanmoins, elle favorise fortement le suivi et l’action


le contrôle de l’action ou du programme. Évaluation
finale Conditions de Efficacité Efficience Effets
La troisième étape, enfin, constitue l’évalua-
déroulement (indicateurs (impact)
tion finale. Elle se rapporte à l’exploitation des de l’action de résultat)
résultats, leur interprétation et leur utilisation.
Cette troisième et dernière phase de l’évalua-

actualité et dossier en santé publique n° 17 décembre 1996 page XIX


Évaluation en
santé publique

jours entre des données recueillies par des tech-


niques de questionnement ou d’observation et
Objectifs et niveaux d’évaluation un ensemble de normes, règles ou repères, ap-
pelé référentiel. En l’absence de moyens de
comparaison, la démarche se réduit à une acti-
Évaluer
a priori vité de suivi ou « monitorage », sans véritable
évaluation.
Analyse préliminaire Répercussions
Environnement
C’est en fonction des buts à atteindre, qui
sur l’action
elle-même seront définis dans l’étape préliminaire, que
Situation Besoins/ Choix Faisabilité l’on choisira d’apprécier soit le déroulement,
initiale attentes des (modalités soit les effets spécifiques de l’action, soit plus
thèmes d'action)
généralement la nature et le degré de l’impact.
Résultats Effets
intermédiaires
Il convient d’apporter ici une précision im-
Évaluer la portante sur le double sens du terme évaluation
pertinence employé en santé publique. Celui-ci est en ef-
Résultats fet utilisé pour désigner deux types d’actions
Programme de santé publique terminaux qui répondent à des objectifs différents :
Évaluer la Le premier doit démontrer, en employant des

D’après Plante (cf. p. XIX)


cohérence Évaluer méthodes comparatives de type « avant/après »,
l’impact « ici/ailleurs » ou analytiques, l’efficacité sup-
Objectifs… Moyens… Ressources… Intervenants Évaluer posée, au stade expérimental, de certaines stra-
l’efficience tégies d’intervention avant leur diffusion et/ou
Évaluer leur généralisation. On parle, dans ce cas, d’une
l’efficacité recherche évaluative. (« un programme de dé-
pistage systématique de l’hémochromatose en
France serait-il efficace ? »).
Le second cherche à vérifier, dans les situa-
tats obtenus (on étudiera, par exemple, le nom- tions de travail de routine, les performances
bre et la gravité des accidents chez les enfants annoncées par l’application des dites stratégies
dans un programme de prévention des accidents d’intervention. On qualifie ce type d’objectif
domestiques ou bien les connaissances et les d’évaluation pragmatique car les résultats re-
attitudes des enfants ou de leurs parents en fonc- cueillis lors de ces activités classiques, peuvent
tion des objectifs poursuivis et des indicateurs justifier l’introduction de modifications ulté-
choisis), rieures dans leur déroulement. L’évaluation,
• soit encore évaluer l’efficience, c’est-à- dans ce cas, est considérée comme dynamique.
dire la relation entre les ressources attribuées (La pertinence d’un programme de dépistage
et les résultats obtenus, systématique du cancer du sein étant démontré
• ou encore évaluer l’impact de l’action, scientifiquement dans une certaine tranche
c’est-à-dire les effets autres que ceux observés d’âge, dans certaines conditions expérimenta-
sur la population cible : ceux observés sur les les et dans un pays donné, qu’en est-il lorsque
acteurs ou sur l’environnement. (on doit étudier, ce programme est organisé, en routine, dans un
par exemple, dans un programme de dépistage département français ?)
systématique de cancer, les effets sur les pro-
fessionnels non directement concernés par le
programme ainsi que d’éventuels effets sur des Évaluer : comment ?
populations n’entrant pas exactement dans la
population cible, âge par exemple). Le but de toute évaluation est de porter un ju-
gement sur une activité, une ressource, ou un
résultat. La recherche et le choix des critères qui
Évaluer : pourquoi ? présideront à ce jugement sont déterminants. En
Y. Matillon, P. Durieux.
L’évaluation médicale : du
effet, les critères sélectionnés devront qualifier,
L’évaluation se définit globalement comme un concept à la pratique. de manière fiable, les caractéristiques étudiées,
processus d’observation et de comparaison. Paris : Flammarion, 1994, que celles-ci se rapportent à l’état de santé,
Autrement dit, la comparaison s’établit tou- 161 p. à l’état de connaissance, aux attitudes des

actualité et dossier en santé publique n° 17 décembre 1996 page XX


L’exemple du dépistage du
cancer du sein
L’évaluation du dépistage gestion du fichier des fem- L’autorisation des nouveaux D’ores et déjà, s’il n’est pas
organisé du cancer du sein mes concernées, leur infor- sites s’est faite après exa- encore possible de savoir
est un bon exemple d’éva- mation et leur invitation), men du dossier et sa présen- si le dépistage systémati-
luation de programme de l’assurance de qualité des tation par ses responsables que du cancer du sein, en
santé publique : il s’agit actes techniques (forma- devant le GP. Des mesures tant que tel, permettra des
d’une entreprise difficile et tion, contrôle de qualité des de conformité avec le cahier bénéfices en terme de ré-
coûteuse, financièrement et appareils, double lecture), des charges ont été préco- duction de la mortalité chez
socialement et son rapport les résultats des tests mam- nisées chaque fois que cela les femmes dépistées. Il est
coût/efficacité n’est accep- mographiques, le suivi des était nécessaire notamment possible de dire que la
table que s’il est effectué femmes dont les résultats pour la mise en place du mise en place de ce pro-
avec une grande rigueur sont positifs, et enfin le re- contrôle de qualité ou d’amé- gramme, est révélateur de
méthodologique et techni- cueil des indicateurs per- lioration de la gestion des multiples aspects du sys-
que. C’est pourquoi, son mettant d’avoir des critères données et du suivi. Un dé- tème de soins et ouvre la
évaluation a été conçue explicites d’évaluation. lai a été donné pour permet- voie de façon novatrice à
dès sa mise en place par Le programme est suivi en tre de se mettre aux normes. d’importantes mutations qui
les décideurs. continu dans chaque dé- Au total, un programme de devraient se faire à moyen
Initié à partir de 1989 sous partement qui l’a mis en dépistage organisé du can- terme dans les pratiques
l’égide du Fonds national place et par la direction cer du sein fonctionne dans de soins notamment dans
de prévention d’éducation générale de la Santé, de vingt départements dont les domaines de l’assu-
et d’intervention en santé façon à vérifier sa dynami- dix depuis 1994. Une di- rance de qualité, du suivi et
(FNPEIS) dans une dizaine que, pouvoir corriger et zaine de départements de l’évaluation des mesu-
de départements expéri- améliorer de façon perma- s’apprêtent à démarrer d’ici res prises.
mentaux, le dépistage du nente et adéquate les er- l’été 1997. Christine Jestin
cancer du sein a fait l’objet reurs, dysfonctionnements
d’une première évaluation ou imperfections de ce pro-
par la Cnamts en 1993 in- gramme.
cluant également une éva- Pour pouvoir juger de la fi- Indicateurs pour l’évaluation des campagnes de
luation économique. C’est nalité du programme et de dépistage du cancer du sein
donc sur cette base d’éva- l’atteinte des objectifs que
1 • Impact de la campagne 4 • Efficacité
luation a priori que le pro- l’on s’est fixés, des indica-
Taux de participation Insee • À court terme
gramme national de dé- teurs ont été mis en place. Taux de participation rap- Taux de cancers invasifs in-
pistage systématique du L’objectif final est de ré- porté à la population invitée férieurs à 10 mm
cancer du sein a été lancé duire la mortalité ; cepen- Si possible Taux de cancers sans enva-
par le ministre de la Santé dant, compte tenu des Taux de dépistage spontané hissement ganglionnaire
en mai 1994 avec comme longs délais nécessaires Taux de cancers in situ
objectif de réduire la morta- pour les mesurer il faudra 2 • Qualité du test • À moyen terme
lité par cancer du sein dans au moins une bonne di- Taux de tests suspects à la Taux de mortalité par cancer du
la tranche d’âge cible. Un zaine d’années pour l’ap- première lecture sein chez les femmes dépistées
Taux de discordance entre Taux de cancers chez les
comité de pilotage com- précier. C’est pourquoi des
les lectures femmes non dépistées
posé d’experts et de repré- indicateurs intermédiaires Taux final de tests suspects Taux de mortalité par cancer
sentants institutionnels, de- sont nécessaires pour pou- Valeur prédictive positive du du sein chez les femmes non
venu ensuite le « groupe voir apprécier la qualité du test dépistées dans la population
permanent » (GP) du Co- programme : l’impact de la cible
mité national de pilotage campagne, la qualité du 3 • Qualité de la procédure
s’est réuni dès l’été 1993. test, la qualité de la procé- • À court terme 5 • L’étude des délais
Sa première tâche a été dure, l’efficacité, l’étude Taux de cancers chez les dé- Délais (moyenne, médiane et
d’élaborer un cadre de ré- des délais (voir ci-contre). pistées extrême) entre :
Taux de biopsies réalisées • la date du dépistage et la
férence, « cahier des char- Tous les départements ayant
Taux de biopsies positives date de l’envoi des résultats,
ges », très précis, décrivant initié un programme de dé- Valeur prédictive positive de • la date du dépistage et la
les principes de base du pistage ont fait l’objet d’une l’indication de biopsie date du traitement,
programme. Ceux-ci con- visite sur site par des experts • À moyen terme • deux mammographies de
cernent l’organisation du du comité de pilotage et du Taux de faux négatifs dépistage dans le cadre du
programme (incluant la coordinateur du programme. Taux de cancers d’intervalle programme.

actualité et dossier en santé publique n° 17 décembre 1996 page XXI


Évaluation en
santé publique

populations concernées ou encore aux compo- L’évaluation est un apport majeur d’aide à
santes spécifiques du programme. la décision pour entreprendre, poursuivre, mo-
Les variations de ces caractéristiques seront difier, analyser une action de santé publique.
mesurées, dans la réalité, par des données con- Elle représente un des moyens les plus adapté,
crètes nommées indicateurs et qui rendent pour participer à l’élaboration de systèmes de
compte du critère de jugement correspondant. régulation de santé collective, nécessaires pour
La collecte des indicateurs s’effectue avec répondre en permanence à la réalité du social.
des outils méthodologiques. Les outils de l’éva- C. Blum-Boisgard, J. Gaillot-Mangin,
luation en santé publique, comme ceux de bien F. Chabaud, Y. Matillon
d’autres domaines, appartiennent aux méthodo-
logies de disciplines scientifiques connues et
utilisées depuis longtemps dont l’apport n’est
plus à démontrer.
L’épidémiologie, les sciences sociales, les Évaluation de la
sciences économiques y compris les techniques
comptables et de gestion, ont toujours contri- prévention
bué et le font plus que jamais, à la connaissance
des relations de la santé avec son environne-
ment. De plus, le caractère collectif des opéra- L’évaluation de la prévention est au même ti-
tions de santé publique, les situe toujours dans tre que l’évaluation des autres actions de santé
l’un ou l’autre de ces domaines. une préoccupation majeure des intervenants en
• Les études épidémiologiques comparent santé publique. La prévention peut être définie
les effets réalisés aux effets attendus en utili- comme l’ensemble des actions ayant pour ob-
sant des protocoles expérimentaux d’essais con- jectif de réduire l’incidence (prévention pri-
trôlés, des procédures d’enquêtes de type quasi- maire) ou la prévalence (prévention secondaire)
expérimental, ou des enquêtes d’observation des maladies.
avant/après, ici/ailleurs. G. Bréart, J. Bouyer. L’évaluer implique de porter un jugement de
• L’analyse économique permet de définir Méthodes épidémiologiques valeur sur sa capacité à atteindre ses objectifs.
en évaluation. Rev Epidémiol
la rentabilité et l’efficience d’une action ou sa On distingue dans les interventions :
Santé Publ, 1991, 39 : 5-14
logique de productivité en pratiquant des ana- • les techniques, définition la plus élémen-
lyses coût/efficacité, coût/utilité, coût/bénéfice. taire de l’activité des professionnels de santé
• Les sciences sociales, enfin, explorent des (administration d’un supplément vitaminé) ;
hypothèses sur des causes implicites de résul- • les pratiques, mises en œuvre des techni-
tats inattendus, recueillent des opinions, étu- ques selon le comportement habituel, la façon
dient des attitudes… d’agir au quotidien des professionnels de santé
Les méthodologies employées, contribuent (frottis du col utérin) ;
à traduire la démarche d’évaluation en démar- • les programmes, mis en œuvre de façon
che méthodologique, couramment nommée cohérente dans le temps et l’espace de techni-
« conduite de projet ». ques pour atteindre un but précis (vaccination) ;
Dans ce travail, il est d’usage de construire • les politiques, mises en œuvre de techni-
des tableaux de bord d’activité, d’utiliser des ques multiples de façon concertée, générale-
diagrammes d’organisation tels que ceux du ment au niveau central (prévention des acci-
type « Pert », ou des algorithmes de décision. R. Pineault, C. Daveluy. La dents de la circulation).
L’intérêt d’une action ou d’un programme planification de la santé. Ces activités peuvent être réalisées au sein
de santé publique, est de mesurer les résultats Concepts, méthodes, d’une clientèle (médecins, hôpital…), d’une
et les effets produits, que ceux-ci soient prévus stratégies. Montréal : Agence population cible ou d’une collectivité territo-
d’ARC, 1986, 408 p.
ou imprévus ; de les interpréter et d’en déduire riale (pays, région, département…)
des recommandations. Les actions de santé en général et de préven-
La mise en l’application, totale ou partielle, tion en particulier peuvent être décomposées en
de ces recommandations, pourra, selon les cas, ressources (moyens humains et financiers mo-
faire l’objet d’autres évaluations. Ainsi, pourra- bilisés), procédures (activités, techni-
t-on, à plus ou moins long terme et si besoin ques…), résultats exprimés sous forme d’un état
est, mettre en évidence des répercussions ulté- de santé et impact, ensemble des conséquences
rieures. attendues et inattendues de l’intervention.

actualité et dossier en santé publique n° 17 décembre 1996 page XXII