Académique Documents
Professionnel Documents
Culture Documents
Batrice Lamboy
Charge dexpertise en promotion de la sant,
Institut national de prvention et dducation pour la sant (INPES), France
Philippe Guilbert
conomtre, directeur adjoint des Affaires scientifiques,
Institut national de prvention et dducation pour la sant (INPES), France
Stphanie Pin
Charge dexpertise en promotion de la sant,
Institut national de prvention et dducation pour la sant (INPES), France
Ccile Fournier,
Batrice Lamboy
Charges dexpertise en promotion de la sant,
Institut national de prvention et dducation pour la sant (INPES), France
Philippe Guilbert
conomtre, directeur adjoint des Affaires scientifiques,
Institut national de prvention et dducation pour la sant (INPES), France
donne, afin que dautres acteurs puissent se les approprier et les adapter selon leurs besoins.
CONTENU
La premire partie de ce rapport traite dvaluations de
campagnes mdiatiques ralises par lINPES. Les objets
de ces valuations tournent souvent autour de questions
de reconnaissance spontane ou assiste des
campagnes, de connaissance des slogans ou des ides
forces des messages dont la validit est limite dans le
temps. Nous prsentons ici deux exemples dvaluations
de campagnes menes par lINPES, qui dans la trs grande
majorit des cas, reposent sur des enqutes quantitatives
dcision. Cest aussi comparer les informations collectes avec des critres,
des normes correspondant aux objectifs de lvaluation. Cela sous-entend
quil existe: une dcision prendre; un objet valuer; des objectifs dvaluation; des critres; des informations collecter. Prciser ces cinq lments,
rpondre ces questions est la premire tape dune valuation. [3]
Lvaluation est un processus danalyse quantitative et/ou qualitative qui
consiste apprcier soit le droulement dune action ou dun programme,
soit mesurer leurs effets (cest--dire les effets spcifiques et les consquences ou limpact). Toutes les dmarches dvaluation sont des dmarches
dobservation et de comparaison. La comparaison stablit toujours entre des
donnes recueillies et un rfrentiel. Le rfrentiel dvaluation pouvant tre
soit un objectif de sant dtermin par la littrature, soit un critre construit
de faon pragmatique en fonction de certaines situations, partir davis dexperts, par exemple. [] On distingue couramment et schmatiquement: les
valuations strictement comparatives de type avant/aprs ou ici/ailleurs;
les valuations analytiques qui recherchent des causes de dysfonctionnement ou de changement; les valuations dynamiques de type rtro-action
qui modifient laction en cours au fur et mesure de son droulement. [4]
cateurs (cliniques, biologiques, de qualit de vie, conomiques, sociaux, etc.)[5]? Correspondent-ils aux rsultats
attendus? Y a-t-il un impact collatral ou non prvu?
valuer, cest galement se rfrer des disciplines
varies et des mthodologies diverses. Dans le champ
de la sant publique, lvaluation fait appel notamment
lpidmiologie, aux sciences humaines ou aux sciences
conomiques. Si lvaluation dite normative se fonde
sur des normes prdfinies, quil sagisse dobjectif de
sant publique, de grilles danalyse ou de rfrentiels, la
recherche valuative se construit partir dune dmarche
scientifique qui vise mieux comprendre les liens de
causalit entre diffrentes composantes dune intervention [2]. Au-del dapproches purement qualitatives ou
purement quantitatives, il existe aussi des mthodes dites
mixtes, qui permettent un aller-retour et un enrichissement mutuel entre ces deux types dapproche [6].
FIGURE1
Conception de lvaluation et liens avec laction
Avant laction
Analyse prliminaire
(valuation a priori)
Situation
initiale
Besoins/
attentes
Choix
des
thmes
Conception de laction ou du
programme de sant publique
Faisabilit
(modalits
d'action)
Objectifs
Moyens
Ressources Intervenants
valuation
en cours 1
valuation
en cours 2
valuation
en cours 3
Rsultats intermdiaires
Cohrence
des diffrents
lments
de laction
Aprs laction
Conditions de
droulement
de laction
Rsultats
attendus
Rsultats terminaux
valuation
finale
Conditions de
droulement
de laction
Efficacit
(indicateurs
de rsultat)
Efficience
Effets
(impact)
In: [7]
une question de valeurs avant dtre une question de connaissances. [5] Dans le champ de la promotion de la sant,
qui touche la vie et lintimit des personnes, comme
dans dautres domaines les questions thiques enserrent
lvaluateur ds la conception de laction et de lvaluation [13, 14].
Comment prioriser les valuations lorsque les budgets
sont limits? Que faire si une valuation initiale rvle des
besoins auxquels il sera impossible de rpondre? Quelle
mthodologie choisir pour que lvaluation respecte les
principes de libert et dautonomie des personnes? Qui
doit valuer: le promoteur de laction (valuation qualifie dinterne) ou du programme lui-mme, ou bien
une personne extrieure (valuation externe)? Des
questions se posent galement au sujet de lutilisation
des rsultats qui peut, dans certains cas, soutenir des
prises de dcision gnratrices de progrs importants, ou
peut parfois, au contraire, selon les lieux et les publics qui
sen emparent, revtir des formes surprenantes, simplificatrices ou manipulatrices [15]. Lvaluateur devrait
accompagner aussi les conclusions de son analyse, tout
en gardant lesprit la fois les objectifs de son travail et
les objectifs implicites des diffrents acteurs en prsence.
Ces enjeux laissent entrevoir les diffrentes contraintes
lies la ralit du terrain denqute et qui vont peser sur
le travail de lvaluateur.
Au-del de sa vocation oprationnelle ou scientifique,
lvaluation a galement une utilit sociale quil ne faut
pas ngliger. Prsente toutes les tapes dune intervention de sant publique, de sa conception lanalyse de ses
effets positifs ou ngatifs, lvaluation engage les professionnels de sant, les communauts ou populations
concernes, les patients, les chercheurs, les dcideurs.
Elle permet de rendre compte dun programme, de
donner un sens et une visibilit une action qui, sans cela,
resterait mconnue. La valorisation des rsultats de lvaluation, quils soient positifs ou ngatifs, est en ce sens
une phase extrmement importante, souvent nglige
en France o lon recense peu de publications sur des
valuations dinterventions de sant publique [16] et o
une mise en commun plus systmatique des valuations
menes serait fort utile.
o les tudes ralises relevaient de lobservation exploratoire. Plusieurs programmes ont consacr leurs tudes
uniquement lvaluation dactions menes ou pilotes
par lINPES (nutrition, alcool, sida, personnes ges). La
quasi-totalit des tudes a t associe lun des onze
programmes thmatiques ou populationnels de lINPES;
une seule correspondant une tude multi-thmatique
qui portait sur la revue de lINPES, La Sant de lhomme.
Diffrentes formes dtudes dvaluation ont t accomplies en 2006 [tableauII]. Elles se sont tout dabord
distingues en fonction du type dvaluation ralis. Il
TABLEAUI
Effectif et budget des tudes dvaluation ralises en 2006 lINPES parmi lensemble des tudes
(effectifs bruts et pourcentages)
Programme
Nutrition
Tabac
Maladies infectieuses
Alcool
Environnement
Accidents de la vie courante
Sant mentale
Sida
Maladies chroniques
Personnes ges
Toxicomanie
Multi-thmatique
Total
tudes dvaluation
%
Budget (euros)
Effectif
8
3
3
4
2
2
0
2
0
1
0
1
26
100
75
75
100
66,6
66,6
0
100
0
333046
361595
132473
170588
108561
66108
0
134366
0
30945
0
41420
1379102
0
100
76,4
%
100
84,3
55,8
100
80,8
71,5
0
100
0
100
0
100
71,8
8
4
4
4
3
3
2
2
1
1
1
1
34
333
428
237
170
134
92
220
134
68
30
26
41
1918
046
529
218
588
281
450
753
366
368
945
312
420
276
TABLEAUII
Type, mthode et donnes utiliss au sein des tudes dvaluation ralises en 2006 lINPES
Programme
Interne
Pr
Type
Interne
Post
Externe
Enqute
alatoire
Enqute
quotas
Mthode
Runion
groupe
Entretien
individuel
Mixte
Nutrition
Tabac
Maladies infectieuses
Alcool
Environnement
Accidents de la vie courante
Sida
Personnes ges
Multi-thmatique
Total
3
0
2
1
0
1
1
1
0
9
34,6%
5
1
1
2
2
1
1
0
1
14
53,8%
0
2
0
1
0
0
0
0
0
3
11,5%
0
1
0
0
0
0
0
0
0
1
3,8%
6
2
1
3
2
1
1
0
0
16
61,5%
1
0
1
1
0
1
1
1
0
6
23,1%
0
0
1
0
0
0
0
0
0
1
3,8%
0
0
0
0
0
0
0
0
1
1
3,8%
Donnes
quantitatives
qualitatives
6
3
1
3
2
1
1
0
0
17
65,4%
2
0
2
1
0
1
1
1
1
9
34,6%
FIGURE2
Typologie des valuations
Composantes de
lintervention valuative
A. Situation initiale
Acteurs
Problmes
Objectifs
1. Sratgique
2. Formatif
3. Sommatif
4. Fondamental
B. Dispositif valuatif
Types dvaluations
1. Approche logique
2. Approche normative
3. Approche relationnelle
(recherche valuative)
Ressources
Moyens financiers
Acteurs
1. valuation externe
2. valuation interne
Actions valuatives
Objet dvaluation
Indicateurs (donnes)
Recueil des donnes
Jugement
C. Effets
1. valuation qualitative
2. valuation quantitative
LE DISPOSITIF DVALUATION:
LES TYPES DAPPROCHES
Les diffrentes formes dvaluation peuvent ensuite tre
catgorises en fonction du type de dispositif mis en place
pour raliser lvaluation. Ce dispositif valuatif peut tre
fort diffrent que ce soit au niveau de chacune de ses
composantes comme au niveau de la dmarche valuative dans son ensemble. Au niveau de la dmarche valuative densemble, il est possible de distinguer plusieurs
approches mthodologiques donnant lieu la production
dun jugement valuatif de nature diffrente. Trois grandes
approches mthodologiques peuvent tre diffrencies:
lapproche logique (ou analyse logique), lapproche
normative (ou valuation normative), lapproche relationnelle (ou recherche valuative).
Lapproche logique vise identifier les diffrentes
composantes de lintervention et prciser lensemble
des postulats sur la manire dont un programme est reli
aux bnfices quil est suppos produire, et la stratgie et les
tactiques quil a adoptes pour atteindre ses buts et ses objectifs [18 in: 1]. Dans ce cadre, lvaluation correspond
une analyse critique des diffrentes composantes de
lintervention et une mise en vidence de leurs interactions. Lapproche logique doit permettre de produire un
modle thorique et oprationnel de lintervention.
Dans lapproche normative, lvaluation se fonde sur
une comparaison entre des observations empiriques et
des normes tablies. La mise en perspective des composantes de lintervention avec diffrents critres (point
de vue individuel, norme dexperts, rfrentiel scientifique,etc.) permet de produire un jugement sur lintervention. Ainsi, lapproche normative propose une apprciation dune ou de plusieurs composantes de lintervention.
Lapproche relationnelle vise analyser par des mthodes
scientifiques valides et reconnues les relations qui existent
entre les diffrentes composantes dune intervention [17].
Cette approche valuative, qui porte sur ltude des liens
(de causalit) entre les composantes de lintervention, se
fonde sur une dmarche empirique scientifique.
LE DISPOSITIF DVALUATION:
LES TYPES DE COMPOSANTES
Nous venons de voir que, dans son ensemble, le dispositif
valuatif peut faire appel plusieurs approches mthodologiques. Mais ce dispositif peut aussi prsenter des diffrences au niveau de chacune de ses composantes. Ainsi,
les ressources (moyens financiers, acteurs), les actions
valuatives (objet dvaluation, indicateurs, recueil de
donnes) et les jugements produits peuvent tres fort
variables et donner lieu plusieurs types dvaluation.
Au sein de chaque approche mthodologique
densemble (logique, normative, relationnelle), il existe
diffrentes formes dvaluation qui se distinguent par leur
objet dinvestigation. Dans lapproche logique, on trouve
la modlisation qui cherche prciser toutes les composantes de lintervention (contexte, acteurs, problmes,
objectifs, ressources, actions, groupes viss, intervenants, produits, effets court, moyen, long terme,etc.);
lanalyse stratgique qui vise dterminer ladquation
entre le(s) problme(s) rsoudre et lintervention mise
en place; lanalyse logique de lintervention qui porte sur
ladquation entre les objectifs de lintervention et les
moyens (ressources, services) mis en uvre pour les
atteindre. La modlisation et les analyses stratgique et
logique de lintervention peuvent seffectuer partir de
deux formes de connaissances; celles bases sur lexprience, la pratique, lintuition et celles fondes sur les
connaissances scientifiques.
Dans lapproche normative, les diffrentes composantes de lintervention peuvent tre values et donner
lieu plusieurs formes dvaluation. Il est possible dtudier les ressources mises en uvre et leur organisation
(apprciation de la structure), les services et les biens
produits (apprciation du processus), les effets de lintervention (apprciation des rsultats). En ce qui concerne les
normes utilises pour effectuer lvaluation, elles peuvent
se fonder sur cinq critres diffrents: lcart dans la mise
en uvre (lintervention a-t-elle t implante telle que
prvue?), la couverture (quelle est la clientle rejointe
par lintervention?), la qualit (lintervention est-elle bien
faite?), les cots (les cots de production sont-ils appropris?), latteinte des objectifs (lintervention a-t-elle eu
les rsultats escompts?).
Lapproche relationnelle porte sur ltude scientifique
des liens existant entre les composantes de lintervention.
Lvaluation des effets sintresse au lien entre les services
produits (activits et biens) et les effets observs. Celle-ci
peut tre subdivise en deux types; Nock [19] sinspirant de la dfinition de Green [20] distingue lvaluation de limpact, modifications constates auprs du public
(changements de comportements par exemple) et lvaluation des rsultats amliorations constates plus long
terme sur la sant publique (diminution de lincidence dune
maladie par exemple). Cette dernire est aussi appele
valuation de lefficacit, qui traduit la capacit de
lintervention modifier les tats de sant [17]. Lvaluation
de limplantation porte sur les modalits de production des
effets [17] et analyse les liens entre la mise en uvre de
lintervention (objectifs, acteurs, ressources, processus
dactions, biens et services) et les effets qui en rsul-
rents formats (rapport dvaluation, document synthtique, affichages auprs des publics concerns, communication auprs des mdias) [21]. Il est important que le
format et le contenu de la diffusion des rsultats dvaluation soient adapts aux publics cibls [23]. Les rsultats
peuvent aussi donner lieu la rdaction de recommandations concernant laction value et un bilan propos
de la dmarche valuative ralise [23]. Mais comme le
rappelle le point C. de notre modlisation de lintervention
valuative [figure2], lvaluation ne reprsente pas en soi
une finalit mais plutt un moyen utilis pour produire
un certain nombre deffets (en lien avec des problmes et
objectifs initiaux). Il est donc important de sinterroger sur
les consquences et les retombes pratiques produites
par la mise en uvre de lvaluation et de voir comment
le jugement produit par lvaluation se traduit en actions.
Le CDC identifie cinq principales formes dactions qui
peuvent dcouler dune valuation: prouver lefficacit du
programme dintervention, amliorer le programme dintervention, modifier la planification du programme dintervention, dmontrer sa responsabilit et justifier lutilisation des
financements [23].
En conclusion, chacune des composantes dune intervention valuative a reprsent autant de critres partir
desquels il a t possible dlaborer une typologie des
diffrentes formes dvaluation. Cette typologie qui met
en exergue la diversit des dmarches valuatives vise
favoriser lidentification et la spcification des valuations
ralises. Elle tente aussi de mettre en avant la complmentarit de chacune des approches.
partir de ce cadre conceptuel intgrateur, une grille
danalyse a ensuite t labore [tableauIII]. Cette grille
qui est susceptible dtre applique toute intervention valuative reprsente un support de rflexion pour
la pratique de lvaluation. Pour illustrer cette typologie
et tester cette grille danalyse, cette dernire a t applique trois valuations prsentes dans ce rapport
[tableauxIV VI]. Ces valuations qui ont t retenues
pour leur diversit de mthodes et dobjets dinvestigation
nous ont permis dappliquer la grille danalyse dans diffrents contextes dvaluation.
10
TABLEAUIII
Analyse dune valuation
A. SITUATION INITIALE
Acteurs
Problmes (que lvaluation cherche
rsoudre)
Objectifs:
Sratgique
Formatif
Sommatif
Fondamental
B. DISPOSITIF VALUATIF
Ressources
Moyens financiers
Acteurs:
Externes
Internes
Actions valuatives
Objet dvaluation
1. APPROCHE LOGIQUE
2. APPROCHE NORMATIVE
Indicateurs (donnes):
Qualitatifs:
reprsentation/comportements
tat sant et maladie
Quantitatifs:
reprsentation/comportements/
tat sant et maladie
Recueil des donnes
Instruments
Constitution des groupes
Plan danalyse
Jugement
C. EFFETS
TABLEAUIV
valuation dun programme dpartemental de promotion de la sant: prvention du surpoids et de lobsit
chez les enfants scolariss de 10 13 dans la Vienne
A. SITUATION INITIALE
Acteurs
Non prciss
Problmes (que lvaluation cherche Non prciss
rsoudre)
Objectif fondamental
Connatre limpact du programme et spcifier son implantation
B. DISPOSITIF VALUATIF
Ressources
Moyens financiers
Acteurs Internes/Externes
Actions valuatives
Objet dvaluation
Indicateurs (donnes):
Qualitatifs:
reprsentation/comportements
tat sant et maladie
Quantitatifs:
reprsentation/comportements/
tat sant et maladie
1. APPROCHE
LOGIQUE
2. APPROCHE
NORMATIVE
Non prciss
Non prciss
valuation des effets: valuation de limpact.
C. EFFETS
En cours
11
TABLEAUV
Analyse de lvaluation de la campagne de prvention des accidents par dfenestration et des intoxications chez les
jeunes enfants 2005-2007
A. SITUATION INITIALE
Acteurs
INPES
Problmes (que lvaluation cherche Non prcis
rsoudre)
Objectif fondamental (formatif)
Objectiver:
- la comprhension et lagrment de la campagne par les publics cibls (parents et enfants de milieux dfavoriss)
- le niveau de connaissance des publics cibls en matire de prvention des accidents de la vie courante
B. DISPOSITIF VALUATIF
1. APPROCHE
LOGIQUE
Ressources
Moyens financiers
Acteurs:
Externes
Internes
Actions valuatives
Objet dvaluation
Indicateurs (donnes):
Qualitatifs:
reprsentation/comportements
tat sant et maladie
Quantitatifs:
reprsentation/comportements/
tat sant et maladie
3. APPROCHE RELATIONNELLE
(RECHERCHE VALUATIVE)
Non prciss
Non prciss
valuation de limpact
2. APPROCHE NORMATIVE
(LA NORME PROVIENT DES PUBLICS CIBLS)
TABLEAUVI
valuation des tats gnraux de lalcool (EGA)
A. SITUATION INITIALE
Acteurs
INPES (pilote) et les principaux responsables des EGA
Problmes (que lvaluation cherche Apprendre sur lorganisation de tels vnements
rsoudre)
Objectif formatif (fondamental)
Fournir de linformation sur le processus dorganisation et limpact de lintervention pour amliorer ultrieurement ce mme
type daction
B. DISPOSITIF VALUATIF
Ressources
Moyens financiers
Acteurs:
Externes
Internes
Actions valuatives
Objet dvaluation
Indicateurs (donnes):
Qualitatifs:
reprsentation/comportements
tat sant et maladie
Quantitatifs:
reprsentation/comportements/
tat sant et maladie
Recueil des donnes
Instruments
Constitution des groupes
Plan danalyse
1. APPROCHE
LOGIQUE
2. APPROCHE NORMATIVE
(la norme provient des publics cibls par lintervention)
Non prciss
Jugement
C. EFFETS
3. APPROCHE
RELATIONNELLE (RECHERCHE VALUATIVE)
12
Rfrences bibliographiques
[1] Nock F. Le monde complexe de lvaluation. Petit
Guide de lvaluation en promotion de la sant.
Paris: Mutualit franaise, 2000: 6-18.
[2] Contandriopoulos A.-P., Champagne F., DenisJ.-L.,
Avargues M.C. Lvaluation dans le domaine
de la sant: concepts et mthodes. Revue
dpidmiologie et de sant publique 2000;
48(6): 517-39.
[3] Deccache A. Pour mieux choisir son valuation
Dfinition et rles des valuations en ducation
pour la sant. Lige (Belgique): APES, coll.
Mthodes au service de lducation pour la
sant, 1989: 2.
[4] Agence nationale pour le dveloppement de
lvaluation mdicale service formation.
valuation dune action de sant publique:
recommandations. Paris: Andem; 1995: 7.
[5] Demarteau M. Les pratiques daction en
ducation pour la sant et leurs modes
dvaluation, rflexions critiques et questions
pour la recherche. In: CFES, CRAES, ENSP,
Universit Victor-Segalen de Bordeaux (dir.).
valuer lducation pour la sant, concepts et
mthodes. Vanves: INPES, coll. Sminaires, 2002:
35-50.
[6] Pladeau N., Mercier C. Approches qualitative
et quantitative en valuation de programmes.
Sociologie et Socit 1993; 25 (2): 112-24.
[7] Blum-Boisgard C., Chabaud F., Gaillot-ManginJ.,
Matillon Y. valuation en sant publique. Actualit
et dossier en sant publique 1996; n17: 18-22.
http://www.hcsp.fr/hcspi/explore.cgi/ad173640.
pdf