Vous êtes sur la page 1sur 56

ÉVALUER LES

INTERVENTIONS Guide à l’usage


des intervenants
DE PRÉVENTION
DES RPS-TMS
PROLOGUE

Depuis 2011, l’INRS et l’Anact conduisent en partenariat des travaux


approfondis sur l’évaluation des démarches de prévention des risques
psychosociaux (RPS) et des troubles musculosquelettiques (TMS).
Ces travaux, largement pluridisciplinaires, avaient l’ambition non
seulement de documenter les enjeux de l’évaluation, les multiples
théories et concepts, les différentes méthodes et pratiques mais
également d’élaborer une démarche d’évaluation adaptée aux
caractéristiques de ces interventions de prévention.

Ce projet a mobilisé une cinquantaine d’experts et d’universitaires,


français et étrangers, issus de nombreuses disciplines impliquées dans
l’évaluation et d’une cinquantaine d’intervenants en prévention.

Arrivés à maturité, ces travaux ont permis la préparation d’un ouvrage


théorique1 qui, après la présentation des concepts et méthodes
de l’évaluation pour chacune des disciplines académiques impliquées
dans les interventions en santé au travail et des illustrations
d’évaluation en situation, propose une synthèse des différents
courants disciplinaires et des pratiques. Il est destiné à un public
d’intervenants spécialisés, de chercheurs et d’étudiants en cours de
formation dans le domaine des risques professionnels.

En s’appuyant sur ces travaux de synthèse et en tenant compte


des besoins et attentes des praticiens, une démarche d’évaluation
a été élaborée et expérimentée au cours de l’année 2015 par une
cinquantaine d’intervenants issus de différentes structures (Aract,
CARSAT, SIST, cabinets de consultants, MSA, OPPBTP), ce qui a permis
d’en tester sa pertinence et sa faisabilité.

Ce guide intègre les apports théoriques pluridisciplinaires sur


l’évaluation issus de l’ouvrage, l’analyse des besoins et attentes
de praticiens de terrain vis-à-vis de l’évaluation des interventions
et les résultats d’une expérimentation en situation.

Il s’adresse aux intervenants qui conduisent des interventions


de prévention des RPS et TMS à la demande d’entreprises,
d’administrations ou d’associations et qui souhaitent les évaluer
pour améliorer leurs pratiques.

1. INRS-Anact. Evaluation des interventions de prévention des TMS et RPS, Octarès, Toulouse.
A paraître en 2017.

2
SOMMAIRE

CETTE DÉMARCHE A PU ÊTRE ÉLABORÉE, INTRODUCTION P4


Une démarche d’évaluation adaptée aux
EXPÉRIMENTÉE ET PUBLIÉE GRÂCE :
caractéristiques des interventions RPS
et TMS
A
 l’implication d’experts de l’Anact et de l’INRS : Jean-Jacques
Atain-Kouadio, Anne-Marie Gallet, Marie-Anne Gautier, Valérie
Langevin et Anne Montagnez ; P OURQUOI ÉVALUER ? P6
• Améliorer les pratiques
d’intervention P7
A
 la précieuse collaboration d’intervenants, consultants • Echanger entre professionnels
et préventeurs institutionnels : sur les pratiques d’intervention P7
• Améliorer la dynamique
• Olivier AUDIBERT, Samsi 31 • Michel NIEZBORALA, Astia
de prévention P8
• Aurélie BEDDOCK, SMTI 82 • Emilie NIVERT, SSTNFC
• Dominique BELLEZZA, GIMS 13 • Joëlle PACCHIARINI, Carsat
• Anne BENEDETTO, AST25 Languedoc-Rousillon QUEL L ES I NTERV ENTI ONS
• Patrick BENGUIGUI, Carsat • Matthieu PAVAGEAU, DS&0 ÉVALUER ? P10
Nord-Picardie • David PESME, Preventicom • Pourquoi les interventions de
• Aurélie CLERFEUILLE, AIST 39 • Pierre PISANI, MSA Midi-Pyrénées Nord prévention des RPS et TMS P11
• Cathya CYPOWIJ, GIMS 13 • Caroline RAGAZZI, Midact sont-elles difficiles à évaluer ?
• Christophe COSTES, SAMSI 31 • Magali ROGER, Carsat Nord-Picardie • Quand recourir à la démarche
• Sylvie DE-JESUS, Aract Franche-Comté • Cécile SAC, Samsi 31 d’évaluation Evalia ? P14
• Arnaud DESARMENIEN, ST72 • Laurence SAMAIN, MT02
• Elisabeth DEWANCKEL, Aract • Brigitte TUAL, Klesia
Bretagne • Claude VADEBOIN, Carsat
• Aline DRONNE, Aract Lorraine Rhône-Alpes COMMENT ÉVALUER ?
• Carol DUBOIS, Diagnose-TIC • Vanessa VIDAL LA DÉMARCHE EVALIA
• Michel FORESTIER, GESTE • Laurence WEIBEL, Carsat
• Fabien FRANCOU, Essor Consultants Alsace-Moselle EN 4 ÉTAPES P1 6
• Béatrice GAGNE, Essor Consultants • Frédéric ZANTE, Aract
ÉTAPE 1
• Didier GARROS, ARAVIS Champagne-Ardenne
Avant l’ intervention : préparer
• Francine HARMANDON, MSA
l’évaluation P18
Midi-Pyrénées Nord
• Elie HUMBEY, Ressources Charles Parmentier ÉTAPE 2
et Changement
• Saloua KARRAY, SIST VO (Anact) et Dominique Au démarrage de l’intervention :
déterminer les effets attendus et
• Sandrine KOENIG, Carsat
Midi-Pyrénées Chouanière (INRS), définir les critères d’évaluation P24

• Antoine KOUBEMBA, Aract Limousin


• Virginie JULLIN, AST74
les auteurs, ÉTAPE 3
Recueillir les données P30
• Nathalie LACHAMBRE, ASMIS
remercient vivement
• Béatrice LANGER, SMIA
ÉTAPE 4
• Damien LEDUC, Solutions Productives
l’ensemble de ces Après l’intervention : analyser les
• Cyril LEFAUCHEUX, Aract Centre résultats et en tirer les enseignements
• Ornella LEPOUTRE, Carsat Nord
Picardie
participants pour P34

• Carol MARCONNET, ASTL 46


• Isabelle MARY-CHERAY, SMIA
leur implication
A N N E X E : Grille d’évaluation EVALIA
• Philippe MESCHINE, ASTL 46
• Philippe MILLET, MSA Midi Pyrénées
et la richesse de leurs P42
Nord G LOS S A I R E P54
• Pierre MONFAYOU, contributions.
Carsat Nord-Picardie R É F É R E N C E S P55
• Marie MURCIA, APST Centre
• Sandrine NAHON, Solutions
Productives

3
INTRODUCTION

Une démarche
d’évaluation
adaptée aux
caractéristiques
des interventions
RPS et TMS

4
?
QUESTION > RÉPONSE
L’évaluation des actions conduites dans les domaines de la santé
et de l’action sociale est devenue incontournable. Dans le domaine
de la santé au travail, les interventions de prévention des risques
Comment définit-on
psychosociaux (RPS) et des troubles musculosquelettiques (TMS) l’évaluation ?
n’échappent pas à cet impératif. L’évaluation ne repose ni sur
un cadre conceptuel unique,
En effet, l’émergence des RPS au cours des années 2000
ni sur un vocabulaire standardisé.
et l’augmentation des TMS, reconnus en tant que maladies
En effet, chaque discipline produit
professionnelles, ont accru de façon significative le nombre des ses propres références et la
interventions de prévention sur ces thèmes. Face à la variété des pratique de l’évaluation conduit
structures bénéficiaires des interventions TMS ou RPS et aux défis les intervenants à adapter les
que représente leur prévention, des démarches multiples se sont théories à leur contexte. Ainsi,
mises en place. Celles-ci se réfèrent à des disciplines académiques, l’évaluation fait l’objet d’un nombre
elles aussi, très diverses : ergonomie, psychologie, sociologie, considérable de définitions, qui
sciences de gestion, épidémiologie. Devant ce foisonnement de associent souvent trois dimensions :
méthodes et la diversité des contextes d’intervention, l’évaluation  ne collecte systématique
u
est devenue essentielle pour objectiver les effets des interventions d’informations diversifiées ;
menées et en tirer des enseignements pour les interventions une
 appréciation critique en
futures. Cependant, si l’évaluation formelle est une nécessité et une rapport avec des critères ou
opportunité de progrès, force est de constater que les méthodes des normes prédéfinis ;
d’évaluation existantes ne sont pas adaptées aux interventions des
 recommandations en vue
complexes de prévention des TMS ou des RPS. d’une décision.

La démarche d’évaluation proposée ici permet d’analyser, à la fois, L’évaluation est également
les modes d’actions mis en œuvre et les effets de l’intervention, au définie selon ses buts : formatif
regard de la singularité des contextes rencontrés. En complément ou sommatif. Cette distinction est
des méthodes d’évaluation traditionnelles qui s’attachent à mesurer héritée des sciences de l’éducation
les résultats d’une action indépendamment du contexte ou à évaluer qui ont différencié la visée
la conformité d’une démarche par rapport à un référentiel, cette pédagogique (évaluation formative)
démarche est donc destinée à mettre en valeur toute la richesse, de la visée certificative des
la diversité et la complexité des actions de prévention. examens ou concours (évaluation
sommative). Dans le domaine
Elle s’adresse aux intervenants qui souhaitent évaluer les de la prévention des risques,
interventions qu’ils conduisent. Il s’agit d’une évaluation à vocation la distinction entre ces deux
formative (cf. question/réponse ci-contre) qui vise l’amélioration de objectifs repose sur les aspects
la pratique professionnelle. suivants :
l ’évaluation formative fournit
Si la décision d’évaluer est à la main de l’intervenant, la mise en œuvre des informations qui permettent
de l’évaluation nécessite d’y associer les acteurs de la structure d’améliorer les pratiques
bénéficiaire de l’intervention. Leur participation permet d’accéder à d’intervention. Il s’agit d’un
des données nécessaires à l’évaluation, de documenter de façon plus apprentissage par l’action ;
complète les effets d’une intervention et de favoriser dans la structure l’évaluation
 sommative vérifie
une dynamique de prévention pérenne, l’évaluation permettant de si les objectifs de l’intervention,
repérer les avancées mais également les points restant à traiter. fixés au départ, sont atteints ou
non, et si ces résultats sont liés
Cette démarche à visée formative tient compte de la à l’intervention.
multiplicité des pratiques professionnelles en matière de
méthodes d’intervention, de la diversité et de la complexité des
contextes des interventions et de l’ensemble des effets qu’une
intervention est susceptible de produire.

Introduction < 5
Pourquoi
évaluer ?
L’évaluation peut prendre différentes
formes selon les objectifs qu’elle vise, les acteurs
qu’elle implique et les méthodes auxquelles elle
a recours. Elle peut être prescrite et réalisée
par un commanditaire extérieur ou être décidée
et conduite par l’intervenant lui-même. Dans
ce dernier cas, l’évaluation permet, au-delà de
la simple vérification de l’adéquation entre les
objectifs et les résultats de l’action, d’expliquer
comment et pourquoi les résultats ont été obtenus,
compte tenu de la spécificité du contexte* dans
lequel l’intervention s’est déroulée. L’évaluation
ainsi conduite permet à l’intervenant de prendre
du recul vis-à-vis de l’action qu’il a menée et de tirer
des enseignements de l’expérience acquise.

Les bénéfices de la démarche d’évaluation


proposée dans ce guide vont au-delà de
l’amélioration de la pratique de l’intervenant
(Partie 1). Grâce à l’usage d’un outil adapté aux
différentes méthodes d’intervention, elle permet
également de partager avec des pairs, les méthodes
et les résultats de ce type d’interventions (Partie 2).
De plus, une démarche d’évaluation impliquant
précocement la structure bénéficiaire permet à
l’intervenant de rendre plus explicite ses méthodes
et les résultats obtenus favorisant ainsi la
dynamique de prévention (Partie 3).

* Le contexte d’intervention désigne tous les


éléments qui ont un impact sur l’intervention :
les caractéristiques de la structure
bénéficiaire (par exemple l’effectif, l’histoire,
le statut juridique, les caractéristiques des
salariés, le secteur d’activité), le contexte
territorial, les évolutions juridiques, etc.

6
1
AMÉLIORER LES PRATIQUES C AS PR ATIQUE
D’INTERVENTION Dans le cadre d’une démarche de prévention des
RPS dans un hôpital de 600 salariés, un cabinet de
En comparant les effets observés avec consultants décide d’expérimenter, à la place de
ceux qui étaient attendus, en analysant leur questionnaire habituel, un nouveau dispositif
l’adéquation entre la méthode d’intervention de recueil d’informations, basé sur des espaces de
discussion. Pour le tester, les intervenants impliqués
et le problème posé au départ, en repérant
comparent les éléments recueillis dans les groupes
les facteurs facilitateurs de changement,
de discussion avec les résultats d’un questionnaire
l’intervenant tire profit de l’expérience menée. utilisé dans un autre hôpital dans lequel ils sont
intervenus précédemment. Bien qu’ayant impliqué
En associant les acteurs des structures
un nombre plus limité de personnes, les espaces de
bénéficiaires et des pairs impliqués ou non
discussion permettent non seulement de repérer
dans l’intervention, l’intervenant bénéficie un grand nombre de dysfonctionnements, plus
aussi de points de vue complémentaires sur précis que ceux récoltés par questionnaire, mais
les effets de l’intervention et enrichit également d’échanger avec les participants sur des
les enseignements qu’il peut en tirer. pistes d’amélioration pour y remédier. En outre, les
participants à ces groupes ont fait un retour positif
Enfin, en pratiquant régulièrement et, d’après les intervenants, la mise en place des
l’évaluation, l’intervenant se dote ainsi changements en a été facilitée.
d’une démarche d’amélioration continue
de ses méthodes d’intervention.

2
ECHANGER ENTRE
C AS PR ATIQUE
Pour harmoniser leurs pratiques, les intervenants
d’un service de santé au travail (4 ergonomes,
PROFESSIONNELS 2 psychologues, 6 médecins du travail) décident
de mener en binôme des évaluations de leurs
SUR LES PRATIQUES interventions. Une fois par an, chaque intervenant

D’INTERVENTION évalue une de ses interventions, avec un collègue qui


n’y a pas participé. Les résultats de l’évaluation sont
ensuite rapportés et discutés au sein d’un atelier qui
La mise en place d’une évaluation formalisée et réunit les 12 intervenants du service. La première
partagée avec des pairs favorise les échanges année, le groupe a mis en évidence que les objectifs
sur les pratiques professionnelles. Grâce à un assignés à une même intervention étaient très
support commun, il est possible d’expliciter différents selon le métier : pour un médecin du travail,
les méthodes utilisées, de commenter les l’intervention a pour but principal de diminuer des
pathologies observées dans la structure bénéficiaire
résultats obtenus en fonction des contextes
alors que pour l’ergonome, l’objectif principal est
d’intervention, de mettre en discussion les
de créer ou recréer, pour les opérateurs, les marges
interrogations, de comparer avec nuance des de manœuvre suffisantes pour qu’ils puissent
interventions singulières par nature. Facilités faire face aux différentes contraintes temporelles
par l’usage d’un même outil d’évaluation, par exemple. Ces constats ont permis de mieux
ces échanges de pratiques permettent aux comprendre les pratiques et les attentes respectives
intervenants de construire des repères vis-à-vis de l’intervention et, par la suite, de s’accorder
méthodologiques qui améliorent l’efficacité sur des objectifs partagés avant le démarrage des
interventions.
des interventions et harmonisent les pratiques
entre professionnels.

Pourquoi évaluer ? < 7


3
les acteurs de la structure n’ont Décrire les effets de
pas toujours en mémoire la l’intervention et les situer dans
situation initiale dans laquelle le temps permet de retracer le
celle-ci a démarré : la nature chemin parcouru et de qualifier
des problèmes qui ont motivé les progrès et les difficultés.
AMÉLIORER l’intervention, la qualité des La mise en lumière des
LA DYNAMIQUE relations entre acteurs, le transformations peut remotiver
niveau de prise en compte de les bénéficiaires et relancer un
DE PRÉVENTION la prévention, etc. Au cours processus de changement.
de l’intervention et dans ses
L’évaluation peut mettre en Les résultats d’une évaluation
suites, de nombreux aspects
exergue le chemin parcouru par apportent aussi des éléments
peuvent avoir évolué sans que
la structure bénéficiaire depuis pour envisager la poursuite
l’ensemble des acteurs n’en
le début de l’intervention. En de l’action ou enclencher un
ait conscience ou puisse les
effet, à la fin d’une intervention, nouveau projet.
rapporter à l’intervention.

C AS PR ATIQUE
Une ergonome qui est intervenue pendant 9 mois dans une entreprise
industrielle pour prévenir les TMS, revient 18 mois après la fin de
l’intervention. Elle conduit une évaluation avec le comité d’évaluation
qui a mené l’intervention. Reprenant les documents qui décrivaient la
situation initiale (sinistralité, processus industriels, modes de décision
et d’organisation du travail des opérateurs), le comité découvre des
effets de l’intervention non repérés jusque-là. En effet, des opérateurs
interviewés révèlent que les chefs d’équipe ont, suite à l’intervention,
modifié les modes d’organisation de leur travail, les incluant
maintenant dans les réunions de planification.

Les contraintes temporelles étant mieux prises en compte, les plaintes


liées aux TMS ont diminué mais restent toujours fréquentes pour
quelques postes de travail. Ces constatations relancent une campagne
d’actions pour aménager les derniers postes de travail qui posent
encore problème.

En conclusion, ces différents bénéfices de l’évaluation sont complémentaires et souvent séquentiels.


Ainsi, un intervenant peut, en première intention, choisir d’évaluer l’impact d’une intervention qu’il a
menée dans une structure où le climat social était très tendu afin d’en retirer des enseignements pour
d’autres interventions en situation dégradée. Il peut ensuite proposer à des collègues, dans le cadre de
réunions d’échanges de pratiques, de présenter les résultats de cette évaluation et de mettre en débat
les enseignements qu’il en a retirés. Enfin, ayant renoué le dialogue avec des acteurs de la structure
bénéficiaire à l’occasion de la mise en œuvre de l’évaluation, il peut y relancer les transformations prévues
en cours d’intervention et non encore mises en œuvre.

08 < Pourquoi évaluer ?


?
QUESTION > RÉPONSE

Peut-on évaluer
une intervention
avant qu’elle soit ?
terminée ? QUESTION > RÉPONSE

Pour s’adapter à l’évolution des Est-il envisageable d’évaluer seul


contextes des structures dans ses propres interventions ?
lesquelles ils interviennent,
les intervenants modifient,
La démarche d’évaluation Il est donc vivement
au fil de l’intervention, le plus
présentée ici s’adresse aux recommandé de solliciter
souvent de manière informelle,
intervenants qui souhaitent différents acteurs au sein
leurs méthodes d’intervention
évaluer les interventions qu’ils d’un comité d’évaluation (voir
initiales ou leurs stratégies
ont conduites. « participants potentiels au
d’intervention. L’évaluation en
comité d’évaluation » p. 20).
cours d’intervention permet de En ce sens, il s’agit d’une
mettre en visibilité les divers évaluation formative, dont le but Par ailleurs, pour cerner
ajustements initiés et d’en garder est de retirer des enseignements l’ensemble des conséquences
les causes en mémoire. et d’améliorer les futures d’une intervention, il faut
interventions. recueillir des données auprès
Pour un usage en cours
des services et acteurs qui les
d’intervention, la démarche Elle se distingue d’une détiennent (Services RH ou HSE,
présentée ici doit être adaptée. évaluation normative qui Services de Santé au Travail, etc.)
Il convient de considérer plus viserait à contrôler par un tiers et les discuter ensuite au sein du
particulièrement le déroulement l’atteinte ou non des objectifs comité d’évaluation.
de l’intervention et ses effets fixés au départ. Cependant, être
précoces (voir « chronologie des commanditaire de l’évaluation L’évaluation exige une
effets d’une intervention de n’implique pas, pour autant, participation de nombreux
prévention des RPS » p. 27). de la réaliser par soi-même et acteurs pour la collecte et
uniquement pour soi. l’analyse des données, gage
La mise en lumière de ces
d’une évaluation nuancée,
premiers effets présente Cette posture d’intervenant- circonstanciée et différenciée
l’avantage pour l’intervenant évaluateur placerait celui-ci selon les acteurs. C’est à cette
de convaincre la structure en position de « juge et condition que l’évaluation sera
bénéficiaire de la pertinence de partie » et limiterait la perçue comme pertinente et
sa stratégie et de ses méthodes. validité et la pertinence de pourra favoriser une dynamique
l’évaluation. Dans la démarche d’amélioration continue tant
Elle permet aussi à la structure
d’évaluation proposée, c’est la pour les structures bénéficiaires
bénéficiaire de mieux préparer la
complémentarité des points que pour les intervenants. 
suite de l’intervention.
de vue sur les objectifs, le
processus, les avancées et les
échecs de l’intervention qui
vont conférer à celle-ci toute sa
valeur.

Pourquoi évaluer ? < 09


Quelles
interventions
évaluer ?
Cette démarche d’évaluation a été conçue pour
évaluer les interventions de prévention des
RPS et TMS. Elle tient compte à la fois de leurs
caractéristiques et de leur diversité.

10
1
POURQUOI Des interventions Dans ces contextes en mutation
se déroulant dans permanente, l’intervention
LES INTERVENTIONS des structures induit ses propres changements

DE PRÉVENTION bénéficiaires complexes vis-à-vis des processus et auprès


des acteurs. L’un des enjeux
et changeantes
DES RPS ET TMS importants de l’évaluation
Les interventions se déroulent est d’établir des liens entre
SONT-ELLES dans des systèmes complexes l’intervention et les changements
DIFFICILES À du fait du nombre de processus survenus pendant ou après celle-ci.
en jeu dans une organisation
ÉVALUER ? (production, RH, sécurité, etc.) De façon plus précise, l’évaluation
et des acteurs qui interagissent permet de déterminer quels
Les interventions de prévention
pour les mettre en œuvre. sont les processus du système
des RPS et TMS sont difficiles
impactés par les changements.
à évaluer car :
Ces systèmes sont par Où, pourquoi, comment, avec
les structures bénéficiaires ailleurs instables, du fait des quels bénéfices ou inconvénients
sont complexes changements multiples qui les et quels moyens, une intervention
et changeantes ; traversent : restructurations, a pu produire ces changements ?
les champs de l’intervention mobilité des managers, évolution Un autre enjeu de l’évaluation
des produits ou des processus est de préciser comment,
sont multiples ;
de production, turn-over des dans un contexte donné et avec
différentes catégories
personnels, etc. les moyens mis en œuvre,
d’acteurs sont mobilisées.
les résultats ont été obtenus.

C AS PR ATIQUE
Un intervenant décide de restituer, de façon identique, les résultats d’une enquête dans deux services distincts
d’une même unité. Dans le premier, la restitution est très constructive et permet de dégager des pistes d’action alors que
dans le second, les résultats et le mode de passation du questionnaire sont contestés. L’évaluation a permis ici de révéler
une perception différenciée de l’action entre les deux groupes et de l’expliquer. En effet, dans le second groupe,
le responsable du service avait présenté le questionnaire comme étant obligatoire en dépit des consignes
données par l’intervenant.

Démarche Démarche
participative imposée

Quelles interventions évaluer ? < 11


En situation complexe, les effets d’une intervention affectent rarement de façon
identique les différentes catégories de personnel de la structure bénéficiaire. Les
bénéfices pour les uns peuvent être perçus comme des inconvénients par les autres.
Les effets peuvent concerner des personnels non ciblés au départ.

L’évaluation cherche à apprécier quels sont les acteurs complètement ou partiellement


impactés par les changements.

C AS PR ATIQUE
Dans une société d’autoroute, afin d’éviter aux équipes d’entretien de
traverser les voies avec des charges lourdes, il a été décidé de remplacer
les panneaux provisoires matérialisant les travaux par des panneaux
automatiques commandés à distance. L’évaluation, conduite par
l’intervenant quelques mois après l’intervention, a montré que cette
transformation a déplacé le problème sur une autre catégorie de salariés.

En effet, si elle a réduit la charge physique et amélioré la sécurité


des agents d’entretien, elle détériore en revanche la sécurité des agents
de maintenance qui doivent, à leur tour, traverser les voies en cas
de panne des panneaux automatiques.

12 < Quelles interventions évaluer ?


Des interventions impliquant Des interventions mobilisant
des actions multiples différentes catégories d’acteurs
La plupart des problématiques liées à la santé au travail ou L’organisation et le pilotage d’une intervention
traitant de conditions de travail ont une origine multifactorielle. mobilisent, dans les structures bénéficiaires,
Les connaissances scientifiques et empiriques en attestent. Pour différentes catégories d’acteurs : représentants
être efficaces, les changements doivent concerner différents du personnel, directions, encadrement, médecins
facteurs comme le montre le cas pratique. du travail, IPRP, etc. Ils apportent, lors de la
phase évaluative, des points de vue particuliers,
De plus, les différentes actions préconisées au cours de voire contradictoires, sur les actions conduites et
l’intervention interfèrent entre elles (par exemple, une leurs effets. Sur la base des données recueillies,
formation des managers à la prévention des TMS sera d’autant l’évaluation devra intégrer, dans un échange
plus efficace qu’elle s’accompagne d’un aménagement de constructif, ces différences de représentation.
postes de travail). L’évaluation donne l’opportunité d’apprécier
l’efficacité respective des actions mises en place, leur
complémentarité, la chronologie optimale de mise en œuvre, etc.

C AS PR ATIQUE
Suite aux préconisations d’une intervention,
C AS PR ATIQUE
un manager a mis en place, dans un
Dans un abattoir, suite à de nombreuses plaintes établissement industriel, un « référent
liées aux TMS et de déclarations en maladies technique » pour aider les opérateurs en cas
professionnelles, une intervention conduit à un plan de panne d’une machine. Les pannes étant
d’action à plusieurs niveaux : diminution des contraintes peu fréquentes, la direction, après un certain
posturales par l’aménagement des postes de travail à délai, a élargi les missions du référent au
risque, modification de la charge et du rythme de travail recensement des dysfonctionnements et
en remplaçant systématiquement les salariés absents, de leurs causes, en particulier celles liées
reconnaissance des efforts fournis en cas de surcharge au non-respect des règles d’usage de ces
de travail par un système de récupération en jours de machines. Lors de l’évaluation, un an après,
congés, augmentation des marges de manœuvre des les représentants du personnel rapportent
opérateurs par une autodétermination des pauses dans que la nouvelle mission du « référent » est
le respect des limites de 10 mn toutes les 2 heures. mal vécue par les opérateurs : il est perçu
comme un « contrôleur ». Un débat s’engage
Compte tenu de la gravité de la situation, il est décidé
ensuite sur la pertinence et le sens de cette
d’implanter toutes ces mesures en même temps.
évolution.
L’intervenant revient dans l’abattoir 6 mois après la
fin de l’intervention et réunit, pour une évaluation à
distance, le comité d’évaluation de l’intervention.

Selon le médecin du travail, la situation s’est


considérablement améliorée sur le plan des plaintes
de TMS. Représentants du personnel et direction
hiérarchisent les raisons de l’amélioration et s’accordent
pour l’attribuer aux remplacements systématiques
des absents et aux aménagements de postes ; les
récupérations en jours de congés et l’autonomie
dans la prise des pauses sont perçues comme peu
contributives à la diminution des TMS mais, en revanche,
déterminantes dans l’amélioration du climat social.

Quelles interventions évaluer ? < 13


2
QUAND RECOURIR
À LA DÉMARCHE ?
D’ÉVALUATION EVALIA ?
QUESTION > RÉPONSE

Faut-il évaluer toutes


Les interventions de prévention des TMS et RPS sont singulières par
les contextes dans lesquels elles sont conduites, les disciplines qu’elles les interventions ?
mobilisent et les méthodes auxquelles elles recourent. Prenant en La démarche d’évaluation peut
compte cette diversité, la démarche d’évaluation EVALIA, proposée s’envisager pour toutes les
dans ce guide, peut être utilisée : interventions et est conçue comme
par tous les professionnels intervenant sur les TMS et RPS, un processus d’amélioration

qu’ils soient préventeurs institutionnels, personnels d’un service de continue des pratiques.
santé au travail, consultants dans un cabinet ou indépendants ; La démarche vise donc, en priorité,
des interventions pour lesquelles
pour
 tous les types de structures bénéficiaires, quels que soient le processus d’évaluation va
leurs secteurs d’activité, leur effectif, leur mode d’organisation ou leur permettre de produire des
expérience en matière de prévention des risques ; connaissances utiles pour la
quelles que soient les méthodes d’intervention mises en œuvre : pratique ultérieure de l’intervenant.

les pratiques des intervenants sont très diverses et métissent
souvent des méthodes issues de plusieurs disciplines (ergonomie, Par ailleurs, la démarche exige
psychologie, sociologie, sciences de gestion, épidémiologie, etc.). La des ressources et du temps
démarche d’évaluation proposée n’est pas dépendante de la méthode qui en limitent son usage. Il est
d’intervention déployée par l’intervenant ; souhaitable que l’intervenant
priorise les interventions à évaluer
quels
 que soient les objectifs des interventions. Les interventions en définissant des critères a priori,
se déroulant dans des systèmes complexes, toujours singuliers, leurs par exemple :
objectifs sont propres à ces situations particulières et donc, divers
et souvent multiples : réduire les facteurs de risques, améliorer le l’importance
 de l’intervention en
dialogue social, modifier les postes de travail, repenser les horaires de durée ;
travail, améliorer la prise en compte de la prévention dans la stratégie les
 difficultés rencontrées du
et dans les projets de conception. La démarche d’évaluation intègre fait d’une situation initiale
l’ensemble des objectifs qu’une intervention de prévention des RPS très dégradée ou d’éléments
et TMS peut viser. Les interventions peuvent cibler l’ensemble des perturbants pendant
salariés ou, à l’inverse, des groupes particuliers (salariés d’un service, l’intervention (démission
salariés exposés à des contraintes). Quel que soit le périmètre de du RH et arrêt provisoire
l’intervention, il est possible d’utiliser cette démarche d’évaluation de l’intervention par son
en sachant que l’évaluation intégrera tous les effets induits par remplaçant, etc.) ;
l’intervention y compris vis-à-vis des salariés non ciblés a priori.
le
 déploiement d’une
nouvelle méthode (binômes
d’intervenants issus de deux
structures différentes par
exemple) ;

un
 doute sur les bénéfices à long
terme de l’intervention.

14 < Quelles interventions évaluer ?


CE QU’IL
? FAUT
QUESTION > RÉPONSE

RETENIR
Peut-on évaluer
La démarche d’évaluation
avec cette démarche proposée ici s’adresse :
les interventions ? à toutes les interventions
QUESTION > RÉPONSE concernant les TMS
portant sur d’autres
ou les RPS voire des
thématiques que les thématiques plus larges :
RPS ou les TMS ? Peut-on évaluer QVT, usure professionnelle,

Conçue initialement pour évaluer les interventions accompagnement au


changement, quelles que soient
des interventions portant sur
qui se sont les stratégies et méthodes
les RPS ou les TMS, la démarche
proposée a été testée pour 32 déroulées dans déployées par l’intervenant ;
à
 toutes les structures
interventions. Ces dernières
des TPE ? bénéficiaires quelles que soient
étaient majoritairement
consacrées à ces deux Pour tester la démarche leur activité ou leur taille ;
thématiques mais certaines en d’évaluation, les à tous les intervenants quels
ont abordé d’autres telles que expérimentateurs ont que soient leur formation
la QVT, l’usure professionnelle choisi majoritairement des d’origine, leur exercice
ou encore l’accompagnement au interventions qui s’étaient
professionnel ou leurs
changement. déroulées dans des structures
pratiques d’intervention.
de plus de 20 salariés.
Les expérimentateurs n’ont Cependant, certaines
Dans la mesure où l’évaluation
pas rencontré de difficultés concernaient des TPE. Dans
exige des ressources et du temps,
pour les évaluer. Un usage ces cas, les intervenants ont
il faut la réserver à certaines
étendu à d’autres thématiques recueilli des données plutôt
de nature qualitative mais interventions. La démarche
est envisageable du fait de
la souplesse d’utilisation de également des données proposée vise ainsi, en priorité,
la démarche et de l’étendue quantitatives (nombre de les interventions pour lesquelles
des objets évalués (contexte, pannes d’une machine par l’évaluation va permettre de
processus, effets). De exemple). La possibilité produire des connaissances utiles
nouveaux retours d’expérience d’asseoir l’évaluation sur des pour la pratique de l’intervenant.
permettront de confirmer la données à la fois quantitatives
possibilité de cet usage élargi. et qualitatives permet ainsi Si l’intervenant envisage d’évaluer
d’évaluer les interventions l’une de ses interventions, il peut
conduites quelle que soit mettre en œuvre la démarche
la taille de la structure EVALIA en 4 étapes proposée dans
bénéficiaire. les pages suivantes.  

Quelles interventions évaluer ? < 15


COMMENT
ÉVALUER ?
La démarche
EVALIA
en 4 étapes
Pour mettre en œuvre la démarche EVALIA,
vous pouvez utiliser le document téléchargeable
« Document d’évaluation de mon intervention ».

16
É TA P E 1
AVANT L’INT ERVEN TI O N
PR ÉPAR ER L’É VALUATI O N

É TA P E 2
AU DÉM AR R AGE DE L’ I N TE RVE N TI O N
DÉTER M INER LES EFFE TS AT TE N DU S
ET DÉFINIR LES C R I TÈ R E S D ’ É VA LUATI O N

É TA P E 3
R EC U EILLIR LES DO N N É E S

É TA P E 4
A P R È S L’ I N T E RV E N T I O N
ANALYS ER LES R ÉS U LTATS
ET EN T IR ER LES EN S E I G N E ME N TS

< 17
É TA P E 1

Avant
l’intervention :
préparer
l’évaluation
Cette étape est dédiée à la préparation du projet
d’évaluation. Elle est à la charge de l’intervenant.

18
1
S’ASSURER
QUE LES
CONDITIONS
SONT RÉUNIES
Avant d’engager une démarche
d’évaluation de l’intervention,
l’intervenant doit vérifier que
certaines conditions sont réunies :
en premier lieu, il doit s’assurer
que la démarche évaluative est
a priori justifiée, en d’autres
termes, qu’elle va lui permettre
d’améliorer sa pratique ;
il doit ensuite en vérifier la
faisabilité. La démarche EVALIA
s’appuie sur la participation
des acteurs bénéficiaires de
l’intervention et exige de
recueillir, dans la structure,
des données spécifiques.
La disponibilité de ces acteurs
d’une part et l’accessibilité des
données d’autre part, sont des
préalables incontournables.

Mais l’évaluation n’est pas


seulement une démarche
technique. Elle interroge, entre
autres, les stratégies des différents
acteurs et peut être source de
crainte si ses objectifs ne sont
pas clairs. Pour que l’évaluation
devienne une opportunité de
progrès, l’intervenant doit s’assurer
qu’il existe :
un climat de confiance et de
transparence entre les différents
acteurs qui seront conviés à cet
exercice (voir p. 20 les acteurs du
dispositif d’évaluation) ;
des marges de manœuvre
pour qu’ils puissent utiliser les
résultats de l’évaluation dans
leurs futures actions.

Comment évaluer ? La démarche EVALIA < 19


2
METTRE EN PLACE Les objectifs Le comité d’évaluation peut
de l’évaluation réunir diverses catégories
UN DISPOSITIF Les objectifs de l’évaluation sont d’acteurs, impliqués ou non dans

D’ÉVALUATION définis par l’intervenant avec la l’intervention (voir tableau


ci-dessous).
structure bénéficiaire (voir p. 23)
L’évaluation d’une intervention et figurent dans le document
contractuel. L’évaluation sera d’autant plus
est un projet à part entière qui
Si l’intervenant poursuit des riche et pertinente que les acteurs
doit être formalisé. L’intervenant
objectifs spécifiques à sa pratique mobilisés dans la démarche
élabore avec des pairs ou avec des
(par exemple, évaluer une nouvelle d’évaluation sont diversement
acteurs de la structure bénéficiaire
méthode) il peut les partager ou impliqués dans l’intervention.
un dispositif d’évaluation. Celui-ci
non avec la structure et, le cas Il est possible d’inclure des
se prévoit, si possible, avant le
échéant, les inscrire également acteurs qui n’ont pas participé à
démarrage de l’intervention. Il est
dans le document contractuel. l’intervention et qui pourront, grâce
recommandé de le formaliser dans
La nature des objectifs de à un regard plus distancié, repérer
un document contractuel (voir le
l’évaluation détermine notamment d’autres effets ou proposer des
document d’évaluation EVALIA
les acteurs à impliquer, les moyens interprétations alternatives de ses
proposé en téléchargement).
à allouer, le calendrier et la différentes conséquences.

Ce document doit préciser : valorisation de l’évaluation.


Grâce à la multiplicité des regards
les objectifs de l’évaluation ; et à la complémentarité des
Les acteurs et missions points de vue, l’évaluation pourra
les acteurs impliqués dans la du comité d’évaluation témoigner le plus précisément et
démarche d’évaluation et leurs Comme pour tout projet,
exhaustivement possible des effets
missions ; la démarche EVALIA s’appuie sur
d’une intervention.
un groupe de travail, dénommé ici
les moyens à allouer ;
« comité d’évaluation ». Les missions du comité d’évaluation
le calendrier prévisionnel des L’intervenant est le commanditaire concernent non seulement la
différentes étapes et activités ; de l’évaluation. Il peut, à ce titre, gestion du projet d’évaluation dans
le périmètre de diffusion et le être responsable du comité son ensemble mais également des
mode de communication du d’évaluation ou en déléguer la tâches plus spécifiques telles que la
projet d’évaluation et de ses responsabilité à un autre membre définition des données à recueillir,
résultats ; du comité. leur analyse et leur mise en forme
(rédaction d’un compte-rendu
les précautions éthiques
d’évaluation, diaporama, etc.).
afférentes à une démarche
d’évaluation.

PARTICIPANTS POTENTIELS AU COMITÉ D’ÉVALUATION

CATÉGORIES D’ACTEURS
POUVANT PARTICIPER EXEMPLES
AU COMITE D’ÉVALUATION

Collègue, co-intervenant, intervenant


Intervenants / pairs
d’une autre structure

Direction, responsable HSE, DRH,


Acteurs de la structure bénéficiaire
managers, IRP, salariés

Médecin du travail, préventeur


Acteurs externes à la structure /
CARSAT, chargé de mission
partenaires
Anact-Aract, IPRP SST, consultant

20 > Comment évaluer ? La démarche EVALIA


?
QUESTION > RÉPONSE

Les moyens à allouer à la démarche d’évaluation Quand la structure


Avant d’engager une démarche d’évaluation, il faut se doter des bénéficiaire
moyens nécessaires pour la réaliser. Il s’agit d’estimer les besoins
pour :
doit-elle être
l es activités du comité d’évaluation ;
intégrée dans
la collecte des données sur laquelle l’évaluation s’appuiera et qui
le dispositif
mobilisera d’autres acteurs que ceux du comité d’évaluation. Au d’évaluation ?
stade de la préparation, il convient de s’accorder, en fonction des
objectifs de l’évaluation, sur le type de données à recueillir :
Il est recommandé d’envisager
• des données qui sont directement accessibles et qui ne la démarche d’évaluation avec
nécessitent qu’un travail d’analyse documentaire de la part du la structure bénéficiaire dès la
comité d’évaluation : PV des CHSCT, rapports du médecin du préparation de l’intervention.
travail, etc.,

• des données qui doivent être « traitées » avant l’analyse car Cependant, si avant l’intervention
certaines informations sont collectées par les structures les conditions ne sont pas
bénéficiaires au niveau individuel mais ne font pas l’objet de favorables à la préparation d’une
traitement global systématique : consultations de la cellule évaluation, elles peuvent le devenir
d’aide RPS, retours pour défaut de qualité, etc. Dans ce cas, il en cours d’intervention ou après
faut prévoir le temps de gestion des données par le personnel celle-ci. L’intervenant qui a préparé
compétent, seul dès le début de l’intervention
son projet d’évaluation peut alors
• des données créées spécifiquement pour l’évaluation, le partager avec la structure. Il est
recueillies par questionnaire ou entretiens. Ce type de données toujours temps de l’inclure dans
suppose un travail additionnel conséquent en termes de le projet évaluatif tout en sachant
conception (du questionnaire ou de la grille d’entretien), que plus la décision d’évaluer est
d’information des destinataires, le cas échéant, de passation et tardive plus l’évaluation risque
de saisie informatique, d’analyse des données, de restitution d’être limitée. Une évaluation
des résultats aux répondants, etc. Des moyens adéquats menée par l’intervenant sans la
devront être déployés si ce type de recueil est retenu. structure bénéficiaire n’est pas
souhaitable car elle le met en
La définition précise des données à recueillir et de leur mode de
position de juge et partie, travers
recueil font partie de l’étape 2.
difficilement corrigible même
s’il s’adjoint, pour l’évaluation,
l’expertise d’un pair extérieur à
l’intervention. De plus, évaluer sans
la structure bénéficiaire empêche
d’accéder à toutes les dimensions
de l’intervention (contexte, effets
inattendus, etc.).

Comment évaluer ? La démarche EVALIA < 21


?
QUESTION > RÉPONSE
Le calendrier u
 n calendrier inadapté à la réalité
des activités des changements induits par
Peut-on mener
l’intervention car les effets d’une
Le calendrier précise, selon l’usage
intervention ne surviennent une évaluation sans
habituel, les dates ou périodes des
pas tous en même temps et
réunions clés, de la collecte des
apparaissent successivement
l’avoir préparée
données, de leur analyse, etc.
dans le temps. Pour les mesurer avant le début de
Dans le contexte d’une évaluation, de façon adéquate, le calendrier
la planification de la collecte des doit tenir compte de ce délai
l’intervention ?
données est primordiale. d’apparition différencié. Ce Pour que l’évaluation soit
Il est possible pour un dispositif point, primordial pour la qualité pertinente et précise, il
d’évaluation qui viserait à apprécier d’une évaluation, est abordé en convient de l’anticiper et de la
l’écart avant/après d’envisager détail dans l’étape 2 ; préparer avant le démarrage de
plusieurs « mesures » successives : l’intervention. Cela permet, entre
u
 n délai trop long entre la fin
avant, pendant, à la fin ou à autres, de collecter des données
de l’intervention et l’évaluation
distance de l’intervention ou de avant intervention pour disposer
car il compromet la faisabilité de
le limiter à deux mesures (avant/ d’informations sur l’état initial de
l’évaluation du fait du turn-over
après) (voir Etape 3 « Recueillir la structure bénéficiaire.
des acteurs, de leur moindre
les données »).
mobilisation, etc. et en altère
Néanmoins, il reste possible
Trois écueils sont néanmoins à la pertinence, les changements
de décider a posteriori (à la fin
éviter : tardifs étant de moins en moins
de l’intervention ou plus tard)
liés à l’intervention et de plus
u
 n décalage entre le démarrage d’évaluer une intervention.
en plus dépendants du seul
de l’intervention et la mise en L’exercice est cependant peu
fonctionnement de la structure.
place de l’évaluation car il rend recommandé car :
En effet, plus on s’éloigne de
difficiles, faute de données
la fin de l’intervention, moins pour apprécier le chemin
de départ, les comparaisons
les changements observés lui parcouru, il faut se replacer
avant/après et limite le champ
sont attribuables et plus ils dans les conditions du
de l’évaluation, certains
dépendent de la capacité et démarrage de l’intervention.
changements ne pouvant plus
des possibilités de la structure Le recours à la documentation
être repérés ;
bénéficiaire à les mettre en de la structure peut aider
œuvre (voir schéma). mais, pour certains aspects,
les documents n’existent
pas et demandent de la part
des acteurs une appréciation
ATTRIBUTION DES EFFETS DE L’INTERVENTION AU COURS DU TEMPS
rétrospective qui peut être
T=0 T=1 T=2 T=3 entachée de multiples biais
Début de Fin de + 1 an + 2 ans liés à la mémoire sélective ou
l’intervention l’intervention
la moindre motivation des
acteurs, aux changements de
personnels, etc. ;
EFFETS ATTRIBUABLES
À LA STRUCTURE il est nécessaire de déterminer
BÉNÉFICIAIRE
les effets attendus de
EFFETS l’intervention en faisant
ATTRIBUABLES À
L’INTERVENTION abstraction des effets observés.
Or, le risque de faire coïncider
Mesure 1 Mesure 2 Mesure 3 les effets observés avec les
Effets précoces Effets Effets finaux effets attendus est majeur.
intermédiaires

Préparer l’évaluation avant le


début de l’intervention est l’une
des garanties de la qualité de
l’évaluation.
22 > Comment évaluer ? La démarche EVALIA
La communication transparence. Pour obtenir informations les concernant
et diffusion du projet l’adhésion des participants à la seront anonymisées, resteront
d’évaluation démarche d’évaluation, il faut que confidentielles et qu’ils
certaines règles déontologiques pourront les retirer, en partie
Dans le document contractuel soient explicitement inscrites dans ou totalement, à n’importe
d’évaluation, il convient de le document contractuel (voir quel moment du processus ;
préciser qui sera informé du projet document d’évaluation ÉVALIA l’évaluateur doit garantir aux
d’évaluation, de ses résultats téléchargeable) et respectées : participants que les résultats
et avec quel(s) support(s) de communiqués ne permettront
t ous les acteurs de la structure
présentation sa communication sera pas de les identifier ;
bénéficiaire devront avoir
réalisée : compte-rendu, diaporama,
reçu une information claire et les participants au comité
retour oral en réunion plénière, etc.
explicite sur les objectifs, la d’évaluation devront être
méthode d’évaluation incluant le informés du caractère volontaire
Les précautions éthiques mode de recueil (questionnaire, de leur participation, de la
entretien, etc.) qui leur seront possibilité de libre expression
Comme il a été évoqué plus haut,
proposés ; dans le cadre du respect d’autrui,
l’évaluation est une activité qui
en
 cas de recueil par des secrets industriels, etc. et
peut remettre en cause les acteurs
questionnaires ou entretiens, de la possibilité de retrait sans
des structures bénéficiaires et
les opérateurs seront invités condition. 
susciter de la crainte. Néanmoins,
pour qu’elle soit de qualité, à y participer de façon libre Deux illustrations de dispositifs
il faut qu’elle soit menée dans et éclairée ; ils devront d’évaluation sont résumées dans
un climat de confiance et de avoir la certitude que les le tableau suivant.

ILLUSTRATIONS DE DISPOSITIFS D’ÉVALUATION

ACTEURS
OBJECTIFS DE
DU COMITÉ MOYENS ALLOUÉS CALENDRIER COMMUNICATION
L’ÉVALUATION
D’ÉVALUATION
Favoriser l’échange - Intervenant Deux réunions du Réunions du comité Présentation et
de pratiques entre en charge de comité d’évaluation d’évaluation : au début discussion des résultats
intervenants d’un l’intervention et 6 mois après la fin de l’évaluation aux
SST (médecins (IPRP) de l’intervention (1/2 intervenants du SST
du travail, IPRP, journée par réunion)
-M
 édecin du Envoi d’un compte-
etc.) à travers
Travail de
EXEMPLE 1

la présentation Types de données Recueil des données : rendu à la structure


la structure bénéficiaire
de l’évaluation à recueillir : Au démarrage de
bénéficiaire
d’une intervention -E
 ntretiens avec l’intervention : PV de
conduite dans une - Ergonome des salariés CHSCT + Nombre de
industrie. du SST défauts qualité
- PV de CHSCT
- Responsable Fin de l’intervention :
-E
 volution des défauts
qualité de mêmes données +
qualité
la structure entretiens avec des
bénéficiaire salariés

Faire prendre - Consultant Une réunion du comité Réunion du comité Présentation


conscience en charge de d’évaluation d’évaluation : 6 mois des résultats
aux acteurs de l’intervention après le début de de l’évaluation
la structure l’intervention en CHSCT
-A
 cteurs de
bénéficiaire du
la structure
EXEMPLE 2

chemin parcouru Type de données Recueil de données :


bénéficiaire :
pour maintenir à recueillir : au moins 2 fois pendant
• DRH
l’implication des -A
 ménagements des les 6 premiers mois de
• Responsable
acteurs postes de travail l’intervention
HSE
-E
 volution de la
• Membres
polyvalence 
CHSCT
-E
 volution des accidents
bénins et des presque-
accidents

Comment évaluer ? La démarche EVALIA < 23


É TA P E 2

Au démarrage
de l’intervention :
déterminer les effets
attendus et définir les
critères d’évaluation
Cette étape vise à répondre aux questions :
« comment déterminer les effets attendus d’une
intervention dans une perspective d’évaluation ? »
et « sur quelles bases pourra-t-on déterminer que
les effets attendus se sont produits ? ».
Elle est réalisée par le comité d’évaluation.

24
1
DÉTERMINER Recenser les objectifs
de l’intervention
LES EFFETS A son démarrage, une intervention
ATTENDUS DE poursuit des objectifs formels,
consignés le plus souvent dans un
L’INTERVENTION document contractuel (convention,
cahier des charges, protocole
La caractérisation des effets d’accord, etc.).
attendus de l’intervention inclut A ces objectifs formels, s’ajoutent
trois activités successives : les divers objectifs que chacun des
r ecenser l‘ensemble des objectifs acteurs impliqués assigne plus ou
de l’intervention, les objectifs moins explicitement à l’intervention.
formels et ceux propres aux Le comité d’évaluation est ainsi
différents types d’acteurs ; invité à recenser les objectifs que
à
 partir des objectifs, identifier les différents acteurs portent sur
collectivement les effets l’intervention.
attendus de l’intervention à l’aide Par ailleurs, les objectifs pouvant
de la grille EVALIA (voir annexe évoluer en cours d’intervention,
page 44) ; il est possible d’en intégrer de
nouveaux, au fur et à mesure du
e
 nvisager la chronologie des
déroulement de l’intervention.
effets attendus de l’intervention.
Pour prévoir les effets attendus
d’une intervention, trois types
d’objectifs peuvent donc être pris
en compte : les objectifs formels,
les objectifs propres aux différents
acteurs et les nouveaux objectifs qui
pourraient apparaître au cours de
l’intervention.

EXEMPLES D’OBJECTIFS D’UNE INTERVENTION

OBJECTIFS D’UNE
EXEMPLES
INTERVENTION

Inscrire les RPS dans le document unique


Objectifs formels Favoriser la prise en compte des RPS par les
managers

Pour les membres du CHSCT : mettre en


évidence la surcharge de travail sur certains
postes de production
Objectifs propres
Pour le commanditaire (direction de la
à certains acteurs
structure bénéficiaire) : vérifier l’intérêt et
l’engagement des managers pour la prévention
des RPS

Evolution des Modifier le processus de production dans un


objectifs pendant service pour diminuer l’ensemble des risques
l’intervention professionnels

Comment évaluer ? La démarche EVALIA < 25


Identifier les effets Ainsi, envisager les effets attendus Sans être exhaustive, cette liste
attendus de l’intervention d’une intervention suppose de dresse un large panorama des
ne pas se limiter dans la réflexion conséquences habituellement
Les structures bénéficiaires étant à ses conséquences directes et observées lors des interventions
des systèmes complexes (avec immédiates mais de considérer de prévention. Son balayage
des interactions multiples entre les possibles effets en cascade : systématique permet de
les différents processus et entre améliorer la connaissance des sélectionner les rubriques les plus
les différents acteurs) et les RPS chez les managers pourrait pertinentes vis-à-vis des objectifs
interventions étant également induire une prise de conscience de l’intervention à évaluer. Elle
complexes par nature (du fait de la surcharge de travail peut être enrichie d’autres effets
du nombre d’actions mises en particulièrement notable chez propres à un contexte de travail
place et d’acteurs mobilisés), les les opérateurs d’un atelier de particulier.
conséquences des interventions de production et entraîner une
prévention peuvent dépasser les réorganisation de celui-ci.
objectifs et avoir des retombées Envisager la chronologie
diverses. Pouvoir qualifier et des effets attendus
mesurer l’ensemble des retombées de l’intervention
d’une intervention, c’est toute CONSÉQUENCES D’UNE
INTERVENTION DE PRÉVENTION Les effets d’une intervention
l’ambition de la démarche
d’évaluation proposée ici. Objectifs de l’intervention ne sont pas simultanés mais, au
de prévention contraire, soumis à une logique
Ainsi, la démarche EVALIA
invite, à ce stade, le comité chronologique, certains ne se
d’évaluation à lister, à partir des produisant qu’après l’installation
objectifs recensés, l’ensemble préalable des premiers
des retombées ou conséquences changements.
Résultats
possibles d’une intervention.
Elles seront dénommées ici les Ainsi, par exemple, si tous les
« effets attendus » et regroupent acteurs d’une structure sont
Répercussions convaincus, dès le début d’une
trois types de retombées (voir
schéma ci-contre) : intervention, de la nécessité
d’aménager des postes de travail ou
les résultats, en lien direct
de modifier les horaires de travail
avec les objectifs formels de
Impacts de nuit, le comité d’évaluation
l’intervention ;
peut s’attendre à ce que les
les répercussions, conséquences effets précoces de l’intervention
plus lointaines dans le temps et concernent les mises en œuvre
dans l’espace ; concrètes d’aménagement
Pour aider le comité d’évaluation de postes ou de changement
les impacts encore plus éloignés
que les répercussions mais à qualifier, a priori, les effets d’horaires. En revanche, si les
représentant des changements possibles d’une intervention de acteurs ne partagent pas cette
significatifs, durables, pour prévention des RPS ou des TMS, conviction, les premiers effets
lesquels un lien de causalité la grille EVALIA propose une liste de l’intervention concerneront
direct ou indirect avec de 37 types d’effets regroupés l’évolution de leurs représentations
l’intervention peut être établi. autour de 5 thèmes : sur les facteurs de risque pour la
évolution
 des acteurs et santé (en élargissant le champ de
systèmes d’acteurs ; ces facteurs au-delà de la fragilité
t ransformation des organisations individuelle, par exemple) ou la
et situations de travail ; prise de conscience de la nécessité
r éduction des facteurs de risque de l’aménagement des postes.
et augmentation des ressources ;
é
 volution de la santé des salariés ;
é
 volution de la performance de
la structure bénéficiaire.

26 > Comment évaluer ? La démarche EVALIA


Pour que l’évaluation soit pertinente, l’apparition présumée des effets avoir défini les effets attendus d’une
il faut donc mesurer aux « bons » (cf. encadré ci-dessous « Chronologie intervention, à formaliser une frise
moments les effets attendus. Cela des effets d’une intervention de chronologique sur le modèle de celle
suppose de mettre en adéquation prévention des RPS »). Le comité qui figure dans l’encadré.
le calendrier des mesures avec d’évaluation est encouragé, après

CHRONOLOGIE DES EFFETS D’UNE INTERVENTION DE PRÉVENTION DES RPS

Pour illustrer l’aspect chronologique des effets A noter, cependant, comme mentionné plus haut
d’une intervention, les conséquences possibles (voir schéma p. 22 « Attribution des effets de
d’une intervention portant sur la prévention des l’intervention au cours du temps »), que les liens
RPS sont schématisées ci-dessous. entre l’intervention et des changements sont,
au fil du temps, de plus en plus ténus et indirects,
Les premiers effets d’une telle intervention
certains aspects étant très dépendants de la
pourront porter sur l’évolution des connaissances en
dynamique de la structure bénéficiaire pour
matière de prévention des RPS et sur l’amélioration
mettre en œuvre les préconisations découlant
du climat social. S’il est prévu d’évaluer en
de l’intervention.
cours d’intervention (Mesure 1 dans le schéma),
l’évaluateur s’intéressera donc à ces deux effets. Par ailleurs, les aspects comme la santé ou la
productivité, plus dépendants de contextes
En revanche, s’il envisage d’évaluer un an après
extérieurs à la structure bénéficiaire peuvent
la fin de l’intervention (Mesure 2), il pourra
évoluer positivement ou négativement sans qu’il y
observer, à condition que la structure ait poursuivi
ait de relation avec l’intervention (en cas d’actions
sa dynamique d’action, une transformation des
de promotion de la santé publique significatives
situations de travail et une réduction de certains
ou de crise financière par exemple).
facteurs de risque.
Une septième catégorie regroupe des effets non
S’il veut apprécier l’ensemble des transformations
prévus au moment de l’élaboration du projet,
induites par l’intervention, il attendra un certain
qu’ils soient positifs, neutres ou négatifs
délai (Mesure 3) et ajoutera des données sur
(ou indésirables). Ce point est détaillé dans
l’amélioration de la santé des opérateurs et de
l’étape 4.
la performance de la structure.

T=0 T=1 T=2 T=3


Début de Fin de + 1 an + 2 ans
l’intervention l’intervention

1. Évolution des connaissances RPS chez les acteurs de la sctructure bénéficiaire


2. Amélioration des relations entre acteurs et du climat social
3. Transformation des situations de travail
4. Réduction des facteurs de risque
5. Amélioration de la santé des opérateurs
6. Amélioration de la performance de la structure
7. Effets non attendus, positifs, neutres ou indésirables

Mesure 1 Mesure 2 Mesure 3


Effets précoces Effets Effets finaux
intermédiaires

Comment évaluer ? La démarche EVALIA < 27


2
DÉFINIR Les critères d’évaluation peuvent Pour finaliser cette étape, le comité
être de nature quantitative (100 % d’évaluation doit vérifier que les
LES CRITÈRES des managers formés ou 80 % moyens alloués à l’évaluation

D’ÉVALUATION d’opinions positives) ou qualitative


(inscription des RPS dans le DU).
sont proportionnés à la charge de
travail que représente la collecte
des données liées aux critères
Le comité d’évaluation détermine
Pour juger de la réalité de l’effet, on d’évaluation retenus. Car, comme
les critères qui permettront de
peut s’en tenir à un seul critère ou on l’a vu précédemment, certaines
décider si les effets attendus de
en associer plusieurs. données sont disponibles et
l’intervention se produisent.
Un critère d’évaluation doit directement accessibles dans
C
 ertains des effets être pertinent (décrire le plus la structure tandis que d’autres
attendus d’une intervention exactement et complétement nécessitent d’être créées
correspondent à des objectifs possible l’effet attendu) et réaliste spécialement pour l’évaluation.
formalisés. (facile à obtenir).
En reprenant l’exemple précédent :
Par exemple, si l’un des objectifs le critère « inscription des RPS
P
 our les effets attendus, relatifs
formels d’une intervention est dans le DU » demande que
aux objectifs non formalisés,
d’améliorer la prise en compte des l’entreprise mette à disposition
la définition des critères
RPS dans une entreprise, plusieurs du comité d’évaluation le
d’évaluation peut être menée
critères sont disponibles pour juger document relatif au DU et à ses
par le comité d’évaluation de la
de cette amélioration : mises à jour avant, pendant et
même façon que précédemment.
• l’inscription des RPS dans le DU ; après l’intervention ;
• et/ou la formation à la Ainsi, dans l’intervention envisagée
ci-dessus sur l’amélioration de la le critère de « formation de
sensibilisation des RPS de tous
prise en compte des RPS, le principal 100 % des managers aux RPS »
les managers ;
effet que le médecin du travail suppose que le service RH
• et/ou la formation à la
attend de l’intervention est la fournisse au comité d’évaluation
sensibilisation des RPS de 80 %
diminution des plaintes de mal-être les données qui permettront de
des managers de proximité ;
dans l’ensemble de l’entreprise. vérifier ce résultat ;
• et/ou la perception par 80 % des
salariés que les RPS sont mieux Le comité d’évaluation qui a retenu le critère de « satisfaction de
cet effet attendu en précise 80 % des salariés » nécessite la
pris en compte dans l’entreprise ;
l’objectif : réduire le pourcentage passation d’un questionnaire à
• etc.
d’opérateurs exprimant un mal- tous les salariés présents avant,
être lié au travail de 30 à 10 %. Il en pendant et après l’intervention.
définit un critère d’évaluation : le
comité considérera que l’objectif
est atteint si, dans l’année qui suit la
fin de l’intervention, le pourcentage
de demandes spontanées de
consultations auprès du médecin du
travail pour un mal-être au travail
n’excède pas 10 % de la totalité
des demandes spontanées de
consultations.

28 > Comment évaluer ? La démarche EVALIA


?
QUESTION > RÉPONSE

Objectifs de
l’intervention
et critères ?
d’évaluation QUESTION > RÉPONSE

sont-ils équivalents ? Est-il toujours


Il s’agit de deux notions
possible de définir
habituellement distinguées dans
une démarche évaluative. des critères
CE QU’IL
Un objectif fixe le but à atteindre
pour une action particulière. Il
d’évaluation ? FAUT
peut être qualitatif ou quantitatif. Oui, il est toujours possible de définir RETENIR
Le critère d’évaluation permet des critères d’évaluation adaptés
de déterminer a priori, à quelles aux effets attendus. A priori, il paraît
Lors de l’étape 2, il est important
conditions on considérera que le compliqué de définir des critères
but est atteint. pour les effets précoces (évolution que les acteurs du comité
des représentations des acteurs sur d’évaluation s’accordent sur les
Si on se fixait comme objectif de la prévention, par exemple). effets attendus de l’intervention
réduire le pourcentage de salariés Pourtant, l’expérimentation a montré
et les critères qui mettent en
exprimant un mal-être lié au qu’il existe une grande diversité de
travail de 30 à 10 %, les critères critères qui permettent d’attester
évidence ces effets.
d’évaluation possibles pour cet de changements, même minimes : Si les effets attendus de
objectif pourraient être basés sur participation systématique du DRH
une comparaison avant et après l’intervention font l’objet d’un
aux réunions du CHSCT, participation
l’intervention : des managers aux groupes de travail consensus et que les critères
des
 résultats à un questionnaire mis en place pendant l’intervention, sont perçus comme pertinents
spécifique du mal-être augmentation du report des presque- pour la structure, l’évaluation
renseigné par le salarié ; accidents par les salariés, etc.
apparaîtra légitime et permettra
du pourcentage des diagnostics d’enclencher ou de renforcer une
de mal-être au travail portés
démarche itérative vertueuse de
par le médecin du travail lors
des visites systématiques ; prévention : évaluation/action/
du nombre de demandes évaluation, etc.
spontanées de consultations
pour mal-être au travail.

Plus l’objectif est précis et


opérationnel, plus il se confond
avec le critère d’évaluation.
Dans le présent exemple, si
l’objectif retenu était de réduire
le pourcentage d’opérateurs
auto-déclarant un mal-être lié au
travail de 30 à 10 %, alors celui-ci
serait confondu avec le premier
critère basé sur les résultats d’un
questionnaire auto-administré
spécifique du mal-être.

Comment évaluer ? La démarche EVALIA < 29


É TA P E 3

Recueillir
les données

30
La collecte de données
spécifiques à l’évaluation est
une activité à part entière
d’un projet d’évaluation.

Le type de données est


déterminé au démarrage de
l’intervention (ou en tout début
d’intervention) et inscrit dans
le document d’évaluation
(étape 1) ; il est ensuite précisé
et affiné lors de l’étape 2.
Les périodes de collecte des
données sont prévues en tenant
compte de la chronologie
des effets auxquels elles
se rapportent.

Si l’on souhaite repérer


l’ensemble des effets d’une
intervention, mesurer leur
ampleur et vérifier leur stabilité
et, si les moyens le permettent,
il est possible de prévoir
plusieurs temps de mesures :
avant (pour disposer d’un
état initial), pendant (pour les
effets précoces), en fin (pour
les effets intermédiaires) et à
distance de l’intervention (pour
les effets finaux). Ce dispositif
doit, néanmoins, être adapté à
la nature des effets attendus et
peut être réduit, le cas échéant,
à deux temps de mesure : avant
et après, ou avant et pendant,
ou avant et à distance,
la mesure initiale étant, comme
vu plus haut, particulièrement
recommandée.

Comment évaluer ? La démarche EVALIA < 31


Comme on l’a vu précédemment, En fonction de la nature des
les données à collecter sont très données, différents acteurs seront
diverses en nature (quantitatives sollicités à cette étape. Ils devront
ou qualitatives), en origine (issues être informés dès la préparation du
de services SST, RH, etc.) et en projet d’évaluation des demandes
accessibilité : de contribution qui leur seront
adressées :
d
 onnées directement
accessibles : document unique, la contribution du médecin
PV de CHSCT, processus de du travail est, par exemple,
production, organigramme, primordiale pour tracer
baromètre social, données l’évolution de la santé des
sociales, rapport du service opérateurs ;
de santé au travail, etc. ;
u
 n échange avec un pair ou un
d
 onnées mobilisables devant collègue non impliqué dans
faire l’objet d’un traitement l’intervention sera utile pour
statistique simple : nombre de juger de la pertinence de la
consultations de la cellule d’aide méthode et de la qualité de
RPS, pourcentage de retours la mise en œuvre de celle-ci ;
pour défaut de qualité dans
l es opérateurs de la
un service, ratio de managers
structure bénéficiaire seront
formés à la sensibilisation des
incontournables pour apprécier
RPS, etc. ;
la perception des bénéfices d’une
d
 onnées à créer spécifiquement intervention ;
pour l’évaluation : questionnaire
le service RH sera en charge
à destination de l’ensemble du
de transmettre des données
personnel ou entretiens auprès
d’absentéisme, de participation
des acteurs de la structure
à des formations ciblées, de
bénéficiaire, etc. Le recueil de
demande de mutation, etc. ;
ces données doit être anticipé
très en amont du projet les managers pourront apporter
d’évaluation et soutenu par des des informations sur le climat
moyens particuliers (support social, la performance de
méthodologique et opérationnel, l’entreprise, etc. ;
etc.). Faute de moyens, il est
les responsables de prévention
vivement recommandé de ne pas permettront d’accéder à des
se « lancer » dans de tels recueils données sur la prévention
de données qui, sans rigueur, et la sinistralité ;
conduisent à des résultats
erronés. Les représentants du personnel
pourront témoigner du climat
social, des retours qualitatifs sur
la perception de l’intervention.

32 > Comment évaluer ? La démarche EVALIA


Un tableau synthétisant ces informations peut être renseigné, comme ci-dessous

DONNÉES À RECUEILLIR

ACTEURS
TYPE DE DONNÉES
INDICATEURS RETENUS (hors comité d’évaluation) PÉRIODES DU RECUEIL
À RECUEILLIR
À SOLLICITER

Exemple : Exemple : avant,


Directement
intégration des RPS dans Exemple : service HSE 12 mois après la fin de
accessibles
le DU l’intervention

Exemple : nombre
Exemple : avant, 6 mois
d’absences de courte
À traiter Exemple : service des RH après le début et 3 après
durée (1-5 jours) pour
la fin de l’intervention
raisons de santé

Exemple : pourcentage de
salariés satisfaits de leur Exemple : CHSCT, service RH, Exemple : avant et après
À créer
poste de travail (recueil service SST, intervenant l’intervention
par questionnaire)

Si l’intervenant utilise, dès le


démarrage de son intervention, ?
un carnet de bord, il veillera à y faire QUESTION > RÉPONSE
figurer (ou à défaut renseignera
dans son document d’évaluation Pour évaluer une intervention, les données
téléchargeable) les informations
quantitatives sont-elles plus adaptées que
nécessaires à la réalisation
de l’étape 4 : déroulement les données qualitatives ?
de l’intervention, difficultés Les données quantitatives ont la réputation de l’objectivité et sont
rencontrées, évènements-clés, présentées comme « les juges de paix » dans les situations difficiles à
évolutions, éléments facilitateurs évaluer. Pourtant, elles ne sont pas la panacée et doivent être discutées
pour la démarche d’intervention, et mises en perspectives au même titre que les données qualitatives.
changements survenus dans la L’évolution des plaintes TMS avant, pendant et après une intervention est
structure bénéficiaire au cours un bon exemple. Six mois après le début d’une intervention de prévention
de l’intervention. Ces données des TMS, le nombre de plaintes relatives à ces troubles est, comparé à
capitales pour la qualité de celui d’avant l’intervention, souvent augmenté.
l’évaluation seront analysées lors
de cette étape. En effet, l’attention portée à ces troubles peut avoir pour conséquence
de libérer la parole des opérateurs et leur permettre de faire état de leurs
douleurs.
Dix-huit mois plus tard, le nombre de plaintes peut, en revanche, avoir
diminué par rapport à la situation antérieure, les aménagements de postes
réalisés en début d’intervention, commençant alors à porter leurs fruits.

Comment évaluer ? La démarche EVALIA < 33


É TA P E 4

Après l’intervention :
analyser les résultats
et en tirer
les enseignements
Cette étape a pour but d’analyser les données
recueillies et de dresser un bilan de l’intervention
en tenant compte du contexte spécifique dans
lequel elle s’est déroulée et des événements
indépendants de l’intervention, positifs ou
négatifs, qui ont pu survenir au cours de son
déroulement.

34
Ainsi,l’étape 4 suppose
de réaliser successivement
6 activités :
1. analyser les écarts entre
les effets attendus et
les effets observés ;
2. identifier les effets non
attendus ;
3. apprécier l’impact du
contexte sur le déroulement
et les effets
de l’intervention ;
4. analyser l’impact
du déroulement de
l’intervention sur les effets
observés ;
5. dresser le bilan de
l’intervention ;
6. tirer les enseignements.

Les cinq premières activités


sont réalisées par le comité
d’évaluation.

La sixième activité est à la main


de l’intervenant qui, sur la base
du bilan de l’intervention, peut
en tirer des enseignements et
identifier des pratiques à éviter,
à maintenir ou à améliorer.

Comment évaluer ? La démarche EVALIA < 35


1
ANALYSER atteinte des objectifs : n
 on atteinte des objectifs :
les effets attendus sont les critères d’évaluation
LES ÉCARTS observés et les critères montrent que les effets

ENTRE LES EFFETS d’évaluation retenus


permettent de le démontrer ;
attendus n’ont pas été
observés.
ATTENDUS ET LES atteinte partielle des
Le comité d’évaluation est invité
EFFETS OBSERVÉS objectifs : les critères montrent
à compléter son analyse en
que les effets attendus sont
proposant, pour chacun des effets,
L’analyse des écarts entre les effets partiellement observés ;
des hypothèses explicatives des
attendus et les effets observés non mise en évidence de
réussites et des échecs.
permet de déterminer quatre l’atteinte des objectifs :
situations, codées par couleur dans les critères ne mettent pas
le tableau ci-dessous : encore en évidence les effets
attendus ;

EXEMPLES D’ANALYSES D’ÉCARTS ENTRE EFFETS ATTENDUS ET EFFETS OBSERVÉS

SI L’EFFET ATTENDU ON CONSIDÉRERA POUR LE MONTRER, ON EN CAS D’ÉCART, ON EN


EST QU’IL EST ATTEINT REGARDERA/MESURERA ANALYSERA LES RAISONS
SI …. ….

au moins la moitié le pourcentage de postes Objectif atteint avec 60 % de postes


des postes avec avec forte contraintes aménagés.
fortes contraintes aménagés (recueil de Le groupe de travail a réussi à
sont aménagés données : nombre de convaincre le DAF, intégré au COPIL
postes avec fortes dès le départ de l’intervention, de
contraintes et nombre de l’intérêt de cet investissement.
postes aménagés)
l’aménagement de
postes de travail tous les salariés sont le pourcentage de salariés Objectif non atteint : seulement
satisfaits de leur satisfaits de leur poste de 75 % de salariés sont satisfaits de
poste de travail travail (recueil de données leur poste de travail.
par questionnaire) On n’a pas assez pris en compte les
besoins d’un service dans lequel
les postes de travail ne présentent
pas de fortes contraintes mais
sont mal conçus, ce qui génère un
mécontentement de la part des
salariés.

l’adaptation des on observe une le nombre d’entrées et de Objectif à étudier en différé : faute
horaires de travail baisse des départs sorties dans l’année d’un temps d’observation suffisant,
pour une meilleure volontaires et de le nombre d’absences de les critères d’évaluation retenus
conciliation vie l’absentéisme courte durée (1-5 jours) qui varient en fonction des mois de
professionnelle/ pour raisons de santé l’année n’ont pas permis de repérer
vie privée des tendances.

l’amélioration si les RPS sont l’intégration ou non des Objectif partiellement atteint : les
des dispositifs de inscrits dans le RPS dans le DU RPS ont été inscrits dans le DU pour
prévention des RPS document unique une partie seulement de l’effectif
(2 unités de travail sur 5).

36 > Comment évaluer ? La démarche EVALIA


2
IDENTIFIER Les effets inattendus peuvent
se poursuivre tout au long du
LES EFFETS processus d’intervention et dans ses

NON ATTENDUS suites (voir encadré « Chronologie


des effets d’une intervention de
prévention RPS » page 27). Ils
Les interventions se déroulant
peuvent rester imperceptibles pour
dans des systèmes complexes
l’intervenant pendant toute la durée
et changeants, tous les effets
de l’intervention et ne se révéler
qu’elles produisent ne peuvent
qu’en fin ou à distance de celle-ci,
être anticipés. Même non prévus,
à l’occasion d’une réunion du comité
ces effets sont à prendre en
d’évaluation, lors, par exemple, d’un
considération.
balayage systématique des effets
Les effets non attendus peuvent de l’intervention à partir de la grille
être des conséquences directes ou EVALIA.
indirectes de l’intervention.

EXEMPLES D’EFFETS NON ATTENDUS D’UNE INTERVENTION


Ils peuvent être positifs en
améliorant la santé des opérateurs
et les conditions de travail ou, au Positifs Création d’un poste de responsable des relations
sociales sur décision du directeur général, ce qui
contraire, négatifs en dégradant
témoigne d’une meilleure prise en compte du dialogue
la situation. On parlera alors social dans la politique de l’entreprise.
d’effets indésirables. L’intervention
peut également avoir des effets
Neutres Suspension de toutes les procédures d’achat dans
conjoncturels qui ont une utilité
l’attente des préconisations de l’intervention (décision
pour la structure mais qui sont prise par le responsable financier en accord avec
a priori neutres vis-à-vis de la santé le directeur général suite à une présentation de
ou des conditions de travail, comme, l’intervention en CE).
par exemple, la réorganisation
d’une activité de maintenance qui Indésirables Fermeture d’un atelier dans lequel l’intervention avait
s’est révélée, lors de l’intervention, révélé une forte sinistralité ; l’activité a été sous-traitée,
comme peu opérationnelle (voir ce qui témoigne d’une non prise en compte de la
sécurité dans l’entreprise.
exemples ci-contre).

L’appréciation des conséquences


inattendues de l’intervention n’est
pas forcément consensuelle au sein
du comité d’évaluation. Elle est
relative à la position des acteurs,
ce qui apparaît comme positif
pour les uns pourra être considéré
comme neutre ou négatif pour les
autres. Ces divergences doivent
être confrontées au sein du comité
d’évaluation et, si elles persistent,
notées en tant que telles dans le
bilan final de l’intervention (voir plus
loin).

Comment évaluer ? La démarche EVALIA < 37


3
Les structures bénéficiaires Il s’agit donc de cerner comment
dans lesquelles les interventions ce contexte, ou son évolution,
prennent place, sont singulières a influencé le déroulement de
sur le plan de leur histoire, de leurs l’intervention et permis d’obtenir
caractéristiques structurelles, ou non des résultats.
leur organisation. Pour optimiser
APPRÉCIER leur efficacité, les interventions
À partir de la liste proposée dans la

L’IMPACT DU doivent s’adapter à ces contextes


grille EVALIA (voir en annexe liste
2 page 38), l’évaluateur relève les
spécifiques, les intervenants
CONTEXTE SUR gérant au mieux les contraintes qui
éléments de contexte ou de son
évolution qui ont pu avoir un impact,
LE DÉROULEMENT s’imposent à eux et les ressources
dont ils disposent.
positif ou négatif, tant sur
ET LES EFFETS DE le déroulement de l’intervention
Par ailleurs, les structures que sur ses effets.
L’INTERVENTION bénéficiaires sont fréquemment
Pour faciliter cette réflexion,
traversées par des changements
le tableau suivant peut être
majeurs ou mineurs, structurels
renseigné.
ou fonctionnels, qui remettent
en question le déroulement de
l’intervention ou les avancées
obtenues.

EXEMPLES D’IMPACTS DU CONTEXTE ET DE SON ÉVOLUTION SUR LE DÉROULEMENT D’UNE INTERVENTION ET SUR SES EFFETS

IMPACTS SUR LE DÉROULEMENT ANALYSE


PARTICULARITÉ
OU SUR LES EFFETS DE ET COMMENTAIRES
DU CONTEXTE
L’INTERVENTION

Population essentiellement Exemple d’impact sur les effets : La question des conflits
masculine (à 85 %), constituée de L’intervention n’a pas permis de intergénérationnels a mobilisé
salariés anciens (qui ont passé toute redéfinir la répartition des tâches et toute l’attention des acteurs de la
leur carrière dans l’entreprise ) et l’organisation de certains services, structure bénéficiaire qui ne se sont
de jeunes techniciens. alors que c’était l’un des effets pas impliqués dans l’élaboration
attendus. d’une démarche de prévention des
RPS.

IMPACTS SUR LE DÉROULEMENT ANALYSE


ÉVOLUTION
OU SUR LES EFFETS DE ET COMMENTAIRES
DU CONTEXTE
L’INTERVENTION

Changement de DRH en cours Exemple d’impact sur le Les relations étaient tendues entre
d’intervention. déroulement de l’intervention : l’ancien DRH et les représentants
L’arrivée d’un nouveau DRH a du personnel. L’arrivée d’un
amélioré le climat social, ce qui a nouveau DRH a facilité la mise en
permis une meilleure implication œuvre de l’intervention.
des acteurs.

38 > Comment évaluer ? La démarche EVALIA


4
Il s’agit d’identifier si des éléments Il représente un exercice
relatifs au déroulement de indispensable pour le comité
l’intervention (préparation et mise d’évaluation dont tous les acteurs
en œuvre) ont pu avoir un impact n’ont pas en mémoire l’ensemble
sur les effets observés (voir en des aléas et méandres de
annexe liste 3 de la grille EVALIA l’intervention.
ANALYSER page 39).
L’IMPACT DU Le retour sur le processus
Le tableau suivant peut être utilisé
pour cette activité.
DÉROULEMENT DE d’intervention depuis son début

L’INTERVENTION peut s’appuyer sur la documentation


propre à l’intervention (cahier
SUR LES EFFETS des charges, documents produits,

OBSERVÉS rapport intermédiaire, carnet de


bord).

EXEMPLES DE FREINS ET DE FACTEURS FACILITANTS

ÉLÉMENTS RELATIFS À IMPACTS SUR LES EFFETS DE ANALYSE ET COMMENTAIRES


LA PREPARATION OU AU L’INTERVENTION
DÉROULEMENT

FREINS, OBSTACLES En cours d’intervention, les « Nous pensions que la rencontre


Pour préparer l’intervention, les intervenants ont observé que des représentants des salariés
intervenants n’ont rencontré que l’une des organisations syndicales au CHSCT serait suffisante pour
le directeur du site, le directeur n’était pas représentée au CHSCT. recueillir le point de vue des
des ressources humaines et les Celle-ci a donc mis du temps avant salariés sur les évolutions en cours.
représentants des salariés au de comprendre la démarche et Nous aurions dû rencontrer des
CHSCT la soutenir. L’intervention a pris représentants de chacune des OS
beaucoup de retard et l’ensemble représentatives avant le démarrage
des actions prévues n’ont pas pu de notre intervention. »
être mises en œuvre.

FACTEURS FACILITANTS La durée relativement courte « Alors que l’on pensait que la
L’intervention s’est déroulée sur de l’intervention a favorisé concentration des réunions dans
six mois car le commanditaire était l’implication des acteurs et a permis un laps de temps limité serait
pressé. de conserver une dynamique tout défavorable, elle s’est révélée être
Le rythme des réunions a été au long du processus. un atout qui a permis de dépasser
soutenu (plusieurs réunions du les objectifs. »
groupe de travail paritaire par
mois). 

Comment évaluer ? La démarche EVALIA < 39


5
DRESSER
Les résultats observés doivent être
analysés au regard des éléments
de contexte et du déroulement
effectif de l’intervention, analysés
précédemment.
Les divergences d’appréciation,
qui persisteraient après discussion
au sein du comité, peuvent figurer
dans la colonne « analyse et
commentaires » du tableau.
LE BILAN DE Pour réaliser ce bilan, il est
L’INTERVENTION proposé au comité d’évaluation de
renseigner le tableau suivant.

BILAN GÉNÉRAL DE L’INTERVENTION

ÉLÉMENTS DU CONTEXTE
EFFETS OU DU DEROULEMENT DE ANALYSE ET
DE L’INTERVENTION L’INTERVENTION AYANT COMMENTAIRES
UN IMPACT

EFFETS Réalisés ou
ATTENDUS partiellement
réalisés

Non réalisés

Pas encore
mesurables

EFFETS NON Positifs


ATTENDUS
Indésirables

Neutres

6
Pour être complète, l’évaluation Pour être la plus complète possible,
doit déboucher sur une réflexion l’analyse s’appliquera à toutes les
de ce qu’il convient, pour la étapes et activités des processus
pratique d’intervention, d’éviter, de de l’intervention et de l’évaluation,
conserver ou d’améliorer dans des comme le montre le tableau en
TIRER LES contextes similaires. page suivante que l’intervenant est

ENSEIGNEMENTS La réflexion sur les enseignements


invité à renseigner.

à retirer de l’intervention concerne


spécifiquement l’intervenant.
Cependant, le comité d’évaluation
peut la mener parallèlement, si
la structure bénéficiaire souhaite
améliorer ses propres pratiques de
prévention.

40 > Comment évaluer ? La démarche EVALIA


RÉSUMÉ DES ENSEIGNEMENTS À RETIRER D’UNE INTERVENTION

PRATIQUES À
CONSERVER
ENSEIGNEMENTS COMMENTAIRES
AMELIORER
EVITER

SUR LES OBJECTIFS DE L’INTERVENTION


Les objectifs initiaux ou définis en cours d’intervention étaient-ils pertinents,
réalistes, adaptés au problème posé ? Leur évolution éventuelle a-t-elle été
pertinente ? …

SUR LA PRÉPARATION/CONSTRUCTION DE L’INTERVENTION


Les modalités de construction de l’intervention étaient-elles pertinentes/
adaptées ?
Les outils et méthodes sélectionnés étaient-ils pertinents/adaptés ?
La prise d’information auprès des acteurs sur les évènements passés signifi-
catifs, sur le fonctionnement de la structure, les relations entre acteurs, etc.
était-elle suffisante ? Tous les acteurs-clés ont-ils été contactés ? Les modalités
de pilotage de l’intervention étaient-elles adaptées ? …

SUR LA CONDUITE ET LE DÉPLOIEMENT DE L’INTERVENTION


Le pilotage a-t-il été bien mené ? Le calendrier et le rythme des allers-retours
avec la structure étaient-ils adaptés ? Le périmètre de l’intervention était-il
pertinent/adapté ? Les relations avec la structure ont-elles été de qualité ?
Les acteurs en charge de l’intervention se sont-ils impliqués comme prévu ?
Les aléas ont-ils été anticipé ? Ont-ils bien été gérés ?
Les ajustements mis en œuvre en cours d’intervention
étaient-ils adéquats ?
Au regard des résultats observés, les moyens mis en œuvre étaient-ils
pertinents/adaptés ? …

SUR L’ÉVALUATION
La décision de l’évaluation et de sa mise en œuvre a-t-elle été
suffisamment précoce par rapport à l’intervention ?
Le dispositif d’évaluation était-il adapté ? Les objectifs de l’évaluation étaient-ils
pertinents et réalistes ? Le comité d’évaluation était-il bien constitué ?
A-t-il bien fonctionné ? Les moyens alloués à l’évaluation étaient-ils adaptés ?
Suffisants ? Les précautions éthiques ont-elles été respectées ?
Les effets attendus retenus étaient-ils pertinents et adaptés à l’intervention ?
Tous les effets principaux de l’intervention ont-ils été
pris en compte ?
Les critères d’évaluation étaient-ils pertinents pour décrire les effets
retenus ? Ont-ils été faciles à obtenir ?
Les recueils des données ont-ils été planifiés en tenant compte de la
chronologie d’apparition des différents effets ? Ont-ils été correctement
réalisés ? Les acteurs concernés se sont-ils impliqués ?
Le travail d’analyse des données (étape 4) s’est-il bien déroulé ? …

AUTRES ENSEIGNEMENTS
Qu’est-ce que l’évaluation m’a apporté ? Qu’a-t-elle apporté aux acteurs de la structure bénéficiaire ?
Aux pairs éventuellement impliqués ? A-t-elle eu des conséquences sur ma relation avec la structure bénéficiaire ? …

Comment évaluer ? La démarche EVALIA < 41


ANNEXE

Grille
d’évaluation
EVALIA

42
Vous trouverez dans cette
annexe trois listes qui
contiennent les éléments à
prendre en compte dans les
étapes 2 et 4 de la démarche
EVALIA. Ces listes donnent des
repères aux évaluateurs mais ne
sont pas exhaustives.

1
Liste des effets possibles
d’une intervention pour
« Déterminer les effets
attendus de l’intervention »
dans l’étape 2.1. (page 25)

2
Éléments de contexte pouvant
avoir un impact sur les effets
et la conduite de l’intervention
pour « Apprécier l’impact du
contexte sur le déroulement
et les effets de l’intervention »
dans l’étape 4.3. (page 38)

3
Éléments concernant la
préparation et la conduite
de l’intervention pouvant
avoir un impact sur les effets
pour « Analyser l’impact du
déroulement sur les effets
observés » dans l’étape 4.4.
(page 39)

ANNEXE < 43
1
LISTE DES EFFETS POSSIBLES D’UNE INTERVENTION
DE PRÉVENTION DES RPS ET TMS (Étape 2.1. : déterminer
les effets attendus de l’intervention, page 25)

Les effets possibles d’une intervention de prévention des RPS et TMS sont regroupés en 5 thèmes :
1.1. Évolution des acteurs et systèmes d’acteurs ;
1.2 Transformation des organisations et situations de travail ;
1.3 Réduction des facteurs de risque et augmentation des ressources ;
1.4 Évolution de la santé des opérateurs ;
1.5 Évolution de la performance de la structure bénéficiaire.

Pour chaque thème, les effets sont répartis en rubriques avec des exemples d’effets attendus.

1.1. ÉVOLUTION DES ACTEURS


Exemples d’effets attendus
ET DES SYSTÈMES D’ACTEURS

Évolution dans la façon de M


 ise en place de réunions hebdomadaires intra-services, dédiées à la
traiter ou de résoudre les résolution des problèmes du quotidien
problèmes rencontrés dans le C
 réation de réunions interservices pour la gestion des dossiers difficiles
travail ou complexes

I nformation de l’ensemble des acteurs sur l’activité réelle et les problèmes


spécifiques d’un service transverse (achat, maintenance, etc.) ou d’une
Amélioration de la coopération catégorie d’opérateurs (brancardiers dans un hôpital)
entre opérateurs D
 éveloppement des réunions inter-équipes
D
 éveloppement des coresponsabilités (a minima en binômes) lors de la
mise en place de nouveaux projets

Évolution des modes de


C
 réation d’une lettre d’information interne
communication et d’échanges
d’information M
 ise en visibilité des résultats des enquêtes de satisfaction des opérateurs

P
 articipation des représentants salariés du CHSCT aux commissions d’achat
Évolution des relations sociales
dans la structure P
 rise en charge par le CE d’une mission « amélioration de la qualité de vie
au travail »

M
 eilleure connaissance par les managers des facteurs collectifs de RPS ou
de TMS
Acquisition de connaissances et M
 eilleur report par les membres du CHSCT des situations de RPS ou de
compétences en prévention TMS
M
 eilleure évaluation de la charge physique des postes de travail par le
département HSE

44 > ANNEXE
A
 ctualisation régulière de l’évaluation des risques professionnels et
Amélioration de la gestion définition annuelle d’un plan de prévention
et de l’organisation de la
M
 ise à jour systématique du document unique
prévention
P
 articipation active des opérateurs à l’analyse des accidents de travail

Intégration de la prévention et P
 rise en compte de la satisfaction au travail des opérateurs dans les
de l’amélioration des conditions indicateurs de fonctionnement de la structure
de travail dans la stratégie de P
 résentation systématique des bilans annuels de santé au travail aux
la structure instances stratégiques

N
 ouvelle demande sur une autre thématique ou une autre catégorie de
Evolution de la demande de la
problèmes
structure bénéficiaire vis-à-vis
de l’intervention É
 largissement du champ de l’intervention à d’autres services ou à d’autres
sites

1.2. TRANSFORMATION
DES ORGANISATIONS ET Exemples d’effets attendus
SITUATIONS DE TRAVAIL

SUR LE PLAN TECHNIQUE

Aménagement des postes de A


 ménagement des postes de travail à risques de TMS ou inadaptés à
travail l’accueil d’une clientèle

Amélioration de
I nstallation de moyens de chauffage dans les ateliers
l’environnement et de
l’ambiance physique de travail I solation phonique des bureaux recevant de la clientèle

Mise en place d’aides I nstallation de lève-malades, de tapis roulant pour une caisse de
techniques supermarché, de bras articulé pour charger un camion, etc.

M ise aux normes du matériel vétuste


Amélioration du matériel et de I nstallation de mobiliers de bureau ergonomiques
l’outillage R
 enouvellement du parc automobile
A
 chat d’outils neufs

R egroupement des commandes des clients selon le gabarit des produits à


fournir pour diminuer le temps de réglage des machines
Évolution des processus de
I nstallation, au sein d’un service d’accueil, d’un guichet d’orientation des
travail (production, services,
clients
etc.)
C
 ontrôle qualité au cours du processus de production en plus de celui sur
le produit fini pour corriger précocement les défauts

SUR LE PLAN DE L’ORGANISATION DU TRAVAIL

A
 lternance des opérateurs entre des postes « front » et back » office
Évolution dans la répartition et A
 mélioration de la polyvalence sur différents postes d’un atelier
l’attribution des tâches  M
 eilleure répartition des patients « difficiles » entre plusieurs aides à
domicile

R
 é-internalisation de certaines tâches sous-traitées
E
 nrichissement des postes à faible contenu
Évolution du contenu du travail D
 iversification des tâches d’un poste de contrôle : ajouter à la vérification
réglementaire une activité de conseil auprès des opérateurs concernés par
le contrôle

ANNEXE < 45
1.2. TRANSFORMATION
DES ORGANISATIONS ET Exemples d’effets attendus
SITUATIONS DE TRAVAIL

SUR LE PLAN DE L’ORGANISATION DU TRAVAIL

A
 daptation des plages horaires de travail à celles des établissements
scolaires de la région
E
 xtension de la plage horaire de prise de poste (7h30- 9h30 au lieu de 8h-9h)
Évolution des horaires
L
 imitation du travail de nuit
L
 imitation par opérateur du temps de travail en ambiance extrême
(chambre froide ou poste exposé aux hautes températures)

A nnualisation du temps de travail


I mplantation d’un système de badgeage pour prendre en compte les
Évolution du temps de travail
heures supplémentaires
L imitation des postes à temps partiels (< 20h/semaine)

A
 mélioration de l’autonomie des opérateurs vis-à-vis de l’organisation de
leur activité (ordre de traitement des dossiers, organisation d’une tournée
Évolution des systèmes de
pour les aides à domicile)
management, des relations
managériales et des modes de A
 mélioration des marges de manœuvre des managers de proximité pour
prescription fixer les délais de production, les ressources, les besoins en formation.
Augmentation des possibilités pour les managers de reconnaissance
matérielle et immatérielle du travail fourni par les opérateurs

F
 acilitation de la consultation directe des opérateurs par les instances
décisionnelles
Évolution des systèmes de P
 articipation des opérateurs aux commissions fonctionnelles (achat,
prise de décision investissement, etc.)
P
 articipation des opérateurs aux réunions avec les clients pour la
préparation des marchés

Conception d’indicateurs de É
 laboration de nouveaux indicateurs de productivité : satisfaction client,
productivité et de qualité taux de retour à 1 an, taux de renouvellement des prestations, temps de
adaptés à la réalité du travail travail réel passé pour produire une pièce

SUR LE PLAN DU DÉVELOPPEMENT DES COMPÉTENCES

P
 lan de formation favorisant la polyvalence
A
 mélioration de l’accès aux formations pour les opérateurs habituellement
peu intéressés
Développement de la F
 acilitation des mobilités internes à l’aide de formations promotionnelles
formation professionnelle O
 ffre de formations aux opérateurs ayant des restrictions d’aptitudes en
vue de leur reclassement
M
 ise en place d’un tutorat entre les plus anciens et les nouveaux opérateurs
P
 roposition de sessions d’e-learning

C
 réation de manifestations internes autour de thématiques transverses à
Développement de la la structure bénéficiaire
participation à des journées
R
 epérage des manifestations extérieures utiles pour la structure et
d’études, séminaires,
information aux destinataires
colloques, etc.
D
 éveloppement d’un plan de participation à ces manifestations

46 > ANNEXE
1.3. RÉDUCTION DES
FACTEURS DE RISQUE
Exemples d’effets attendus
ET AUGMENTATION DES
RESSOURCES 

D
 iminution de la standardisation des échanges avec le client
(téléopérateurs), des actes avec le patient (aide à domicile)
S
 ouplesse des prescriptions : possibilité, pour les téléopérateurs, de
prolonger la durée des appels pour résoudre les problèmes complexes des
Développement de l’autonomie clients
et des marges de manœuvre E
 ncouragement des opérateurs à faire remonter les difficultés quant
au respect des prescriptions, des problèmes rencontrés et des solutions
envisagées
A
 uto-détermination des pauses de travail (dans le respect de leur durée
réglementaire)

D
 éveloppement des espaces de convivialité (salles de café, de restauration)
Amélioration des relations
interpersonnelles dans le A
 mélioration des échanges sur le travail au sein des équipes (réunions
travail hebdomadaires, réunions « solutions-problèmes », réunions inter-équipes
si le travail l’exige, etc.)

R
 epérage des postes difficiles sur le plan des exigences émotionnelles
M
 ise en place d’un système de rotation des opérateurs pour ces postes
Prise en compte des exigences
difficiles sur le plan émotionnel
émotionnelles de certains
postes M
 ise en place d’ateliers d’échanges de pratique
D
 ébriefing systématique après des situations difficiles (violences d’un
client, soins à des patients victimes d’attentat, etc.)

R
 epérage des situations qui mettent les opérateurs en conflit avec leurs
valeurs vis-à-vis du travail ou avec leur éthique personnelle
E
 laboration de modes opératoires qui permettent aux opérateurs
Prise en compte des conflits de
d’afficher les valeurs de la structure sans mettre en avant les leurs
valeurs potentiels
P
 romotion de procédures éthiquement responsables (étalement des
remboursements pour un client en défaut de paiement, temps de réflexion
adapté avant signature d’un contrat)

M
 ise en place d’un outil de suivi de la charge de travail adapté à sa variabilité
(dispositif mensuel, par exemple)
Prise en compte de la charge de
A
 daptation des temps de pauses et des journées de récupération à la
travail
charge effective de travail
A
 daptation quotidienne de l’effectif à la charge de travail

R
 epérage des postes à risque de contraintes posturales
Réduction des contraintes L
 imitation des contraintes : réglage des postes de travail, limitation de la
posturales station debout, utilisation d’aides techniques, etc.
R
 otation des opérateurs entre les postes les plus et les moins exposés

R
 epérage des postes à risque de surcharge physique
Réduction du port de charge L
 imitation du port de charges : amélioration du matériel (installation de
roulettes neuves sur les racks, etc.), recours à des aides techniques.
Rotation des opérateurs entre les postes les plus et les moins exposés

A
 utogestion par l’équipe des opérateurs de la cadence des dispositifs en
ligne (tapis roulant, chaîne)
Réduction des gestes répétitifs
V
 ariations des types de pièces à produire lors d’un cycle de production
A
 utomatisation de certaines opérations

Mise en place de formations en D


 éveloppement d’une offre de formation «  prévention » : Prévention des
santé et sécurité en particulier Risques liée à l’Activité Physique (PRAP), Connaissance des facteurs des
vis-à-vis des TMS et RPS RPS ou des TMS, Gestion des clients agressifs, etc.

ANNEXE < 47
1.3. RÉDUCTION DES
FACTEURS DE RISQUE
Exemples d’effets attendus
ET AUGMENTATION DES
RESSOURCES 

S
 uivi d’indicateurs pour les postes difficiles (charge pondérale transportée
ou nombre de dossiers « difficiles » traités par jour, etc.)
S
 uivi régulier d’un indicateur global de satisfaction au travail par service
Mise en place de dispositifs de avec un système d’alerte en cas de dégradation
suivi et d’alerte É
 laboration de procédures de signalement de personnes en souffrance,
d’alerte en cas de harcèlement, de violence interne, etc.
M
 ise en place de dispositifs spécifiques de prise en charge : ligne
téléphonique dédiée, permanence d’un psychologue, etc.

1.4 ÉVOLUTION DE LA SANTÉ


Exemples d’effets attendus
DES OPÉRATEURS 

D
 iminution de la sinistralité : accidents du travail, maladies professionnelles
déclarées ou reconnues (TMS en particulier), maladies à caractère
professionnel signalées, maladies reconnues en CRRMP (Comité Régional
de Reconnaissance des Maladies Professionnelles)
A
 bsence d’évènements graves tels que suicides ou tentatives de suicides
sur le lieu du travail ou attribués par l’entourage au travail, de harcèlement
moral ou sexuel avéré ou instruit, de cas de stress post-traumatique, de
violences physiques d’origine interne (entre opérateurs de la structure) ou
externe pour les opérateurs en contact avec du public
P
 our les opérateurs en contact avec du public, nette diminution voire
disparition des plaintes pour agressions verbales ou dégradation de
matériel de la part du public
A
 bsence ou nette diminution des cas de violence verbale d’origine interne
(conflits, menaces, insultes, etc.)
A
 bsence ou nette diminution des symptômes aigus de souffrance : crises
de larmes ou de nerfs sur le lieu du travail ou rapportées au travail
Santé objectivée par le SST A
 bsence ou nette diminution du nombre de diagnostics de stress chronique
en lien avec l’activité professionnelle
G
 uérison ou absence d’aggravation des maladies pouvant avoir
une composante professionnelle (via un stress chronique d’origine
professionnelle) : hypertension, coronaropathies, troubles métaboliques
(diabète, hypercholestérolémie, etc.), dépression, troubles anxieux
ou épuisement professionnel, grossesses pathologiques, infections à
répétition, etc.
D
 iminution du nombre de nouveaux diagnostics de TMS en relation avec
l’activité professionnelle quelle qu’en soit la localisation : rachis (cervical,
dorsal ou lombaire), membres supérieurs et inférieurs
G
 uérison ou absence d’aggravation des TMS déjà présents au début de
l’intervention
A
 mélioration des indicateurs relatifs à l’activité du SST : diminution des
visites à l’infirmerie, des visites médicales spontanées ou de reprise ou
de pré-reprise, des inaptitudes totales ou partielles, des orientations vers
les médecins traitants ou spécialisés, des demandes d’aménagement de
postes, de la durée moyenne des consultations

D
 iminution de la déclaration des symptômes en lien avec un stress
chronique : troubles du sommeil, symptômes digestifs, émotionnels,
recours à des médicaments psychoactifs (sédatifs, somnifères,
anxiolytiques, etc.), conduites addictives, maux de tête, etc. 
Santé perçue (évaluée à travers
D
 iminution de la déclaration de troubles anxio-dépressifs, de fatigue ou de
des questionnaires auto-
symptômes évoquant un épuisement professionnel
renseignés)
D
 iminution de la déclaration de symptômes (douleurs, raideurs, contractures,
etc.) liés à des TMS du rachis, des membres supérieurs ou inférieurs
A
 mélioration du score de santé perçue à travers un questionnaire de santé
globale

48 > ANNEXE
1.5 ÉVOLUTION DE
LA PERFORMANCE DE Exemples d’effets attendus
LA STRUCTURE BÉNÉFICIAIRE

R
 éduction des coûts liés à l’absentéisme ou au turn-over
R
 éduction des coûts liés à la sinistralité
Performance économique
R
 éduction des coûts liés au présentéisme
Augmentation de la productivité, des marges nettes et brutes, des bénéfices

D
 iminution des taux de rebut, de défaut, de non-qualité, de retours
A
 mélioration de la rapidité de livraison
Qualité de la production et/ou D
 iminution du temps de prise en charge d’un nouveau patient (pour un
du service rendu service d’aide à domicile)
Amélioration des indicateurs de satisfaction des clients, d’usagers, de patients
à domicile ou de leur famille

R
 éduction du nombre de pannes machines
R
 éduction du délai de réparation des machines
Amélioration des processus de
production M
 eilleure résolution des problèmes et gestion des aléas
M
 eilleure implication des opérateurs dans l’élaboration de nouveaux
processus de production

ANNEXE < 49
2
ÉLÉMENTS DE CONTEXTE POUVANT AVOIR UN IMPACT
SUR LES EFFETS ET LA CONDUITE DE L’INTERVENTION
(Étape 4.3 : Apprécier l’impact du contexte sur le déroulement
et les effets de l’intervention, page 38)

2.1. PARTICULARITÉS
Exemples
DU CONTEXTE

M
 étallurgie : production de mandrins et pièces métalliques pour l’industrie
Secteur d’activité
nucléaire et militaire

S
 ite visé par l’intervention : 450 dans un groupe de 7 établissements et
Effectif
3200 salariés

Caractéristiques de la
P
 opulation masculine à 85 %
population
âge, genre, ancienneté, niveau de P
 opulation d’ouvriers anciens ou très anciens ayant passé toute leur
qualification, etc. carrière dans l’entreprise et de jeunes techniciens

 ite de production historique : fonderie créée au début du XIXème siècle et


S
très associée à l’image de la ville
Implantation dans le territoire
L
 e bassin industriel est en crise depuis plusieurs années
et contexte géographique
D
 eux sous-traitants sont implantés dans la même zone industrielle à
proximité du site de production

E
 ntreprise indépendante pendant 150 ans, rachetée par un concurrent
Historique et perspectives puis revendue il y a 2 ans à un groupe international
d’évolution de la structure
E
 n 30 ans, le nombre de salariés est passé de 4 000 salariés à 350
bénéficiaire
U
 n plan de sauvegarde de l’emploi et de restructuration est en cours

L
 e secteur de la métallurgie est en crise en France mais depuis 1 an,
l’entreprise a conquis de nouveaux marchés internationaux
Contexte économique
L
 e chiffre d’affaires a augmenté de 10 % et le site est bénéficiaire depuis
l’année dernière

D
 epuis l’annonce de la restructuration, le dialogue social s’est tendu. Les
organisation syndicales reconnaissent la nécessité d’un plan de sauvegarde
Qualité du dialogue social de l’emploi mais sont très attentives au respect des engagements de la
direction en particulier sur l’absence de départs forcés. Les élections des
représentants du personnel sont prévues pendant l’intervention

50 > ANNEXE
L
 a prévention des accidents du travail est une priorité affichée du groupe.
Les dispositifs de prévention (plan de prévention, document unique) sont
à jour et semblent bien utilisés. Le service hygiène et sécurité prend part
à toutes les décisions importantes du groupe et les salariés reconnaissent
Organisation de la prévention
que des efforts ont été faits en matière de santé et de sécurité. Néanmoins,
les récentes réductions d’effectifs ont conduit certains opérateurs à
prendre des risques qu’ils n’auraient pas pris auparavant (travail isolé et de
nuit). Une démarche est en cours pour inscrire les RPS dans le DU

Raisons de la demande
d’intervention et du besoin
L
 ’inspection du travail a incité l’entreprise à évaluer les effets de la
d’intervention
restructuration, en particulier vis-à-vis des RPS
Contexte réglementaire,
événements dans la structure C
 onsidérant ne pas avoir les compétences et ressources internes pour
bénéficiaire, changement réaliser cette évaluation, celle-ci a fait appel à un intervenant
d’acteurs, etc.

2.2. EVOLUTION DU CONTEXTE Exemples

L
 e DRH a, pendant l’intervention, changé : les relations sociales se sont
Changements, événements nettement apaisées et l’intervention a dépassé ses objectifs initiaux
qui se sont produits au cours L
 ’entreprise a remporté, pendant l’intervention, un nouveau marché
de l’intervention et qui ont et le surcroît d’activité a empêché les groupes de travail en lien avec
pu avoir un impact (avéré ou l’intervention de se réunir régulièrement
supposé) sur le déroulement de L
 ’une des entreprises sous-traitantes de l’entreprise et installée sur le même
l’intervention ou sur ses effets site, a, pendant l’intervention, fait faillite. Cet événement a beaucoup ému
les salariés et aggravé leur inquiétude vis-à-vis de leur propre emploi

ANNEXE < 51
3
ELÉMENTS CONCERNANT LA PRÉPARATION
ET LA CONDUITE DE L’INTERVENTION POUVANT
AVOIR UN IMPACT SUR SES EFFETS
(Étape 4.4 : Analyser l’impact du déroulement
sur les effets observés, page 39)

3.1 ÉLÉMENTS RELATIFS


À LA PRÉPARATION DE Exemples
L’INTERVENTION

N
 ombre d’heures ou de jours consacrés à la l’élaboration de la démarche
Durée et délai d’intervention
D
 élai entre le premier contact et la proposition d’intervention 

Acteurs de la structure N
 ombre de personnels, d’instances, de groupes de personnels rencontrés
bénéficiaire impliqués F
 onction et représentativité des personnels rencontrés
Quels acteurs ont été rencontrés, P
 ersonnels extérieurs à la structure rencontrés et interviewés (médecin du
consultés ? travail, préventeur), etc.

Documents consultés N
 ombre et nature des documents consultés : PV CHSCT et CE, accords
Quels documents, sources de d’entreprise, rapport annuel du médecin du travail, expertise CHSCT, bilan
données ont été consultés ? social, fichier du personnel, etc.

Méthode retenue É
 léments qui ont déterminé le choix de la méthode : habitudes de
Comment et pourquoi les cadres l’intervenant, résultats d’une intervention similaire sur le plan de la
théoriques de référence et/ou demande (restructuration) et du secteur
les outils et méthodes ont-ils été D
 émarche recommandée par un cabinet ou une institution
choisis ? E
 xpérimentation d’un nouvel outil

Validation de la méthode
retenue C
 onsultation des parties prenantes de la structure bénéficiaire
Comment les modalités de V
 alidation par ses instances (CE, CHSCT)
l’intervention ont-elles été C
 onsultation de pairs 
validées ?

Écart entre la demande initiale E


 volution du périmètre (extension de l’intervention à d’autres sites)
et la proposition d’intervention
E
 volution de la thématique (prise en compte des risques chimiques en plus
Quel a été l’écart entre la
des RPS)
demande initiale émanant de
la structure bénéficiaire et la E
 volution des objectifs de l’intervention (demande initiale sur l’évaluation
proposition d’intervention ? des RPS s’est muée en démarche QVT)

52 > ANNEXE
3.2. ÉLÉMENTS LIÉS
À LA CONDUITE DE Exemples
L’INTERVENTION

D
 élai entre la demande de la structure bénéficiaire, le début et la fin de l’intervention
Durée et rythme 
R
 ythme de l’intervention : fréquence et régularité des réunions, des restitutions

N
 ombre d’intervenants mobilisés
N
 ombre de journées-hommes
Moyens déployés
C
 onception, passation et traitement des questionnaires : nombre et qualité
des personnels impliqués

E
 rgonomie
P
 sychodynamique du travail
Cadres théoriques utilisés
E
 pidémiologie
C
 adre multidisciplinaire

D
 émarche : comité de pilotage, groupes de travail paritaires, passation
d’un questionnaire à l’ensemble du personnel, analyse ergonomique de 5
Démarche retenue, méthodes postes de travail, définition du plan d’action avec le CHSCT, restitution des
mises en œuvre et outils résultats intermédiaires au CE
utilisés
M
 éthode : modèle C2R de l’Anact
O
 utils : questionnaire Karasek, auto-confrontation croisée

Collaboration R
 épartition des tâches entre les différents intervenants
Quelles ont été les modalités de
P
 ilotage global de l’intervention par un consultant senior
travail de l’équipe d’intervenants ?
Des tiers externes à la structure S
 ollicitations du médecin du travail, d’un expert sur les TMS, d’un consultant
bénéficiaire ont-ils été sollicités ? indépendant pour gérer la partie « questionnaire » 

Périmètre de l’intervention N
 ombre d’opérateurs directement concernés par l’intervention
Quel a été le périmètre de N
 ombre d’opérateurs sollicités dans le cadre de l’intervention
l’intervention ? N
 ombre de sites, services, métiers, collectifs concernés 

Information et communication D
 iffusion d’un document papier et/ou numérique
Quelles ont été les modalités
D
 iffusion intranet
d’information et de
communication sur l’intervention ? R
 éunions d’informations en début et fin d’intervention

Relation avec les acteurs de la R


 elations avec les dirigeants et RH : réunions mensuelles sur l’état d’avancement
structure bénéficiaire
R
 elations avec les opérateurs : au début et à la fin de l’intervention
Quels ont été les modes de relations
et d’échanges avec les différents R
 elations avec les représentants du personnel : participation à toutes les
acteurs de la structure bénéficiaire ? réunions CHSCT

Modalités de pilotage de
M
 ise en place d’un comité de pilotage, représentatif des acteurs concernés
l’intervention
par l’intervention ou pilotage par le CHSCT
Quelles ont été les modalités de
pilotage de l’intervention ? F
 réquence mensuelle des réunions du comité de pilotage

Implication des opérateurs P


 assation d’un questionnaire à l’ensemble des opérateurs
Les opérateurs ont-ils été
M
 ise en place de groupes de travail incluant des opérateurs de chaque
impliqués dans l’intervention
unité pour définir des pistes d’action
et sollicités pour proposer des
solutions ? Si oui, comment ? S
 uivi de la mise en place des actions par un opérateur référent

Évolution des modalités


d’intervention C
 hangement de la composition du comité de pilotage
Les modalités d’intervention E
 largissement du périmètre de l’intervention
se sont-elles adaptées aux C
 hoix d’un nouveau questionnaire
évolutions du contexte et des A
 ppui d’un nouvel intervenant
besoins de la structure ? 

ANNEXE < 53
GLOSSAIRE
Sigles et abréviations

ANACT Agence Nationale INRS Institut National de QVT Qualité de Vie au Travail
pour l’Amélioration des Recherche et de Sécurité
Conditions de Travail RH Ressources Humaines
IPRP Intervenant en
CARSAT Caisse d’Assurance Prévention des Risques RPS Risques PsychoSociaux
Retraite et de la Santé au Professionnels
Travail SIST Service Interentreprises
IRP Instances de Santé au Travail
CE Comité d’Etablissement Représentatives du
Personnel SST Services de Santé au
CHSCT Comité d’Hygiène de Travail
Sécurité et des Conditions de MSA Mutualité Sociale
Travail Agricole TMS Troubles Musculo-
Squelettiques
COPIL Comité de Pilotage OPPBTP Organisme
Professionnel de Prévention
DAF Direction ou Directeur du Bâtiment et des Travaux
Administratif et Financier Publics

DRH Direction ou Directeur PME/PMI Petites et


des Ressources Humaines Moyennes Entreprises /
Petites et Moyennes
DU Document Unique Industries

HSE Hygiène Sécurité PV Procès Verbal


Environnement

54 > Glossaire
RÉFÉRENCES

Pour aller plus loin


AMICK B.C., KENNEDY C.A., DANIELLOU F. - La place de l’évaluation LANDRY A. - L’évaluation de
DENNERLEIN J.T. et al. - Systematic dans la pratique de l’ergonome. l’intervention ergonomique : de la
review of the role of occupational Communication présentée aux Journées recherche évaluative à la proposition
health and safety interventions in sur la pratique de l’ergonomie La place d’outils pour la pratique. Thèse de
the prevention of upper extremity de l’évaluation dans la pratique de Doctorat en Ergonomie de l’Université
musculoskeletal symptoms, signs, l’ergonomie. 2006, Bordeaux, France. de Bordeaux 2, 2008.
disorders, injuries, claims and lost time.
DANIELLOU F., BEGUIN P. - LE BOTERF G. - Ingénierie et
Toronto, Institute for Work and Health,
Méthodologie de l’action ergonomique : évaluation des compétences. Editions
2008.
approches du travail réel. In FALZON P. d’Organisation, Paris, 2011.
BALANDIER G. - Ce qu’évaluer voudrait (sous la coord. de), Ergonomie. Paris,
MEDICAL RESEARCH COUNCIL -
dire. In : Cahiers internationaux de France : Presses universitaires de France,
A framework for development and
sociologie, 2011, 128-129, 2010/1-2. 2004, pp 335-373.
evaluation of RCTs for complex
BARBIER J-M. - L’évaluation en DENIS D., ST-VINCENT M., JETTE C., interventions to improve health. April
formation. Paris, PUF, 2001. NASTASIA I., IMBEAU D. - Les pratiques 2000.
d’intervention portant sur la prévention
BIRON C., KARANIKA-MURRAY M., MEDICAL RESEARCH COUNCIL -
des troubles musculosquelettiques :
COOPER C.L. - Improving Organizational Developing and evaluating complex
un bilan critique de la littérature. Bilans
Interventions for Stress and Well-being. interventions : the new MRC guidance.
de connaissances / Rapport B-066,
Addressing process and context, 2012, 2008, BMJ, vol 337.
Montréal, IRSST, 2005.
London, Routledge.
MEUNIER V. - Analyse coût-bénéfices :
DUBAR C. - La socialisation,
BOINI S., HEDELIN G. - Evaluation guide méthodologique. Cahiers de
Construction des identités sociales et
des actions de prévention en santé au la Sécurité Industrielle, Institut pour
professionnelles. Armand Colin, Paris,
travail. EMC, 2013, 8 (4), 1-5. 16-930-C-10 une Culture de Sécurité Industrielle,
1991.
Toulouse, France, 2009, 06.
BOUYER J., HEMON D., CORDIER
DURIEUX P, RAVAUD P. - Méthodes
S. et al. - Épidémiologie : Principes PAWSON R, TILLEY N. - Realistic
quantitatives pour évaluer les
et méthodes quantitatives. Editions evaluation. 1997, London, Sage.
interventions visant à améliorer les
Inserm, Paris, 1995.
pratiques. Guide méthodologique. PIOTET F. et SAINSAULIEU R. -
CERRUTI O., GATTINO B. - Indicateurs Haute Autorité de Santé, 2007. Méthodes pour une sociologie de
et tableaux de bord. AFNOR Gestion, l’entreprise. Presses de la Fondation
FALZON P. - Médecin, pompier,
Paris, 1992. Nationale de Sciences Politiques et
concepteur : l’activité cognitive de
ANACT, Paris, 1994.
CONSEIL SCIENTIFIQUE DE l’ergonome. Performances Humaines et
L’EVALUATION - Petit guide de Techniques. 1993, 66, 35-45. REYNAUD J.D. - Les règles du jeu.
l’évaluation des politiques publiques. La L’action collective et la régulation
GILLES M. et VOLKOFF S. - Pourquoi
Documentation Française, Paris, 1996. sociale. Armand Colin, Paris, 1997.
tant de chiffres ? Tensions autour de la
COUTAREL F. - How intervention quantification de la santé au travail en SAINT VINCENT M., VEZINA N.,
research could contribute to knowledge Entreprises. In Courtet, C., Risques du BELLEMARE M. et al. - L’intervention
on MSDs prevention ? Symposium travail, la santé négociée. en ergonomie. Editions multi mondes en
«Evaluation of interventions designed La Découverte, Paris, 2012. collaboration avec IRSST, 2011.
to prevent MSD: theories and
GOLDENHAR L.M., LAMONTAGNE TEIGER C. - De l’irruption de
strategies». Proceedings of the seventh
A.D., KATZ T. ET AL.- The intervention l’intervention dans la recherche en
international scientific conference
research process in occupational safety Ergonomie. Education permanente,
on prevention of work related
and health : an overview from the 2007, 170, 35‐49.
musculoskeletal disorders PREMUS
National Occupational Research Agenda
2010, Angers, France. TOMPA E., CULYER A.J., DOLINSCHI R.
Intervention Effectiveness Research
- Economic evaluation of interventions
COUTAREL F., VEZINA M., team. Journal of Occupational and
for occupational health and safety :
BERTHELETTE D. - Enjeux autour Environmental Medicine, 2001 Jul.,
developing good practice. Oxford
de l’évaluation des interventions 43(7), 616-22.
University Press, Oxford, 2008.
relatives à la prévention des troubles
INSERM. Prévention du stress au travail :
musculosquelettiques. In De la
types d’intervention et évaluation de
recherche à l’action : 2e Congrès
leur efficacité. In : Stress au travail et
francophone sur les troubles musculo-
santé, situation chez les indépendants.
squelettiques, 2008, Montréal, Canada.
Paris, Editions Inserm, Collection
CROZIER M., FRIEDBERG E. - L’acteur et Expertise collective, mai 2011, pp 241-
le système. Seuil, Paris, 1977. 278.

Références < 55
Création-conception : J’articule - Crédits photos : shutterstock
Inrs Anact
65, boulevard Richard Lenoir 192, avenue Thiers
75011 Paris CS 800 31
Tél. 01 40 44 30 00 69457 Lyon Cedex 06
www.inrs.fr Tél. 04 72 56 13 13
www.anact.fr
www.anact.fr

Vous aimerez peut-être aussi