Méthodes d’évaluation des systèmes de surveillance en

santé publique
Madjid Herida

To cite this version:

Madjid Herida. Méthodes d’évaluation des systèmes de surveillance en santé publique. Santé publique
et épidémiologie. Université Paris-Saclay, 2016. Français. �NNT : 2016SACLS279�. �tel-01611510�

HAL Id: tel-01611510

https://tel.archives-ouvertes.fr/tel-01611510
Submitted on 6 Oct 2017

HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est

archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
NNT : 2016SACLS279

THESE DE DOCTORAT
DE l’UNIVERSITE PARIS SACLAY
PREPAREE A L’UNIVERSITE PARIS-SUD

Ecole Doctorale N°570

Discipline : Santé Publique
Spécialité du doctorat : Sciences économiques

Par

Magid HERIDA

METHODES D’EVALUATION DES SYSTEMES DE

SURVEILLANCE EN SANTE PUBLIQUE
Thèse présentée et soutenue à Saint-Maurice le 4 octobre 2016

Composition du jury :
M. Thomas Hanslik PU-PH, Université de Versailles-Paris-Saclay Président
M. Christian Pradier PU-PH, Université de Nice Rapporteur
Mme Karine Chevreul Professeur des universités, Université Paris-Diderot Rapporteure
Mme Lise Rochaix Professeur des universités, Université Paris-Sorbonne Examinatrice
M. Jean-Claude Desenclos Directeur scientifique, Santé publique France Directeur de thèse
M. Benoît Dervaux MCU-PH, DRCI CHRU Lille Co-Directeur de thèse

1
A ma mère

2
Remerciements

Mes premiers remerciements s’adressent à Jean-Claude Desenclos et à Benoît Dervaux qui

m’ont fait l’honneur de diriger et d’encadrer ce travail. Merci Jean-Claude pour ton
encadrement et au-delà pour ton accompagnement professionnel constant et bienveillant tout
au long de ma carrière au sein de Santé publique France. J’ai beaucoup appris en travaillant à
tes côtés. Merci Benoît pour ton aide précieuse, tes explications claires et pédagogiques dans
l’approche médico-économique de ce travail et ton soutien constant qui ont fait de cette
collaboration, une expérience enrichissante.

Je remercie les membres de jury : Mr Pradier et Mme Chevreul pour avoir accepté d’être
rapporteurs, Mme Rochaix pour avoir accepté d’être examinatrice et Mr Hanslik pour m’avoir
fait l’honneur de présider ce jury.

Après de nombreuses années passées dans différents départements de Santé publique

France, j’ai rencontré tant de collègues passionnants et passionnés par leur travail et partagé
avec eux de nombreux moments professionnels enrichissants. Je remercie l’ensemble de ces
collègues. J’adresse un remerciement particulier à mon ancienne équipe de l’unité VICAR avec
qui j’ai collaboré durant ces années de thèse. Je remercie enfin Christel Guillaume pour son
aide dans la mise en forme de ce manuscrit.

Deux des travaux présentés de ce mémoire ont pu être menés à bien grâce à la participation
de nombreux professionnels et d’experts. Je tiens à remercier toutes les personnes qui ont
contribué aux différentes évaluations des systèmes de surveillance. Je remercie mes collègues
épidémiologistes qui ont participé à l’élaboration de l’étude. Un grand merci également à
l’ensemble des professionnels de santé, décideurs, économistes de la santé qui ont accepté de
répondre à l’enquête menée dans le cadre de l’approche médico-économique.

Je remercie l’équipe doctorale et en particulier Audrey Bourgeois pour sa disponibilité et son

aide.

Je remercie les amis qui ont vécu par certains côtés ces années de travail. Merci Michel pour
ton hospitalité et ta bonne humeur lors de mes « voyages d’écriture de thèse dans le sud ».
Merci Dominique et Bruno pour votre accueil et votre soutien dans les premiers temps de
l’écriture de ce mémoire. Merci enfin à Charles pour ton accompagnement et ton soutien
constant tout au long de ce travail.

Enfin un grand merci à toute ma famille proche pour leur soutien sans faille depuis de
nombreuses années.

3
Liste des publications en lien avec la thèse

Herida M, Desenclos JC : Evaluation de différents systèmes de surveillance (en maladies infectieuses) à partir
d’un protocole générique. Revue d’Epidémiologie et de Sante Publique 63 (2015) 35–42.

Herida M, Dervaux B, Desenclos JC : Economic Evaluations of Public Health Surveillance Systems: a

Systematic Review. Eur J Public Health. 2016 Feb 5. pii: ckv250.

Herida M, Desenclos JC, Dervaux B. Exploring the benefits of public health surveillance system: a novel use of
the discrete choice experiments. Soumis

Herida M, Desenclos JC. Evaluer un système de surveillance. In: Dabis F, Desenclos JC, editors.
Epidémiologie de terrain. Paris: John Libbey; 2012. p. 76–89.

Herida M: Evaluating the costs of disease surveillance. In: European Centre for Disease Prevention and
Control. Data quality monitoring and surveillance system evaluation – A handbook of methods and applications.
Stockholm: ECDC; 2014. p.75-78. Disponible sur http://ecdc.europa.eu/en/publications/Publications/Data-quality-
monitoring-surveillance-system-evaluation-Sept-2014.pdf

Autres travaux réalisés pendant la thèse :

Emmanuel Belchior, Daniel Lévy-Bruhl, Yann Le Strat & Magid Herida(2016): Cost-effectiveness of a herpes
zoster vaccination program among the French elderly people, Human Vaccines & Immunotherapeutics, DOI:
10.1080/21645515.2016.1184801

4
Sommaire

Remerciements ...................................................................................................................................... 3
Liste des publications en lien avec la thèse ........................................................................................ 4
Sommaire................................................................................................................................................ 5
Index des tables ..................................................................................................................................... 7
Index des tables en pages annexes ..................................................................................................... 8
Index des figures.................................................................................................................................... 9
Index des figures en pages annexes .................................................................................................... 9
Index des annexes ............................................................................................................................... 10
Table des abréviations ........................................................................................................................ 11
Contexte................................................................................................................................................ 13
1. Introduction ............................................................................................................................ 13
2. Justification et hypothèses ..................................................................................................... 16
3. Objectifs ................................................................................................................................. 17

I. Evaluation de différents systèmes de surveillance en maladies infectieuses à partir d’un

protocole générique ....................................................................................................19

1. Introduction ............................................................................................................................ 20
2. Méthodes ............................................................................................................................... 20
3. Résultats ................................................................................................................................ 30
4. Discussion .............................................................................................................................. 38
5. Conclusion ............................................................................................................................. 42

II. Revue de la littérature sur les évaluations médico-économiques des systèmes de surveillance
en santé publique ........................................................................................................43

1. Introduction ............................................................................................................................ 44
2. Méthodes ............................................................................................................................... 44
3. Résultats ................................................................................................................................ 47
4. Discussion .............................................................................................................................. 53
5. Conclusion ............................................................................................................................. 56

III. La méthode des choix discrets appliquée à des systèmes de surveillance et de veille
sanitaire en maladies infectieuses : une étude exploratoire ...................................61

1. Introduction ............................................................................................................................ 62

5
 2. Objectifs de l’étude................................................................................................................. 63
3. Méthodes ............................................................................................................................... 63
4. Résultats ................................................................................................................................ 76
5. Discussion .............................................................................................................................. 84
6. Conclusion ............................................................................................................................. 89

IV. Conclusion et perspectives ............................................................................................................91

Références............................................................................................................................................ 95

Annexes ....................................................................................................................................103

Résumé ............................................................................................................................................... 197

6
Index des tables

Tableau 1.1 : Critères d’utilité d’un système de surveillance ...............................................................24

Tableau 1.2 : Attributs de performance technique d’un système de surveillance ................................26

Tableau 1.3 : Principales recommandations spécifiques pour les systèmes/dispositifs évalués .........37

Tableau 2. 1 : Analyses coût-bénéfice sélectionnées...........................................................................58

Tableau 2.2 : Analyses coût-efficacité sélectionnées ..........................................................................59

Tableau 3. 1 : Synthèse des valeurs des niveaux de cinq attributs pour les quatre infections
considérées selon les données de la littérature et les bilans de surveillance ................67

Tableau 3.2 : Valeurs des différents niveaux pour les 6 attributs ........................................................68

Tableau 3.3 : Importance des différents critères pour l’ensemble de l’échantillon et selon la catégorie
de répondants ...............................................................................................................76

Tableau 3.4 : Score (sur 6) de la difficulté ressentie du questionnaire pour l’ensemble des participants
et selon la catégorie de répondants ..............................................................................77

Tableau 3.5 : Estimation des coefficients des attributs avec un modèle logistique multinomial ..........78

Tableau 3.6: Moyenne et écart-type des coefficients des attributs à effets aléatoires estimés par un
modèle logistique à effets aléatoires sans corrélation ...................................................79

Tableau 3.7: Moyenne et écart-type des coefficients des attributs à effets aléatoires estimés par un
modèle logistique à effets aléatoires avec corrélation ...................................................80

Tableau 3.8 : Moyenne et écart-type des coefficients des attributs à effets aléatoires et valeurs des
coefficients des attributs à effets fixes par un modèle logistique avec effets aléatoires et
avec corrélation. ............................................................................................................82

Tableau 3.9 : Estimation des valeurs des coefficients significatifs pour le consentement à payer
marginal.........................................................................................................................83

7
Index des tables en pages annexes

Tableau 3.10 : Liste des profils (scénarios) .........................................................................................186

Tableau 3.11 : Liste des comparaisons ...............................................................................................187

Tableau 3.12 : Présentation d’une comparaison de profil ...................................................................190

Tableau 3.13 : Estimation des coefficients des attributs et des groupes de répondants par estimation
avec un modèle logistique hétéroscédastique .............................................................191

Tableau 3.14 : Estimation du test d’indépendance par rapport aux alternatives non retenues par un
modèle logistique emboîté...........................................................................................192

Tableau 3.15. Valeur des coefficients des différents niveaux des attributs significatifs par un modèle
logistique multinomial avec effets aléatoires ...............................................................193

8
Index des figures
Figure 1.1: Déroulement pratique d’une évaluation et calendrier prévisionnel ..................................29

Figure 2.1 : Stratégies de recherche utilisées dans la revue de la littérature ......................................46

Figure 2.2 : Diagramme de sélection des articles remplissant les critères d’inclusion ........................48

Figure 2.3 : Distribution par type des 461 articles qui ne sont pas des évaluations
médico-économiques .......................................................................................................49

Figure 3.1 : Différents modèles d’estimation des coefficients des attributs source : [62] ....................75

Figure 3.2: Fréquence de l’option de non choix et du choix majoritaire pour les 20 comparaisons....77

Index des figures en pages annexes

Figure 3.3 : Schéma de l’étude selon un modèle emboîté ................................................................192

Figure 3.4 : Représentation graphique des différents niveaux des attributs significatifs
(amplitude : valeur maximale – valeur minimale) ...........................................................194

9
Index des annexes
Annexe 1.1: Article paru dans la « Revue d’Epidémiologie et de santé publique » .........................104

Annexe 1.2 : Protocole d’évaluation des systèmes de surveillance des maladies infectieuses
de l’Institut de veille sanitaire.......................................................................................118

Annexe 1.3 : Questionnaire A utilisateurs pratiqué par téléphone par l’épidémiologiste junior. ........125

Annexe 1.4 : Questionnaire B participants .......................................................................................127

Annexe 1.5 : Analyse par l’épidémiologiste junior des réponses des participants et des
utilisateurs ...................................................................................................................131

Annexe 1.6 : Documents à fournir par l’équipe du réseau de surveillance .......................................132

Annexe 1.7 : Analyse par l’épidémiologiste junior de la documentation fournie ...............................133

Annexe 1.8: Guide d’entretien pour l’équipe d’évaluation lors la visite sur site ...............................134

Annexe 1.9: Synthèse de l’ensemble des évaluations effectuée par l’équipe d’évaluation .............139

Annexe 1.10 : Rapport d’évaluation (modèle) ....................................................................................140

Annexe 2.1 : Article paru dans la revue « European Journal of Public Health » ...............................141

Annexe 2.2 : Grille d’analyse des critères PRISMA pour les revues de la littérature ........................158

Annexe 3.1 : Liste des profils (scénarios) .........................................................................................162

Annexe 3.2 : Liste des comparaisons ...............................................................................................187

Annexe 3.3 : Estimation du nombre de répondants ..........................................................................188

Annexe 3.4: Lettre d’information de l’étude .....................................................................................189

Annexe 3.5 : Présentation d’une comparaison de profil ...................................................................190

Annexe 3.6 : Tests d’hypothèse de la propriété d’indépendance par rapport aux alternatives non
pertinentes...................................................................................................................191

Annexe 3.7 : Valeur des coefficients des différents niveaux des attributs significatifs par un
modèle logistique multinomial avec effets aléatoires ...................................................193

Annexe 3.8 : Représentation graphique des différents niveaux des attributs significatifs
(amplitude : valeur maximale – valeur minimale) ........................................................194

10
Table des abréviations

ACB Analyse coût-bénéfice

ACE Analyse coût-efficacité

ACU Analyse coût-utilité

ANRS Agence nationale de recherche sur le sida et les hépatites

Ansp Agence nationale de santé publique

C-CLIN Centre de coordination de lutte contre les infections associées aux soins

Cire Cellules d’intervention en région

CNR Centre national de référence

DFA Départements français d’Amérique

DGS Direction générale de la santé

ECDC Centre européen de prévention et de contrôle des maladies (European Center for
Disease Prevention and Control)

GROG Groupes régionaux d’observation de la grippe

Inpes Institut national de prévention et d’éducation pour la santé

InVS Institut de veille sanitaire

MDO Maladie à déclaration obligatoire

OMS Organisation mondiale de la santé

QALYs Quality adjusted life years

RAISIN Réseau d’alerte et d’investigation des signalements d’infections nosocomiales

RSI Règlement sanitaire international

US-CDC Centres pour le contrôle et la prévention des maladies (Centers for Disease Control
and Prevention)

11
12
Contexte

1. Introduction

« La surveillance en santé publique est un processus continu et systématique de collecte, d’analyse et

d'interprétation de données de santé intégrant leur diffusion de manière réactive à ceux qui ont
contribué à la collecte et à tous ceux qui utilisent ces données dans les programmes de prévention et
contrôle » [1]. Par nature, la surveillance épidémiologique est en lien direct avec l’action et la décision
en santé publique. Son organisation est intégrée à la politique de santé publique. Les données
produites par cette surveillance sont des éléments clés pour la mise en place des mesures de contrôle
et de prévention des maladies. Elles sont également nécessaires pour mesurer l’impact des
phénomènes climatiques (canicule, pollution…) et pour identifier les facteurs en lien avec les
comportements (couverture vaccinale, conduite à risques…) ayant ou pouvant avoir un effet sur la
santé. Ces mêmes données contribuent par ailleurs, à l’évaluation des programmes de dépistage et de
prévention initiés et développés par les autorités sanitaires.

La définition de la surveillance en santé publique est ancienne et ne prend pas complètement en

compte la dynamique et l’évolution des maladies en particulier infectieuses. En effet, la surveillance
définie ci-dessus cible des priorités de santé publique élaborées sur la base de l’importance en santé
publique (prévalence ou incidence de la maladie ou de l’évènement de santé), de son impact sur la
mortalité ou des moyens de prévention disponibles.

« Outre qu’elles se propagent plus rapidement, les maladies infectieuses apparaissent plus
promptement qu’elles ne l’ont jamais fait par le passé. ». Ce constat a été dressé par l’Organisation
Mondiale de la Santé (OMS) en 2007 [2]. Dans un monde où les échanges des biens et des personnes
augmentent rapidement et où les changements climatiques, urbanistiques et environnementaux incluant
les méthodes de production de l’alimentation humaine et animale influencent les écosystèmes [3], ces
dernières décennies ont vu l’émergence de nouvelles maladies infectieuses comme l’infection par le
VIH au début des années 1980, le variant de la maladie de Creutzfeld-Jakob en 1996, la grippe aviaire
AH5N1 en 1997, le SRAS en 2003 et la grippe pandémique A(H1N1)pdm09 en 2009 [4-7]. Outre ces
émergences, la résurgence d’anciennes infections sexuellement transmissibles comme la syphilis en
2000, l’apparition de nouvelles formes épidémiques telles que la lymphogranulomatose vénérienne
rectale en 2003, l’épidémie de Chikungunya à la Réunion en 2006 et l’explosion épidémique inattendue
de 2013 à 2015 de l’infection à virus Ebola en Afrique de l’Ouest sont autant de témoins de la

13
dynamique évolutive des maladies infectieuses et de leurs impacts sanitaire et socio-économique [8-
10].

La définition d’une émergence est complexe et ne se résume pas à des infections nouvelles qui
apparaitraient. Un groupe de travail réuni en 2006 par le Ministère de la recherche a proposé la
définition suivante [11] :

« Phénomène infectieux (présumé comme tel) inattendu en référence à ses propriétés intrinsèques ou
les connaissances de sa biologie touchant l’homme, l’animal ou les deux. Habituellement, il existe une
incertitude réelle ou perçue quant au potentiel évolutif, la maîtrise du phénomène et son impact en
santé publique. Cette incertitude touche à des degrés et dans des logiques différentes le public, les
usagers, gestionnaires, politiques et professionnels de santé… L’émergence infectieuse peut
correspondre à une entité clinique nouvellement apparue ou identifiée, une entité pathologique
infectieuse connue dont l’incidence augmente dans un espace ou dans un groupe de population donné,
d’une modification qualitative et/ou quantitative des caractéristiques de l’agent, de la maladie ou de la
population touchée et de son environnement. Enfin, dans une optique d’anticipation, il peut s’agir d’une
maladie identifiée dont les conditions d’expansion deviennent favorables ».

Cette dynamique évolutive et le plus souvent non prévisible des épidémies de maladies infectieuses et
de leur propension à diffuser régionalement et internationalement impliquent par nature, et peut-être
plus souvent que par le passé, que tous les risques sanitaires non couverts par des systèmes de
surveillance dédiés, soient appréhendés dans une approche plus globale. Le concept de veille sanitaire
est ainsi né de ce besoin de couvrir l’ensemble des risques sanitaires et correspond à l’adaptation et à
l’extension du concept de surveillance de santé publique à celui de sécurité sanitaire [12]. La veille
sanitaire peut être définie comme la « collecte, l’analyse et l’interprétation en continu par les structures
de santé publique des signaux pouvant représenter un risque pour la santé publique dans une
perspective d’anticipation et d’alerte et d’action précoce » [13]

Ce concept de veille sanitaire est formalisé au niveau international dans la dernière version du
Règlement Sanitaire International (RSI) ratifié en 2005 qui impose aux Etats-Membres de disposer de
capacités de surveillance et de réponse suffisantes pour prévenir toute menace de santé publique
quelle que soit son origine infectieuse, environnementale ou malveillante et de signaler tout évènement
de santé représentant un risque de diffusion internationale. Dans ses annexes techniques, le RSI rompt
avec la notion de liste de maladies à surveiller et propose notamment une approche fondée sur un
algorithme de critères d’analyse d’évènements de santé susceptibles de diffuser internationalement.

14
Parmi ces critères figurent entre autres, la sévérité, le caractère inattendu de l’évènement, le potentiel
de diffusion et le risque qu’il fait porter sur la circulation des biens et des personnes au niveau
international [14].

En France, les missions de l’Institut de veille sanitaire (InVS), établissement public administratif
autonome et sous la tutelle du Ministère de la Santé recouvrent la surveillance de l’état de santé de la
population, la veille et l’alerte sanitaires et la contribution à la gestion de crises sanitaires. Depuis mai
2016, l’InVS a été intégré au sein de l’Agence nationale de santé publique (Santé publique France) 1. A
ce titre, l’InVS et ses délégations régionales, les cellules interrégionales d’épidémiologie (Cire)2,
animent et coordonnent de multiples systèmes de surveillance des maladies infectieuses et chroniques
ou en lien avec les expositions environnementales ou professionnelles et opèrent 24 heures sur 24, 7
jours sur 7 la veille sanitaire, notamment pour les risques infectieux émergents.

Il existe différents types de systèmes de surveillance qui dépendent des objectifs de la surveillance, des
caractéristiques de l’événement surveillé et du nombre d’informations nécessaires. Certains systèmes
reposent sur des obligations réglementaires comme par exemple le dispositif des maladies à
déclaration obligatoire (MDO). D’autres s’appuient sur des réseaux de professionnels volontaires
hospitaliers ou libéraux, en exercice particulier ou fédérés au sein d’associations. La surveillance de
certains évènements de santé nécessite parfois de mettre en place plusieurs modalités de systèmes de
surveillance, on parle alors de dispositif de surveillance. Enfin, certains réseaux de surveillance
reposent sur des structures associant plusieurs partenaires liés par une convention et qui partagent des
règles de fonctionnement et des objectifs de surveillance communs. Ils sont coordonnés par l’InVS ou
par l’un de ses partenaires [15]. D’autres approches complémentaires aux systèmes de surveillance
dédiés à une thématique ou un pathogène particulier (système de surveillance dit spécifique) sont
utilisées comme la surveillance syndromique ou la veille internationale pour contribuer à répondre à
l’objectif de la veille sanitaire qui est de détecter en temps quasi-réel et d’informer sans délai les
décideurs sur l’occurrence de menaces sanitaires afin de mettre en place les mesures de contrôle et de
prévention adaptées [12, 16].

Comme toutes les maladies ou évènements ayant un impact sanitaire ne peuvent faire l’objet d’une
surveillance dédiée et que de nouvelles questions de santé publique apparaissent régulièrement, il
1 Depuis le 03 mai 2016, l’Agence nationale de santé publique (Santé publique France) a été créée. Elle regroupe trois agences
sanitaires : l’institut de veille sanitaire, l’institut national de prévention et d’éducation pour la santé et l’établissement de préparation et de
réponse aux urgences sanitaires. Le travail de thèse présenté a été effectué principalement dans les années précédant la création de
l’agence nationale de santé publique .Nous gardons l’intitulé Institut de veille sanitaire dans ce mémoire
2 Depuis le 3 mai 2016 et la création de Santé publique France, les cellules interrégionales d’épidémiologie sont devenues les cellules
d’intervention en région. L'acronyme Cire est conservé.

15
convient de revoir régulièrement les priorités de surveillance, de s’interroger sur la pertinence de la
mise en place de nouveaux systèmes de surveillance, et de mettre en œuvre des évaluations régulières
de ceux qui sont en place [17-19]. Depuis quelques années, ces bonnes pratiques de surveillance
trouvent un écho particulier dans le contexte de restriction budgétaire qui touche au niveau national tous
les opérateurs de l’état comme au niveau européen. La question de l’allocation efficiente des
ressources dévolues à la surveillance en santé publique est ainsi posée. Pour l’InVS, une mission de
l’Inspection générale des affaires sociales effectuée en 2011 au décours de l’émergence de la grippe
pandémique A(H1N1) pdm09 a explicitement soulevé cette question.

2. Justification et hypothèses

Dans le contexte de l’évolution des priorités de santé publique, de l’apparition d’émergences et de

nouvelles menaces pour la santé des populations et de la globalisation des risques, la surveillance et la
veille sanitaire doivent disposer d’une capacité d’adaptation qui apparaît de plus en plus nécessaire. Ce
besoin d’adaptation dynamique est confronté au réalisme des ressources disponibles pour cette
fonction considérée comme centrale à la santé publique et à la réponse des pouvoirs publics face aux
risques infectieux, en particulier ceux émergeant. Dans un contexte de ressources publiques de plus en
plus contraintes et de demande sociale en matière de santé publique et de protection contre les risques
sanitaires croissante, la question de l’évaluation des systèmes de surveillance en regard de leur
performance et de leur utilité en santé publique a été posée depuis plusieurs décennies. Nous faisons
ainsi l’hypothèse que les choix rationnels d’évolution et d’adaptation des systèmes de surveillance
nécessitent des évaluations formalisées conduites sur la base de protocole construits et transparents
utilisant des critères d’évaluation de la performance et de leur utilité en termes de décision en santé
publique et plus largement d’utilité en santé publique. Parmi ces critères, nous faisons aussi l’hypothèse
que la valorisation des bénéfices, en particulier économique, représente un axe important à considérer
pour la priorisation des ressources à y accorder.

Cependant, et en contraste avec l’enjeu et les hypothèses formulées ci-dessus on constate que la
littérature scientifique du champ de la santé publique est relativement limitée sur ces questions, en
particulier sur son application systématisée par les organismes publics de surveillance et de veille
sanitaire [12]. Par ailleurs, au sein de la démarche d’évaluation appliquée à la surveillance en santé
publique et à la veille sanitaire la question de l’évaluation économique y est très limitée à la fois d’un
point de vue théorique que pratique, ce constat contrastant avec l’impact social croissant des questions
de santé et de sécurité sanitaire que la surveillance et la veille sanitaire se doivent d’appréhender [13].

16
 3. Objectifs

Répondre aux bonnes pratiques de surveillance en initiant un protocole d’évaluation générique des
systèmes de surveillance en maladies infectieuses, identifier l’état de l’art et des savoirs en matière
d’analyse médico-économique des systèmes de surveillance en santé publique et tenter d’approcher la
valeur économique d’un système de surveillance en santé publique par le développement d’une
démarche spécifique nouvelle sont les objectifs principaux de ce travail. Dans les trois grandes parties
qui constituent cette thèse, chacun des objectifs précités fait l’objet d’une présentation des travaux
entrepris et d’une discussion. Ces travaux sont focalisés sur l’évaluation de la surveillance des maladies
infectieuses réalisés spécifiquement dans le cadre du programme de travail de l’Institut de veille
sanitaire entre 2011 et 2013. Concernant l’évaluation de la valeur économique d’un système de
surveillance, nous avons ciblé plus particulièrement la question des infections émergentes qui, lors de la
dernière décennie ont mis en forte tension nos systèmes de veille et de surveillance au niveau national
mais aussi Européen et international dans le contexte de globalisation des risques. Par ce choix, nous
posons aussi le postulat que la valeur sociale et économique est plus facile à appréhender, notamment
par des approches de préférence des individus.

Ce document s’achève sur des remarques conclusives générales et ouvre des perspectives de
recherche et d’application dans le domaine de l’évaluation médico-économique des systèmes de
surveillance en santé publique.

17
18
I. Evaluation de différents systèmes de surveillance en maladies infectieuses à
partir d’un protocole générique

Un article issu de cette partie a été publié dans la revue

« Revue d’Epidémiologie et de Santé Publique ». Il figure en Annexe 1.1

19
 1. Introduction

Une fois les surveillances définies et priorisées, leur mise en œuvre répond à des étapes précises
incluant les objectifs de la surveillance, l’élaboration d’un protocole de surveillance, le type de
surveillance et de rétro-information. Après plusieurs années de fonctionnement d’un système de
surveillance, il convient de s’assurer que les objectifs initialement assignés à la surveillance sont
atteints et que les ressources utilisées le sont de la manière la plus efficace par le biais d’une évaluation
du système de surveillance [17]. Plusieurs recommandations ou guides d’évaluation des systèmes de
surveillance (spécifiques ou syndromiques) ont été développés en santé publique par les institutions
internationales comme l’organisation mondiale de la santé (OMS), le centre européen de prévention et
de contrôle des maladies (ECDC) ou par des agences fédérales [20-25].

Certains systèmes de surveillance mis en place à l’InVS ont fait l’objet d’évaluation partielle visant à
juger un attribut particulier de la surveillance comme par exemple l’exhaustivité [26-28]. Depuis 2009,
l’InVS s’est engagé dans une démarche standardisée d’évaluation des systèmes de surveillance basée
sur un protocole générique afin d'améliorer la qualité des systèmes de surveillance qu’il anime ou
coordonne et ainsi d’ajuster sa stratégie globale de surveillance.

Dans les paragraphes qui suivent, nous présentons la méthodologie développée dans le cadre de ce
processus d’évaluation et les résultats généraux issus de quatre évaluations de dispositifs de
surveillance des maladies infectieuses. Nous discutons ensuite les intérêts, les limites et les voies
d’amélioration possibles de cette démarche standardisée d’évaluation.

2. Méthodes

Le protocole d’évaluation complet et l’ensemble des documents afférents : questionnaires, grille

d’analyse et modèle de rapport figurent en Annexes 1.2 à 1.10.

20
2.1 Les grandes étapes de l’évaluation

Un protocole générique a été développé selon les recommandations publiées par les « Centers for
Disease Control and Prevention » (US-CDC) et selon le schéma d’un protocole développé par ECDC
[20].

La démarche d’évaluation proposée par les US-CDC se décline en plusieurs étapes décrites ci-
dessous :

L’implication des parties prenantes définies comme les personnes, les autorités ou les organisations qui
utilisent les données produites par le système de surveillance à des fins de promotion de la santé ou
pour mettre en place des mesures de contrôle et de prévention.

La caractérisation de l’évènement de santé sous surveillance et son importance en santé publique. Ces
éléments sont objectivés par des indicateurs épidémiologiques comme la prévalence, la létalité et par la
description des moyens de prévention et de contrôle existants.

La description du système de surveillance qui inclut les objectifs de la surveillance, la description du

fonctionnement du système, le type de surveillance, le schéma du circuit des données, les méthodes
d’analyse et les modalités de rétro-information. Elle indique les procédures mises en place pour garantir
la protection des personnes et la confidentialité des données. Les coûts des ressources humaines et
matérielles nécessaire au bon fonctionnement du système font également partie de cette description.

L’évaluation de performance technique du système technique jugée sur différents attributs et de l’utilité
du système. Nous reviendrons sur ces notions plus loin dans la description du protocole.

L’analyse de l’ensemble des informations issues des étapes précédentes permet de tirer les principales
conclusions sur l’importance en santé publique de l’évènement sous surveillance, sur l’atteinte des
objectifs et sur le niveau des performances techniques du système de surveillance.

L’élaboration d’un rapport d’évaluation reprend les points forts et les points faibles du système de
surveillance évalué. Il se termine avec certaines recommandations visant à améliorer l’efficacité et la
performance de la surveillance.

21
Le suivi des recommandations issues de l’évaluation fait partie intégrante du processus d’évaluation.

En reprenant les grandes étapes des recommandations de l’US-CDC, un protocole générique a été
développé qui fixe les objectifs généraux de chaque évaluation et élabore une méthodologie commune
à chacune de ces évaluations.

Les objectifs généraux de l’évaluation sont d’identifier les points forts et les points faibles du système de
surveillance. Cette évaluation est qualitative. Elle vise à déterminer l’utilité du système au regard des
objectifs initialement assignés au système de surveillance. Elle vérifie si les objectifs de surveillance
sont atteints. Elle analyse le mode de fonctionnement du système au regard des bonnes pratiques de
surveillance. La performance technique est évaluée sur plusieurs attributs qualitatifs. A l’issue de
chaque évaluation, des recommandations pour l’amélioration du fonctionnement et/ou de la qualité des
données produites sont formalisées.

Cette démarche d’évaluation s’applique à différents systèmes de surveillance coordonnés ou animés

par l’InVS. Il était planifié initialement une à deux évaluations par an. Les recommandations des
évaluations successives ont également pour objectif d’améliorer la stratégie de surveillance de l’InVS.

2.2 Les acteurs de l’évaluation

De nombreux professionnels extérieurs et des épidémiologistes de l’InVS sont impliqués dans chaque
évaluation. Pour piloter l’ensemble du processus et assurer une conduite standardisée à l’ensemble de
la démarche, une coordination scientifique constituée d’un épidémiologiste de l’InVS (coordonnateur
scientifique) non impliqué dans le système de surveillance évalué et du directeur scientifique de l’InVS a
été mise en place. Cette coordination a pour rôle de s’assurer du bon déroulement de l’ensemble du
processus d’évaluation et d’assurer l’interface entre les différents acteurs impliqués.

Un comité d’évaluation composé par la coordination scientifique est constitué pour chaque évaluation.
Il est composé de deux à trois experts seniors et d’un à deux épidémiologiste (s) junior (s). Un
responsable du comité d’évaluation est désigné parmi les experts seniors. Les comités d’évaluation
sont multidisciplinaires associant des experts en santé publique ou en épidémiologie, des
microbiologistes ou des cliniciens. Quand cela est possible, il est privilégié d’inviter au moins un expert
étranger parlant le français dans le comité d’évaluation.

Les participants sont les professionnels de santé qui déclarent les cas aux équipes du système de
surveillance évalué. Le nombre de participants par évaluation est fixé à 30.

22
Les utilisateurs (ou parties prenantes) sont des professionnels de santé et les principaux partenaires
institutionnels ou universitaires, potentiellement utilisateurs des résultats générés par le système de
surveillance. Parmi les utilisateurs potentiels, figurent des experts en santé publique travaillant dans
d’autres agences sanitaires régionales, nationales ou internationales (ECDC, OMS), des experts
travaillant à la Direction générale de la Santé (DGS), des chercheurs ou encore des professionnels de
santé. Enfin, des acteurs de la Société civile comme les journalistes ou les représentants d’associations
de patients font aussi partie des utilisateurs. Le nombre d’utilisateurs par évaluation est fixé à 20.

Les équipes en charge du système de surveillance (ESS). Ce sont les épidémiologistes de l’InVS et
leurs éventuels partenaires extérieurs en charge de l’animation du système de surveillance.

2.3 Les critères retenus pour l’évaluation

a) L’atteinte des objectifs

L’atteinte des objectifs initialement assignés au système de surveillance est évaluée par l’ensemble des
acteurs (participants, utilisateurs, comité d’évaluation). L’équipe en charge du système est également
amenée à s’autoévaluer sur l’atteinte de ces objectifs et peut éventuellement commenter la note qu’elle
a attribuée.

b) L’utilité du système de surveillance

L’évaluation de l’utilité débute par une revue des objectifs et cherche à décrire l’impact des informations
produites par le système sur les décisions de santé publique. En s'assurant au préalable qu'un système
de surveillance n’en duplique pas d'autres et selon les objectifs assignés au système, on considère
qu’un système de surveillance est utile s’il répond à l’une des huit questions présentées dans le
Tableau 1.1.

Pour juger de l’utilité du système de surveillance évalué, une enquête est menée à la fois auprès des
participants et auprès des utilisateurs potentiels. Trois dimensions de l’utilité sont explorées :

- Utilité pour la surveillance : estimation de l’incidence de la maladie, caractérisation des

personnes atteintes de la maladie, détection d’alerte…
- Utilité en santé publique : utilité des données produites pour la prise de décision en santé
publique, pour les politiques de prévention ou de dépistage, pour l’identification de nouvelles
pistes de recherche

23
 - Utilité pour les partenaires de la surveillance : qualité et fréquences des informations produites,
échange d’information et animation du réseau, impact sur les bonnes pratiques
professionnelles.

Tableau 1.1 : Critères d’utilité d’un système de surveillance

1 Le système permet-il d’identifier les cas afin de mettre en place rapidement des moyens de prévention adaptés ?

2 Le système permet-il de détecter des changements de tendances ou des épisodes épidémiques ?

3 Le système fournit-il des estimations chiffrées et fiables de morbidité et de mortalité ?

4 Le système identifie-t-il des facteurs de risque de survenue de la maladie ?

5 Contribue-t-il à améliorer le contrôle et la prévention de la maladie ?

6 Sert-il à mesurer l'impact des mesures de prévention ou de contrôle ?

7 Les données produites permettent-elles de générer des hypothèses ou des questions pour la recherche ?

Les données produites permettent-elles d’améliorer les pratiques professionnelles, sociales ou

8
environnementales ?
Source : référence [20]

Les utilisateurs et les participants sont interrogés sur l’utilité du système à l’aide d’un questionnaire
standardisé.

c) Caractérisation de l’évènement de santé et description du fonctionnement du système de

surveillance

Une liste de questions vise à évaluer l’importance en santé publique de l’évènement de santé sous
surveillance sont indiquées ci-dessous :

1. Quelle est la maladie ou l’évènement de santé surveillé par le système ?

2. Quelle est la fréquence de la maladie ou de l’évènement de santé surveillé ?
3. Quelle est la sévérité de la maladie en termes de morbidité et de mortalité ?
4. Appréciation du coût pour la société de cette maladie ?
5. Existe-t-il une prévention de cette maladie ? Si oui, laquelle ?

24
La consultation et l’analyse de documents en lien avec le fonctionnement du système servent à
déterminer si les bonnes pratiques de surveillance sont respectées. Ils concernent la composition de
l’équipe en charge de la surveillance, la description des objectifs, le protocole de surveillance incluant la
définition de cas. Les procédures d’analyse, les rapports de surveillance ou tout autre support de rétro-
information, l’autorisation de la Commission nationale informatique et liberté sont également requis. Est
aussi demandée une estimation des coûts du fonctionnement du système en incluant les coûts en
équivalents temps plein et les coûts des subventions aux partenaires de la surveillance.

L’équipe en charge du système de surveillance répond aux questions précitées et fournit les documents
demandés.

d) La performance technique du système

Elle est jugée sur les attributs de performance technique suivants : la simplicité, la stabilité, la réactivité,
la qualité des données en termes de complétude, d’analyse de données et de rétro-information. Ces
attributs sont évalués de manière qualitative auprès des participants du système de surveillance à l’aide
d’un questionnaire standardisé. Certains attributs qui nécessitent des méthodes d’analyse quantitative
tels que la sensibilité (proportion de cas de la maladie réellement captés par la surveillance) ou la valeur
prédictive positive (proportion de cas captés par la surveillance et qui sont réellement des cas) n’ont pas
été évalués dans le cadre de ce protocole. La définition des attributs de performance figurant dans les
recommandations de l’US-CDC et quelques exemples de questions posées aux participants pour
évaluer ces attributs figurent dans le Tableau 1.2.

25
Tableau 1.2 : Attributs de performance technique d’un système de surveillance
Définition Exemples de questions ou d’affirmations
posées aux participants du système de
surveillance†
Simplicité Un système est jugé simple si sa structure est Les définitions de cas sont-elles claires ?
légère avec un nombre restreint d'acteurs, la La procédure d’envoi des données est simple
définition des cas claire et précise, et les
procédures de recueil et de transmission des
données rapides et standardisées
Acceptabilité Elle est le reflet de l’implication des acteurs Le temps consacré à remplir une fiche est
dans le système de surveillance. Le taux de acceptable
participation et le temps consacré au recueil et Les informations demandées sont trop
l’envoi des informations sont autant nombreuses
d'indicateurs de l'acceptabilité d'un système de
surveillance par ceux qui y participent
Stabilité La stabilité reflète la fiabilité et l’aptitude du Il y a toujours quelqu’un qui me répond quand je
système à fonctionner correctement cherche à joindre l’équipe à qui j’envoie les
données
J’ai déjà été confronté à des problèmes
techniques (informatiques, transmission fax...)
lors de l’envoi des données
Réactivité La réactivité se définit comme le délai Dès que je diagnostique un cas, je le déclare
nécessaire à la transmission de l'information rapidement
d'un échelon à un autre du système de Les analyses issues du système de surveillance
surveillance. sont intéressantes mais sont produites très
tardivement par rapport au délai de survenue de
l’évènement
Qualité des données Elle reflète les performances des différents Je retrouve l’ensemble des informations
critères (acceptabilité, simplicité…) et permet de demandées à la lecture des analyses produites
juger de la validité des résultats produits par le par le système de surveillance
système Les données produites par le système de
surveillance sont de bonne qualité
Souplesse (flexibility)* La souplesse se juge sur la capacité
d'adaptation du système à des changements
comme par exemple l’ajout d’un nouvel
évènement de santé dans un système déjà
existant ou des modifications du recueil
d’information
Représentativité* Un système de surveillance est représentatif s'il
décrit correctement la survenue d'un évènement
de santé au cours du temps ainsi que sa
distribution dans la population en termes de lieu
et de caractéristiques individuelles
Sensibilité* Elle se définit par sa capacité à mettre en
évidence l’évènement de santé surveillé
Spécificité* Elle se définit par la capacité du système de
surveillance à notifier peu de faux positifs
Valeur prédictive positive* La valeur prédictive positive d'un système de
surveillance est la probabilité de correctement
identifier les cas confirmés.
Sources : références [19, 20] * : attributs non évalués ; † : les réponses étaient modulées selon une échelle de 1 (pas du tout d’accord) à
10 (tout à fait d’accord)

26
2.4 Les outils de l’évaluation

Ils consistent en :

1. Deux questionnaires standardisés. Le premier juge de l’utilité du système. Il est soumis aux
utilisateurs et aux participants (Annexe 1.3). Un questionnaire standardisé jugeant de la
performance technique du système de surveillance est soumis aux participants (Annexe 1.4).
Les deux questionnaires effectués par téléphone appellent des réponses qualitatives. Une
échelle de 1 (pas du tout d’accord) à 10 (tout à fait d’accord) permet de nuancer les jugements
des utilisateurs et des participants interrogés.

2. Un tableau de synthèse des résultats des enquêtes utilisateurs et participants (Annexe 1.5)

3. Une grille d’analyse aboutissant à un score évaluant la présence et la qualité des documents
demandés, est attribué en fonction de l’existence ou non des procédures existantes et
documentées et de leur qualité (Annexes 1.5 et 1.6).

4. Des questions ciblant les différents aspects du processus de surveillance sont fournies au
comité d’évaluation par le commanditaire de l’évaluation (la direction scientifique de l’InVS).
Elles permettent de cadrer l’évaluation et orientent les entretiens que le comité d’évaluation
mène avec les équipes en charge du système de surveillance évalué (Annexe 1.8).

5. Un tableau de synthèse des différents scores d’évaluation pour les différents critères et une
proposition de plan pour le rapport d’évaluation sont également fournis (Annexes 1.9 et 1.10).

2.5 Le déroulement pratique d’une évaluation

Après identification et acceptation des membres du comité d’évaluation, le protocole d’évaluation et une
note de cadrage leur sont envoyés. Les participants sont tirés au sort parmi les déclarants du système
de surveillance. Les utilisateurs potentiels sont identifiés avec les équipes en charge du système de
surveillance évalué.

Une première phase de collecte et d’analyse est assurée par l’épidémiologiste junior du comité
d’évaluation sous la responsabilité de la coordination scientifique de l’évaluation. Elle comprend la
réalisation et l’analyse des différentes enquêtes auprès des participants et des utilisateurs et l’analyse

27
des différents documents demandés aux équipes en charge de la surveillance. Cette phase
préparatoire fait l’objet d’un pré-rapport d’évaluation remis aux experts seniors du comité d’évaluation
en amont de leur visite.

Une visite du comité d’évaluation sur site a lieu pour rencontrer l’équipe en charge du système de
surveillance à l’InVS et leurs éventuels partenaires (s) extérieur (s) du réseau de surveillance. Lors de
cette visite, le comité d’évaluation peut être amené à s’entretenir avec un utilisateur ou plusieurs
utilisateurs du système de surveillance dont l’avis est considéré comme important. Le coordinateur
scientifique est présent, en tant qu’observateur, à l’ensemble des entretiens mais n’assiste pas aux
délibérations du comité d’évaluation.

Au terme de ces entretiens et au vu des résultats des analyses effectués en phase préparatoire, le
comité d’évaluation émet son avis et son jugement sur les différents critères d’évaluation (atteinte des
objectifs, utilité, performance technique, fonctionnement du système). Il soumet un rapport provisoire
écrit avec des recommandations, un mois après sa visite. Ce premier rapport est soumis aux équipes
en charge de la surveillance essentiellement pour une relecture factuelle afin d’éliminer toute
incompréhension. Des remarques ou des commentaires sur les appréciations du comité d’évaluation
sont possibles. Cependant, ce dernier se réserve le droit de les intégrer ou pas dans son rapport final.

La mise en œuvre des recommandations issues de l’évaluation est du ressort de l’équipe du système
de surveillance évalué et du directeur du département dont il dépend (Figure1.1).

Tous les rapports d’évaluation sont également transmis à la Direction générale de l’InVS qui les utilise
dans ses décisions de programmation des activités de surveillance de l’Institut. Par ailleurs, le nombre
d’évaluations externes de systèmes de surveillance fait partie des indicateurs de qualité suivi
annuellement dans le cadre du contrat d’objectif et de performance de l’Institut avec le Ministère chargé
de la santé.

28
Figure 1.1: Déroulement pratique d’une évaluation et calendrier prévisionnel

Direction Coordination
scientifique scientifique

Mois 1

Nomination Envoi du protocole Collecte Sélection

Comité et information CE documents utiles Participants
d’évaluation (CE) auprès de l’ESS* Utilisateurs

Epidémiologiste
junior

Mois 2-4

Enquêtes Analyse Rédaction d’un

téléphoniques et documents pré-rapport
analyse fournis par ESS

Comité
d’évaluation

Mois 5-6

Visite sur site Rapport et

Entretiens ESS et recommandations
partenaires

Direction Coordination ESS

scientifique scientifique

Mois 7-12

Planification
recommandations
mise en ligne du rapport

* ESS : équipes en charge de la surveillance

29
 3. Résultats

3.1 Principaux résultats portant sur quatre évaluations de systèmes de surveillance en maladies
infectieuses

Entre 2009 et 2013, quatre évaluations ont été menées au sein du département des maladies
infectieuses de l’InVS.

a) Evaluation du réseau de surveillance des bactéries multi-résistantes (réseau

BMR-Raisin) [29]

Cette évaluation a eu lieu en septembre 2009. Le réseau BMR-Raisin constitue l’un des cinq
programmes du Réseau d’Alerte d’Investigation et de Surveillance des Infections nosocomiales (réseau
RAISIN). Le réseau RAISIN repose sur un partenariat conventionnel entre les 5 centres de coordination
de lutte contre les infections nosocomiales (C-CLIN) et l’InVS. Ce programme assure la coordination
nationale des activités de surveillance et de prévention selon les priorités définies dans le programme
national de prévention des infections nosocomiales. La coordination de chacun des programmes de
surveillance du réseau RAISIN est confiée à l’un des 5 C-CLIN. Le réseau de surveillance BMR-RAISIN
est coordonné au niveau national par le C-CLIN Paris Nord. L’organisation de ce réseau est pyramidale.
Les déclarants sont les établissements de santé (ES) publics ou privés. Au niveau inter-régional,
chaque C-CLIN est en charge de l’animation du réseau de surveillance BMR-Raisin auprès des ES de
son inter région. Les données validées de chaque inter région sont transmises sous forme agrégée au
C-CLIN Paris Nord en charge de la surveillance nationale. Cette surveillance nationale a pour objectif
principal de recueillir des données d’incidence des principales bactéries multi-résistantes stratifiées
selon certains critères comme le type d’ES, le type de service ou de prélèvement.

Le comité d’évaluation était composé de deux experts séniors dont un expert canadien et un
épidémiologiste junior. La visite d’évaluation a duré 2 jours et a permis au comité d’évaluation de
rencontrer à la fois l’équipe en charge de la surveillance à l’InVS et au C-Clin Paris Nord. Deux
entretiens téléphoniques ont eu lieu avec un représentant de deux autres C-CLIN en charge de la
surveillance BMR-Raisin au niveau inter-régional. Par ailleurs, 21 utilisateurs et 27 participants ont été
interrogés.

Le réseau est jugé utile tant par les utilisateurs que par les participants (6,8/10), les performances
techniques sont jugées favorablement avec une moyenne globale à 7,8/10. Les objectifs sont atteints
avec une note moyenne de 7,1 /10 sur l’ensemble des objectifs.

30
Les points forts de ce réseau sont sa simplicité et son acceptabilité. Les évaluateurs ont souligné l’utilité
de ce réseau pour la surveillance nationale des bactéries multi-résistantes et pour l’amélioration des
pratiques professionnelles. Des recommandations ont été émises au regard des points à améliorer.
Elles concernent la mise en cohérence des objectifs de surveillance affichés avec la méthodologie
utilisée, meilleure harmonisation entre les protocoles régionaux et le protocole national et la mise en
place d’une base de données individuelles partagées et amélioration de la rétro-information.

b) Evaluation du réseau de surveillance des infections bactériennes invasives d’origine

communautaire (Réseau Epibac) [30]

Cette évaluation a eu lieu en Novembre 2010. Le réseau Epibac est un des plus anciens systèmes de
surveillance de l’InVS. Il a été mis en place en 1982. Il repose sur un réseau de laboratoires. Il est
coordonné exclusivement par l’InVS. Il a pour objectif principal d’estimer l’incidence en France des
méningites et bactériémies dues à différents germes : Haemophilus influenzae, Listeria monocytogenes,
Neisseiria meningitidis, Streptococcus pneumoniae et Streptococcus agalactiae (groupe B) et
Streptococcus pyogenes (groupe A).

Le comité d’évaluation était composé de deux experts seniors dont un expert britannique et un
épidémiologiste junior. Outre l’équipe en charge du système, le comité d’évaluation s’est entretenu avec
3 experts du monde de la vaccination dont le président du comité technique des vaccinations et un
représentant du Centre national de référence (CNR)1 Pneumocoques. Par ailleurs, 30 participants au
réseau de surveillance et 11 utilisateurs ont répondu aux enquêtes téléphoniques.

Le réseau est jugé utile pour la surveillance et la santé publique (7/10), les objectifs sont atteints avec
une note moyenne de 7,5/10. La performance technique est jugée globalement bonne avec une note
moyenne portant sur l’ensemble des attributs de 7,5/10. Les points forts du réseau sont sa pérennité et
sa stabilité. Il repose sur une participation volontaire des biologistes. Il fournit à la fois des informations
épidémiologiques qu’aucun autre réseau ne fournit et des données épidémiologiques complémentaires
à d’autres dispositifs comme celui des MDO. Son utilité est reconnue par les partenaires interrogés, en
particulier dans le champ vaccinal. Les principales recommandations concernent la création d’un comité
de pilotage, l’élargissement de la surveillance à d’autres germes et l’extension de la couverture

1 Centre national de référence : laboratoire microbiologique ayant pour mission l’expertise concernant la microbiologie, la pathologie des
agents infectieux et leur sensibilité aux agents anti-infectieux , la contribution à la surveillance épidémiologique ,l’alerte par l’information
immédiate de l’Institut de veille sanitaire et du ministre chargé de la santé de toute constatation pouvant avoir des répercussions sur l’état
sanitaire de la population et le conseil des pouvoirs publics, des agences de sécurité sanitaire et des professionnels de santé. La liste des
CNR est fixée pour une durée de 5 ans par un arrêté du Ministère de la Santé sur proposition de l’InVS suite à un appel à candidatures.

31
géographique de la surveillance vers les départements d’outre-mer non couverts par le réseau. Des
recommandations ont été émises aussi pour améliorer la rétro-information par un raccourcissement du
délai de publication du rapport annuel et par une politique de valorisation des données dans des
publications internationales.

c) Evaluation du dispositif de surveillance de la grippe saisonnière et du dispositif de

surveillance de la grippe A(H1N1)pdm09 [31]

Cette évaluation a eu lieu en septembre 2011. Contrairement aux deux précédentes, cette évaluation
concernait plusieurs systèmes de surveillance. Le dispositif de grippe saisonnière comprend 6 systèmes
de surveillance dont 2 systèmes reposant sur des médecins en exercice libéral et coordonnés par des
partenaires : le réseau Sentinelles coordonné par l’unité mixte de recherche en santé UMR S 707 de
l’Inserm et le réseau des Groupes d’observation régionaux de la Grippe (réseau des GROG) 2. Les
données issues de ces deux réseaux sont agrégées à l’InVS dans un dispositif unique de surveillance
dit Réseau Unifié. Des données issues des urgences hospitalières et des consultations SOS médecins
contribuent également à la surveillance de la grippe communautaire. Ce dispositif de surveillance
comprend, par ailleurs, 2 CNR des virus Influenza3 en charge de la surveillance virologique des
prélèvements de grippe communautaires (adressés par les médecins du GROG) et hospitaliers. Ce
dispositif est complété par une surveillance des cas graves hospitalisés en unité de soins intensifs pour
grippe et de la mortalité directe à partir du décès éventuel de ces patients. La mortalité toutes causes
bénéficie d’une surveillance à l’InVS et contribue à la surveillance de la mortalité grippe lors la saison
grippale. Les objectifs de la surveillance de la grippe saisonnière sont de détecter le début de
l’épidémie, de décrire les tendances temporo-spatiales de l’épidémie, de surveiller les virus circulant
durant la saison épidémique. La surveillance des cas graves en unité de soins intensifs permet
d’estimer la sévérité de l’épidémie.

A l’occasion de la grippe pandémique A(H1N1)pdm09 survenue en Avril 2009, l’InVS a mis en place par
ailleurs un dispositif spécifique comprenant une surveillance des cas individuels et des cas groupés.
L’objectif principal de ces deux surveillances était de détecter précocement les premiers cas d’infection
à ce virus et de mettre en place des mesures de contrôle à des fins de confinement de l’épidémie. La
surveillance des cas hospitalisés pour la grippe A(H1N1)pdm09 permettait de suivre la sévérité de
l’infection. Une surveillance virologique spécifique a été mise en place dès avril 2009 afin de détecter

2 Le réseau des GROG a arrêté de fonctionner en 2014.

3
Depuis 2012, il n’existe plus qu’un seul CNR des virus Influenza

32
les premières souches virales sur le territoire national. L’incidence de la grippe en communauté et les
tendances temporo-spatiales étaient surveillées par les même réseaux de médecins en exercice libéral
que ceux de la grippe saisonnière (réseau des GROG, réseau Sentinelles, réseau unifié). Ce dispositif
de surveillance a été mis en place d’avril 2009 à mars 2010.

Le comité d’évaluation était composé de trois experts seniors dont un expert allemand et de deux
experts juniors. La visite d’évaluation a duré trois jours et a permis aux évaluateurs de rencontrer les
équipes en charge de la surveillance de la grippe au niveau national à l’InVS, deux responsables de
Cire, les équipes du réseau Sentinelles, celles du Réseau GROG et celles des 2 CNR. Un
questionnaire de performance technique spécifique à chaque système de surveillance a été élaboré
pour les participants du système à l’exception du système des urgences hospitalières car les données
sont automatiquement extraites et transmises à l’InVS. Concernant l’utilité, un questionnaire unique aux
deux dispositifs a été soumis aux utilisateurs et aux participants de chaque système de surveillance.
Enfin, du fait de la multitude de systèmes intégrés dans ce dispositif, deux questions portant sur la
cohérence et la lisibilité du dispositif de grippe ont été posées à l’ensemble des participants et
utilisateurs.

Au total, 142 participants et utilisateurs ont répondu aux différentes enquêtes. L’utilité du dispositif de
surveillance de la grippe est globalement reconnue par l’ensemble des personnes interrogées avec une
moyenne globale de 7,3/10 (valeurs comprises entre 6,7 et 8,2). Les objectifs sont globalement atteints
avec une moyenne de 7,5/10. Les performances techniques de chaque réseau ont été jugées
favorablement dans leur ensemble. La lisibilité du dispositif a recueilli une moyenne de 7,2/10 et sa
cohérence, une moyenne de 6,4/10.

Les évaluateurs jugent le dispositif de surveillance de la grippe complet, exhaustif, performant et réactif.
Ce dispositif présente l’intérêt de reposer sur des compétences pluridisciplinaires. Des
recommandations ont été émises essentiellement sur la clarification de l’organisation de ce dispositif en
suggérant une mutualisation des moyens pour s’orienter vers un réseau unique de surveillance de la
grippe en médecine de ville, l’optimisation du fonctionnement du CNR, le renforcement et la
pérennisation de la surveillance des cas sévères mis en place lors de la grippe pandémique
A(H1N1)pdm09. Les évaluateurs ont également suggéré l’extension de la surveillance en temps réel de la
mortalité grippale en accélérant le développement de la certification électronique des décès. Pour les
éventuelles situations de pandémie grippale, ils préconisent de privilégier l’adaptation des systèmes de
surveillance de la grippe saisonnière plutôt que la mise en place de systèmes de surveillance
spécifiques à la grippe pandémique.

33
 d) Evaluation du dispositif de surveillance des hépatites B et C [32]

Cette évaluation a eu lieu en Juin 2013. Le dispositif de surveillance des hépatites B et C est complexe
et repose sur 13 systèmes de surveillance associant la MDO de l’infection aigüe par le virus de
l’hépatite B (VHB), l’activité de dépistage du VHB et du virus de l’hépatite C (VHC) par enquête
triennale et le suivi des patients nouvellement pris en charge pour une infection par le VHB ou le VHC.
Des enquêtes de prévalence en population générale et dans des populations à risque et des analyses
de bases médico-administratives complètent le dispositif. Il est essentiellement coordonné par l’InVS en
lien avec de nombreux partenaires comme les cliniciens des pôles de référence hépatite C, l’Agence
nationale de recherche sur le Sida et les hépatites (ANRS) ou encore l’Institut national de prévention et
d’éducation pour la santé (Inpes).

Les objectifs de ce dispositif sont d’estimer l’incidence du VHB en population générale et l’incidence de
l’infection à VHC dans les populations à risque. Il a pour objectifs également d’estimer la prévalence du
VHB et du VHC dans la population générale et dans les populations à risque, de décrire les activités de
dépistage de ces deux infections et de caractériser les personnes diagnostiquées positives. Enfin, il
contribue à détecter des modes de transmission émergents et à l’évaluation de la politique vaccinale
contre le VHB.

Le comité d’évaluation était composé de trois experts seniors et d’un épidémiologiste junior. La visite
d’évaluation a duré deux jours. Le comité a rencontré les équipes InVS en charge de ce dispositif de
surveillance, et s’est entretenu par téléphone avec des experts de l’Inpes et des experts de la DGS
travaillant sur la thématique des hépatites. Du fait de l’abandon d’un système de surveillance auprès
des déclarants biologistes, il n’a pas été possible de mener des enquêtes auprès de participants.
L’utilité a été jugée auprès d’un panel de 13 utilisateurs seulement. Le comité d’évaluation ne s’est pas
fondé sur les résultats de cette enquête lors de la remise de ses conclusions en raison du faible nombre
de répondants.

Les évaluateurs jugent le dispositif de surveillance des hépatites B et C vaste et réactif. Il couvre à la
fois la population générale et les populations à risque en lien avec les plans de prévention des
hépatites. L’association de différents systèmes permet de surveiller les différentes étapes de l’histoire
naturelle de la maladie de l’exposition à la prise en charge des cas en passant par le dépistage. Le
comité d’évaluation souligne la qualité des retours d’information riches et variés et des synergies et des
partenariats nombreux et actifs. Dans les pistes d’amélioration, les évaluateurs préconisent une refonte
du dispositif de MDO de l’hépatite B aiguë afin d’en améliorer l’exhaustivité en s’appuyant notamment

34
sur la dématérialisation, la réalisation des enquêtes de dépistage à un rythme plus resserré et de définir
un calendrier général pour les enquêtes portant sur des populations à risque élevé d’hépatite B ou C.

Une synthèse portant sur les principaux résultats de ces quatre évaluations est fournie dans le Tableau
1.3.

3.2 Bilan global de ces quatre évaluations

Le bilan global de ces quatre évaluations est issu des différents rapports d’évaluation [29-32].

a) Nombre de personnes impliquées

La durée moyenne d’une évaluation, de la sélection des experts à la remise finale du rapport, est
estimée à 1 an. Quinze experts dont trois épidémiologistes seniors étrangers et cinq épidémiologistes
juniors ont participé aux comités d’évaluation. Près de 60 experts impliquant des épidémiologistes de
l’InVS, des partenaires de la surveillance (CNR, Réseau des GROG, Réseau Sentinelles, CCLIN Nord)
et des experts institutionnels nationaux et étrangers ont contribué à ces évaluations. Près de 250
participants et utilisateurs ont été interrogés dans le cadre de ces évaluations.

b) Recommandations les plus fréquentes pour l’InVS

Au-delà des recommandations spécifiques à chacun des systèmes ou dispositifs évalués, des
recommandations plus génériques sont formulées pour améliorer la stratégie de surveillance de l’InVS.
Elles se déclinent selon trois grands axes portant sur l’organisation et la coordination de la surveillance,
la rétro-information et la recherche d’une meilleure efficience de la surveillance.

Ainsi, trois des quatre comités d’évaluations insistent sur le rôle pivot que doit tenir l’InVS dans la
coordination nationale des dispositifs de surveillance complexes fédérant de nombreux partenaires.
Dans la même perspective, des recommandations sont émises à trois reprises sur l’optimisation des
interfaces entre surveillance régionale assurée par le réseau des Cire et le siège de l’InVS afin d’obtenir
pour l’ensemble des dispositifs de surveillance des estimations régionales fiables et robustes.

Sur la rétro-information et la lisibilité des productions de l’InVS, si les comités d’évaluation ont reconnu
la qualité des données produites, ils ont cependant souligné l’importance de mieux valoriser ces
données dans deux dimensions, la première régionale qui peut être optimisée par une meilleure
articulation organisationnelle comme évoqué ci-dessus. La deuxième, recommandée dans trois

35
évaluations sur quatre, est de mieux valoriser les travaux de surveillance de l’InVS dans des
publications internationales.

Enfin, les comités d’évaluation indiquent des pistes d’amélioration pour une meilleure efficience de la
surveillance proposant ainsi une évolution vers la transmission électronique des déclarations, la mise en
place de systèmes d’information partagés par l’ensemble des acteurs au sein d’un même dispositif, la
mutualisation des ressources en élargissant le champ des indicateurs couverts par les systèmes mis en
place. Des propositions sont également faites pour que l’InVS s’associe avec d’autres partenaires
institutionnels ou universitaires dans le cadre de la mise en place de grandes enquêtes
épidémiologiques ou d’études d’impact de certaines interventions en santé publique afin d’utiliser au
mieux les ressources existantes.

36
Tableau 1.3 : Principales recommandations spécifiques pour les systèmes/dispositifs évalués

Système de Partenaires Utilisateurs/ Points forts Principales recommandations

surveillance ayant Participants Spécifiques
participé à interrogés
l’évaluation
Réseau de CCLIN Paris 48 Utilité pour la prise de décision en Mieux définir les objectifs de
surveillance Nord santé publique surveillance
des bactéries Simplicité du système Apporter des précisions au protocole
multi- national
Très bonne acceptabilité
résistantes*

Système de 41 Qualité des estimations d’incidence Etendre la couverture géographique

surveillance Pérennité et robustesse du système aux départements d’outre-mer
EPIBAC† instauré en 1982 Création d’un comité de pilotage
Simplicité et bonne acceptabilité Etendre la surveillance à d’autres
bactéries d’intérêt
Dispositif de Réseau 142 Dispositif de surveillance clinico- Unification de la surveillance
surveillance de Sentinelles, virologique complet communautaire au sein d’un seul
la grippe réseau des réseau et d’une seule définition de
saisonnière et GROG, cas
Dispositif associant des champs
pandémique ǂ Centre Etendre le plus rapidement possible
disciplinaires multiples
nationaux de la surveillance en temps réel de la
référence mortalité
Grippe Nord Objectifs de surveillance pertinents
Privilégier l’adaptation des systèmes
et Sud et essentiels en termes de santé
de surveillance de grippe saisonnière
publique
aux besoins de la surveillance des
situations de pandémie, par rapport
à la mise en œuvre de nouveaux
systèmes spécifiques à la pandémie
Dispositif de 13£ Dispositif de surveillance vaste et Revoir en profondeur la déclaration
surveillance extensif qui prend en compte la obligatoire de l’infection aigüe par le
des hépatites B diversité épidémiologique des VHB
et C¶ hépatites B et C Inscrire les enquêtes portant sur les
Dispositif réactif et en lien avec les groupes à risque élevé dans une
plans de prévention des hépatites logique de surveillance pluriannuelle.
Des interactions et des partenariats Explorer plus en avant les
nombreux et réactifs possibilités de modélisation pour
estimer la prévalence et la mortalité
des hépatites B et C au niveau
national
Source : références [29-32]
* : réseau de surveillance des bactéries multi-résistantes coordonné au niveau national par le Cclin Paris Nord. Ce réseau de surveillance
constitue l’un des cinq programmes du Réseau d’Alerte d’Investigation et de Surveillance des Infections Nosocomiales de surveillance
(RAISIN) coordonné par l’InVS.† : système de surveillance collectant des informations sur 6 infections invasives bactériennes
(Haemophilus Influenzae, Listeria Monocytogenes, Neisseria meningitidis, Streptococcus agalactiae , pyogenes et pneumoniae) à partir de
laboratoires hospitaliers .ǂ : dispositif comprenant 6 systèmes de surveillance pour la grippe saisonnière (réseau Sentinelles, réseau des
GROG (incluant une partie surveillance virologique), réseau unifié, réseau des urgences hospitalières et réseau SOS médecins,
surveillance virologique par le CNR et 4 systèmes de surveillance grippe pandémique (surveillance des cas individuels, surveillance des
cas groupés, surveillance des cas hospitalisés et surveillance virologique) soit 10 systèmes de surveillance¶ : dispositif comprenant la
déclaration obligatoire de l’infection aigüe par le VHB B, l’activité de dépistage du VHB et du VHC par enquête triennale, le suivi des
patients nouvellement pris en charge pour une hépatite chronique B ou C, des enquêtes de prévalence en population générale et dans des
populations à risque et des analyses de bases médico-administratives soit 13 systèmes de surveillance. £: Utilisateurs uniquement

37
 4. Discussion

Initiée en 2009, la démarche standardisée d’évaluation des systèmes de surveillance selon un protocole
qui inclut l’ensemble des étapes indiquées dans les recommandations internationales est une pratique
encore peu répandue au sein des instituts de santé publique. L’approche institutionnelle systématique
engagée par l’InVS est aussi rarement rapportée dans la littérature. A notre connaissance, seul l’ECDC
a mis en place en 2006-2007 une évaluation systématique des réseaux de surveillance européens.
Cette évaluation n’a cependant pas fait l’objet d’une publication ni d’un rapport public. Avant la création
de cette agence Européenne, chaque réseau était coordonné par un Etat Membre. L’évaluation
systématique de l’ensemble des réseaux de surveillance Européens selon une approche standardisée a
permis de définir les ajustements en vue de la reprise opérationnelle de ces réseaux de surveillance par
l’ECDC [25]. L’Agence de la santé publique du Canada a mené une évaluation de la surveillance
conduite au niveau fédéral [33]. Les objectifs étaient de vérifier la pertinence des surveillances
conduites aux regards des besoins en santé publique, des objectifs et des priorités affichées. Cette
évaluation s’est également intéressée à l’utilisation efficiente ou pas des ressources affectées à la
surveillance. Cette approche globale reste cependant différente de notre démarche car cette évaluation
ne s’est pas intéressée spécifiquement aux performances techniques et à l’utilité des systèmes de
surveillance.

Notre protocole, tout comme celui de l’ECDC a été développé à partir des recommandations sur
l’évaluation des systèmes de surveillance en santé publique élaborées par les US-CDC. D’autres
approches auraient pu être utilisées. En effet, une revue de la littérature parue en 2015 et portant sur
les différents guides ou recommandations sur les évaluations des systèmes de surveillance a identifié
15 approches différentes dans le champ de la santé publique et dans celui de la santé animale [34]. Les
auteurs ont identifié un socle commun d’étapes d’évaluation que sont la description du système à
évaluer, l’élaboration du processus d’évaluation, la mise en œuvre de l’évaluation proprement dite et la
rédaction de conclusions assorties de recommandations. Les auteurs ont retrouvé dans ces guides ou
ces recommandations, 21 attributs visant à évaluer la performance technique des systèmes de
surveillance dont 10 sont inclus dans les recommandations des US-CDC. Par ailleurs, une autre revue
de la littérature parue en 2012 portant sur les évaluations des systèmes de surveillance en santé
publique ou animale a montré d’une part, que près d’un quart des études sélectionnées dans cette
revue s’inspirait des recommandations des US-CDC et que, d’autre part, ces évaluations ne
s’intéressaient qu’à un ou deux des attributs de performance technique [35].

38
Notre approche n’intègre pas non plus l’ensemble des attributs de performance technique. En
particulier, ces évaluations ne cherchent pas à estimer directement certains attributs quantitatifs comme
la représentativité ou la sensibilité qui nécessitent de faire appel à d’autres sources de données ou de
surveillance. Nous avons privilégié l’aspect qualitatif en nous adressant aux participants et aux
utilisateurs potentiels des différents systèmes de surveillance afin d’obtenir une vision globale de l’utilité
de la surveillance produite pour l’aide à la décision et pour l’amélioration des pratiques professionnelles.
Comme indiqué dans les recommandations des US-CDC et dans la littérature [17, 19, 20], l’évaluation
doit rester avant tout un processus souple et doit être adapté aux objectifs et au fonctionnement de
chaque système. Le protocole, et en particulier les questionnaires soumis aux participants et aux
utilisateurs ont dû être adaptés à la spécificité de chaque système évalué.

L’expérience que nous rapportons indique la faisabilité du développement d’un protocole générique et
de son adaptation à différents systèmes ou dispositifs de surveillance dont les objectifs et les
fonctionnements diffèrent. L’utilité pour l’aide à la décision, pour la surveillance épidémiologique ou pour
l’amélioration des pratiques professionnelles est reconnue de manière très favorable dans l’ensemble
des évaluations. L’évaluation de la performance technique des différents systèmes ou dispositifs
évalués est globalement positive. De façon générale, les recommandations n’ont pas remis en cause ni
les fonctionnements, ni les objectifs de surveillance. Elles tracent plutôt des pistes d’amélioration vers
une meilleure reconnaissance du rôle central de l’InVS dans la surveillance nationale, vers une
optimisation de la cohérence et de l’organisation des systèmes de surveillance complexes. Elles
préconisent une recherche d’efficience par mutualisation de certains systèmes, par la mise en place de
systèmes plus performants et économes ou par la recherche de partenariat. Si ces recommandations
apparaissent relativement consensuelles, certaines n’en sont pas pour autant sans enjeux
organisationnels ou institutionnels. Ainsi la recommandation de mutualiser les deux réseaux de
surveillance de la grippe en médecine générale (Réseau des GROG et le réseau Sentinelles) ne
pouvait être qu’à l’origine de tension, tant l’identité historique de ces derniers était grande. Le fait que
cette recommandation soit issue d’un processus d’évaluation porté par une équipe externe
d’évaluateurs lui donne un caractère d’indépendance et de transparence incontestable par l’ensemble
des parties prenantes et facilite grandement sa mise en œuvre même si celle-ci est complexe.

Au-delà de ces recommandations pratiques et l’apport d’un regard extérieur sur les résultats produits, la
mise en place d’un processus d’évaluation au sein de l’InVS a engendré des réflexions et des
discussions enrichissantes sur des aspects stratégiques de la surveillance, aspects le plus souvent

39
négligés ou peu considérés par manque de temps et parce que les épidémiologistes et leur
encadrement sont principalement investis dans les activités opérationnelles quotidiennes.

Par ailleurs, ce processus est à l’origine de la mise en place progressive d’une démarche qualité pilotée
par un groupe de travail transversal associant une approche de maitrise des risques, une instance de
priorisation de nouveaux projets et une extension du processus d’évaluation à d’autres champs de
surveillance (maladies chroniques, santé environnement et santé au travail).

Cette démarche a cependant montré certaines limites. Ces évaluations sont longues (1 an en
moyenne). Elles impliquent une préparation importante de la part des équipes en charge de la
surveillance, une coordination rigoureuse et une planification minutieuse. Elles nécessitent la
participation et la disponibilité de nombreux experts. La fréquence initialement retenue de deux
évaluations par an n’a pu être tenue du fait des éléments précédemment cités. La complexité et la
longueur du processus rendent difficile l’évaluation de tous les systèmes de surveillance mis en place
au sein de l’InVS. A titre d’exemple, le département des maladies infectieuses animait ou coordonnait
en 2009, 72 systèmes de surveillance. L’évaluation de l’ensemble de ces systèmes, à raison d’un par
an, demanderait plusieurs décennies. Pour pallier à cette difficulté, l’InVS a développé un nouveau
protocole (dit d’auto-évaluation)1 plus simple et plus court qui représente une alternative au processus
d’évaluation plus formelle. Des critères sont mis en place pour assigner un type d’évaluation à chaque
système. Ainsi, dans le futur, le protocole d’évaluation décrit dans ce travail est dorénavant réservé aux
dispositifs de surveillance complexes associant plusieurs types de systèmes de surveillance.

Par ailleurs, afin de garantir une sélection plus rigoureuse et objective des experts évaluateurs, l’InVS a
lancé un appel à candidatures d’experts pour ces évaluations. De même, une réflexion a été engagée
sur la sélection des utilisateurs potentiels (jusque-là fournie par les équipes du système de surveillance
évalué) afin de limiter un biais de sélection (favorable) de ces utilisateurs. L’expérience d’une des
quatre évaluations a montré, par ailleurs, qu’un certain nombre d’experts considérés comme utilisateurs
potentiels ne l’étaient pas réellement [36]. Concernant le nombre de participants et d’utilisateurs, les
effectifs initialement définis dans le protocole (respectivement 30 et 20) sont dorénavant discutés pour
chacun des systèmes ou dispositifs évalués.

La question des coûts et de l’efficience de la surveillance a été soulevée par certains comités
d’évaluation qui ont préconisé des pistes de mutualisation de certaines surveillances ou de

1
Données personnelles InVS

40
dématérialisation de certaines déclarations. La dimension médico-économique n’a pas été intégrée
dans le protocole initial. Seule l’estimation des coûts de surveillance était demandée de façon
facultative. Elle a pu être réalisée dans deux des évaluations2.

La question de l’utilité de ces évaluations, dont nous avons pu montrer la relative lourdeur pour l’InVS,
qui les promeut reste posée, en particulier, en quoi ces évaluations servent la stratégie d’amélioration,
d’optimisation et de coordination de ses missions de surveillance ? Sans avoir conduit une évaluation
de l’impact de ces évaluations, globalement, l’expérience pratique a montré que la majorité des
recommandations opérationnelles ont été mises en œuvre formellement dans le cadre de la
programmation annuelle. En particulier, la recommandation de mutualiser les deux systèmes de
surveillance de la grippe en médecine de ville mentionnée ci-dessus a conduit l’InVS à demander aux
deux réseaux de se fondre en un seul. Cette demande n’ayant pas pu être mis en œuvre, un appel à
projet a été réalisé sur la base d’un cahier des charges et a abouti à un réseau unique de surveillance
de la grippe en médecine ambulatoire en 2014 [37].

2 Données personnelles InVS. L’estimation des coûts n’apparait pas dans les rapports finaux publics

41
 5. Conclusion

Fondé sur un processus incluant de nombreuses dimensions, la démarche d’évaluation d’un système
de surveillance est utile et nécessaire afin d’optimiser la qualité des informations produites par la
surveillance. L’évaluation d’un système de surveillance doit rester cependant souple et pouvoir être
adaptée à toutes modalités de surveillance comme nous l’avons montré ci-dessus. L’InVS s’est engagé,
depuis 2009, dans une stratégie d’évaluation formelle et standardisée et a depuis optimisé certains de
ces processus de décision en termes de programmation et de procédure qualité. Au-delà de ces
améliorations institutionnelles, cette démarche est à l’origine de nouveau travaux scientifiques en lien
avec les méthodes d’évaluation des systèmes de surveillance et en particulier des questionnements
sont apparus sur les coûts et les bénéfices de la surveillance en santé publique. Afin d’éclairer le sujet,
un état des lieux de la littérature sur les analyses médico-économiques de systèmes de surveillance a
été entrepris et fait l’objet de la seconde partie de ce travail.

42
II. Revue de la littérature sur les évaluations médico-économiques des systèmes
de surveillance en santé publique

Un article issu de cette partie a été publié dans la revue

« European Journal of Public Health ». Il figure en Annexe 2.1

43
 1. Introduction

Au décours du processus d’évaluation décrit précédemment, la prise en compte de l’efficience de la

surveillance en évaluant les coûts et les bénéfices engendrés par celle-ci est devenue un sujet de
questionnement scientifique et d’évaluation. Les recommandations de l’US-CDC précisent que
l’estimation des coûts des systèmes de surveillance fait partie intégrante du processus d’évaluation et
de la description du fonctionnement du système. Le périmètre des coûts à intégrer devrait contenir au
minimum les coûts en personnel et en matériels bureautique et technique. Elles indiquent, par ailleurs,
que l’évaluation des coûts de surveillance pourrait se faire dans une évaluation économique plus
formelle et précisent que les coûts engendrés doivent être évalués au regard des bénéfices en terme de
prise de décision, de prévention ou de recherche entre autres. Les méthodes nécessaires à ce type
d’évaluation ne sont cependant pas clairement décrites dans ces recommandations. C’est pourquoi les
auteurs précisent ensuite, que pour certains systèmes « une approche plus réaliste serait d’évaluer les
coûts au regard des objectifs et de l’utilité du système de surveillance » [20]. Un rapport de l’OMS
datant de 2005 s’interroge sur la question des coûts et des bénéfices des systèmes de surveillance en
santé publique. Dans leur conclusion, les auteurs stipulent que « peu de travaux théoriques et
empiriques ont été menés pour poser les prémices de mesure des bénéfices. La majorité des
évaluations se concentrent sur le fonctionnement et la structure des systèmes de surveillance et de
réponse plutôt que de mesurer leur impact » [38]. Dans une revue de la littérature publiée en 2015 citée
précédemment, qui répertorie les guides et recommandations pour les évaluations des systèmes de
surveillance, les auteurs montrent que les attributs d’ordre économique sont rarement considérés et ne
sont mentionnés que dans deux approches sur les quinze identifiées [34].

Afin de dresser un état des connaissances et des travaux menés dans le champ de l’évaluation médico-
économique des systèmes de surveillance en santé publique, nous avons réalisé une revue
systématique de la littérature sur le sujet. Dans le cadre de cette revue, les méthodes utilisées pour
estimer les bénéfices d’un système de surveillance sont décrites et analysées.

2. Méthodes

Cette revue de la littérature est menée selon la méthode PRISMA [39] dont la grille de contrôle
permettant de vérifier que tous les critères ont été pris en compte dans la revue se trouve en annexe
2.2. Selon les recommandations du Centre de revue et de dissémination de l’Université de York, il n’y a

44
pas de consensus établi sur le nombre de bases de données à interroger pour une revue de la
littérature. Ces recommandations mentionnent deux bases principales que sont « Medline » et
« Embase ». Elles préconisent également d’interroger des bases de données plus spécialisées en
fonction de la thématique de la revue de littérature [40].

La recherche est menée sur deux bases de données « MEDLINE » et « Scopus ». Cette dernière base
de données dépend du même éditeur que la base de données « Embase » mais couvre plus de revues
à comité de lecture (21 000 revues versus 8 000). Nous avons également mené une recherche la base
de données des évaluations médico-économique développée par le centre de revue et de dissémination
de l’Université de York1,

La recherche est ciblée sur deux sujets principaux : les systèmes de surveillance en santé publique et
les évaluations médico-économiques. Les évaluations médico-économiques sont définies comme
« l’analyse comparative d’options possibles sur la base de leurs coûts comme de leurs conséquences ».
Les quatre principales méthodes d’évaluation médico-économiques sont les analyses cout-bénéfice
(ACB), les analyses coût-efficacité (ACE), les analyses coût-utilité (ACU) et les analyses de
minimisation des coûts [41].

L’ensemble de la recherche comprend cinq stratégies (figure 2.1). La stratégie de recherche N°1
interroge la base de données « MEDLINE » avec des termes « MeSH (Medical Subject Heading) » afin
d’utiliser le thesaurus structuré de la base de données. La stratégie de recherche N°2 interroge la base
de données « MEDLINE » en utilisant des « mots textes (textword) » avec les termes ‘surveillance en
santé publique’ et ‘veille’ dans le titre et dans l’abstract, et les termes ‘coûts’ et ‘bénéfice’ dans le titre.
La stratégie de recherche N°3 interroge la base de données ‘Scopus’ avec l’équivalent des « MesH »
que sont les mots clés (key word). La stratégie de recherche N° 4 conduite dans la base de données
« Scopus » interroge la base de données avec des « mots texte », identiques à ceux de la stratégie
n°2, dans les titres. Les recherches avec des « mots texte » permettent de repérer des articles mal ou
pas encore indexés dans les bases de données interrogées. En complément, la stratégie de recherche
N°5 interroge la base de données de l’université de York (NHS-EED) en associant le terme surveillance
et les termes d’analyse médico-économique d’intérêt. Les critères d’inclusion sont tous les articles
publiés en anglais ou en français dans une revue à comité de lecture portant sur les évaluations
médico-économiques d’un système de surveillance en santé publique. Les méthodes d’évaluation

1http://www.crd.york.ac.uk/CRDWeb/

45
médico-économiques éligibles sont les ACB, les ACE et les ACU. La recherche a été menée sur tous
les articles publiés dans les deux bases de données jusqu’en décembre 2013 inclus. Les critères
d’exclusion concernent les analyses de minimisation des coûts car dans ces analyses, seuls les coûts
sont comparés et les bénéfices sont supposés équivalents [41]. Les comparaisons de coûts entre deux
systèmes de surveillance, les évaluations de coûts seuls et les évaluations d’autres attributs de
performances techniques (réactivité, exhaustivité, acceptabilité…) sont également exclues. Par ailleurs,
dans l’objectif d’identifier des méthodes reproductibles d’évaluations médico-économiques en santé
publique, les évaluations médico-économiques dans le champ de la surveillance animale sont exclues.
Enfin, les articles écrits dans une autre langue que l’anglais ou le français ne sont pas pris en
considération.

Figure 2.1 : stratégies de recherche utilisées dans la revue de la littérature

Stratégie de recherche 1 (base de données « MEDLINE »):
Population surveillance [MeSH] AND Cost-benefit analysis* [MeSH]
Stratégie de recherche 2 (base de données « MEDLINE »):
("Public health Surveillance"[tiab] OR watch [tiab]) AND ((cost*[ti] OR economic*[ti] OR financ*[ti]) AND
(effective*[ti] OR effic*[ti] OR benefi*[ti] OR utilit*[ti]))
Stratégie de recherche 3(base de données « Scopus »):
(population surveillance (keywords) AND cost-benefit analysis (Keywords)
Stratégie de recherche 4 (base de données « Scopus »):
TITLE("Public health surveillance") OR TITLE(watch)) AND TITLE(cost OR costs OR economic* OR
financ*) AND TITLE(effective* OR effic* OR benefi* OR utilit*))
Stratégie de recherche 5 (« base de données NHS-EED »):

« Surveillance » AND (« Cost-benefit analysis » OR “cost-effectiveness analysis” OR “cost-utility

analysis”)
*: Cost-benefit analysis [MeSH] inclut toutes les formes d’analyses médico-économiques

Une première revue des articles sélectionnés par ces différentes stratégies de recherche est effectuée
sur le titre et les abstracts afin d’exclure d’une part, les articles écrits dans une autre langue que le
français ou l’anglais et les articles en lien avec la surveillance vétérinaire d’autre part. Les autres articles
sont éligibles pour une lecture complète afin d’identifier ceux répondant aux critères d’inclusion. En cas
de doute, une discussion collégiale (avec les 2 directeurs de thèse) était engagée avant de prendre la
décision d’inclusion ou d’exclusion.

46
Afin de répondre aux objectifs principaux de cette revue, une sélection des articles satisfaisant les
critères d’inclusion est effectuée. En conformité avec les recommandations internationales sur les
revues de la littérature des analyses médico-économiques, les articles sélectionnés sont analysés en
reprenant les principaux items de la grille d’analyse issue du rapport du « Consolidate Health Economic
Evaluation Reporting Standards » (CHEERS) [42]. Une attention particulière est portée aux méthodes
d’estimation des bénéfices.

3. Résultats

3.1 Sélection des études

Les deux stratégies de recherches dans la première base de données « MEDLINE » ont conduit à 407
articles dont 5 sont retrouvés dans les deux stratégies. Après exclusion de ces doublons, 402 articles
sont identifiés dans cette base de données. Les deux stratégies de recherche dans la base de données
« Scopus » permettent de retrouver 556 articles. La recherche dans les deux bases de données conduit
donc à un total de 958 dont 343 étaient identifiés dans les deux bases de données aboutissant, après
exclusion de ces doublons, à 615 articles originaux. Après une première lecture des titres et des
abstracts, 21 papiers écrits dans une autre langue que le français ou l’anglais et 27 articles en lien avec
la surveillance vétérinaire sont exclus. Au final, 567 articles restent éligibles pour une lecture complète.

Parmi les 567 articles, 106 sont des évaluations médico-économiques (figure 2.2). Elles concernent
majoritairement (n=80) des interventions cliniques (dépistage, traitement, vaccination). Parmi les 26
autres évaluations médico-économiques, 17 portent sur des interventions en santé publique et
finalement 9 sont des évaluations médico-économiques de systèmes de surveillance [43-51]. Parmi les
9 études retenues, 8 sont identifiées dans les deux bases de données de recherche, une est retrouvée
uniquement dans la base de données « Scopus » [44]. Parmi les 567 articles, 461 articles sont exclus
car ils ne sont pas des évaluations médico-économiques. Les différents types de ces 461 articles sont
décrits dans la figure 2.3.

La recherche complémentaire effectuée dans la base de données NHS-EED a identifié 3 articles déjà
sélectionnés par la précédente recherche [43, 45, 51]. L’analyse des références des 9 articles
sélectionnés ne permet pas de retrouver d’autres articles répondant aux critères d’inclusion. Parmi les 9
articles sélectionnés, 2 d’entre eux [47, 50] avaient référencé un autre des articles sélectionnés [45, 49].

47
Finalement, 9 études sont sélectionnées sur 567 références identifiées soit 1,5% du total initialement
détecté.

Figure 2.2 : Diagramme de sélection des articles remplissant les critères d’inclusion

48
Figure 2.3 : Distribution par type des 461 articles qui ne sont pas des évaluations médico-économiques

3.2 Résumé des études sélectionnées

Les études sélectionnées ont été publiées entre 1986 et 2010. Le sujet de ces études porte sur les
maladies infectieuses pour 5 d’entre elles (infection à VIH, épidémie de salmonelle, hépatite aigüe A,
infections à méningocoque et infections à Escherichia Coli (EC) O157 :H7) [45-47, 49, 50]. Trois études
ont pour sujet une exposition environnementale (exposition à un épisode caniculaire, exposition
professionnelle susceptible de provoquer des crises d’asthme, exposition malveillante au charbon) [43,
44, 51]. Enfin, une étude porte sur la mise en place d’un système de déclaration électronique [48]. Ces
évaluations ont été conduites aux Etats-Unis pour 5 d’entre-elles [43-46, 51], au Royaume-Uni pour 3
[47-49] et au Burkina Faso pour 1 [50]. Concernant le type d’évaluations économiques, 5 sont des ACB
[44-46, 48, 49], 3 sont des ACE [43, 47, 50] et la dernière, une ACU [51].

3.3 Estimation des bénéfices

Concernant les ACB, deux d’entre-elles comparent 2 modalités de surveillance (surveillance active
versus surveillance passive et déclaration électronique versus saisie manuelle des données). Les
bénéfices sont estimés par le gain des coûts des infections évitées par la surveillance active pour l’une

49
et par le gain de temps acquis par la déclaration électronique pour l’autre [46, 48]. Une étude portant
sur une épidémie de salmonelle en lien avec la consommation de barres chocolatées estime les
bénéfices de la surveillance par le coût des infections et des décès potentiels évités sous deux
scénarios : les infections potentielles évitées grâce à la mise en place précoce des mesures de contrôle
et la prévention de toute l’épidémie grâce à des mesures de prévention primaire [49]. La quatrième
étude porte sur un système de surveillance d’infections groupées à EC O157:H7 et comme la
précédente, estime les bénéfices de la surveillance par les coûts des infections évitées. Cependant, ne
pouvant estimer le nombre de cas évités lors d’une investigation, les auteurs ont calculé un nombre de
cas minimum que le système de surveillance doit détecter afin que le coût de fonctionnement du
système soit inférieur ou égal au coût des infections détectées à EC O157 :H7. Ce nombre minimum de
cas à identifier est estimé pour la première année de fonctionnement et pour chaque année sur une
durée de 5 ans [45]. La cinquième ACB estime les bénéfices d’un système de surveillance et d’alerte
canicule par le coût des vies sauvées durant les jours où le système a émis une alerte sur une période
de 3 ans. L’excès de mortalité en lien avec la canicule est estimé par régression logistique. Les coûts
des vies humaines estimés dans cette étude proviennent de deux études de la littérature [44].

Concernant les ACE et l’ACU, deux développent un modèle de Markov dans lequel sont comparées
différentes stratégies de surveillance ou de surveillance et de réponse. Dans la première, les auteurs
comparent une surveillance active par dépistage systématique versus une surveillance passive de
l’asthme professionnel dans une cohorte théorique de travailleurs exposés à l’isocyanate [51]. La
seconde étude modélise une menace biologique par inhalation de charbon dans une cohorte théorique
de 1000 individus sur plusieurs sites et dans une cohorte 100 000 individus sur un seul site
respectivement. Les stratégies de surveillance et de réponse comparées sont soit la vaccination, soit un
système de détection précoce et de réponse soit aucune intervention. Ces stratégies sont comparées
sous deux hypothèses que sont une attaque certaine (p=1) et une attaque peu probable (p=0.001) [43].
La troisième étude repose sur un schéma expérimental de type avant/après. Il concerne la mise en
place d’un dispositif intégré de surveillance et de réponse pour les infections à méningocoque. Les
données issues de la surveillance des infections à méningocoque sur les 7 années précédant la mise
en place du dispositif sont comparées à celles des 5 premières années de la mise en place du
dispositif. Les auteurs font l’hypothèse que les différences trouvées dans l’épidémiologie de la maladie
sont dues à la mise en place de ce dispositif de surveillance et de réponse [50 Ces trois études
expriment les résultats sous forme d’un ratio coût-efficacité (utilité) différentiel pour la stratégie la plus
efficiente. Les résultats sont exprimés en termes de vie sauvées, de cas évités ou d’années de vies
gagnées pondérées par la qualité (Quality Adjusted Life Years, QALYs). La quatrième étude tente

50
d’évaluer le ratio coût-efficacité de la surveillance de l’infection par le VIH. Les auteurs soulignent que
ces activités de surveillance font partie intégrante d’un programme intégré de prévention de dépistage
et de prise en charge des patients infectés par le VIH. Les données issues de la surveillance jouent un
rôle important dans les campagnes de prévention et de promotion de la santé en identifiant les sujets et
les pratiques à risque. Les données de surveillance sont utilement employées dans le cadre de
l’allocation des ressources dédiées aux traitements et aux soins des personnes déjà infectées. Les
auteurs ont envisagé deux méthodes d’évaluation. La première, plus proche d’une ACB que d’une ACE,
estime le nombre d’infections que les données de surveillance permettraient d’éviter sous l’hypothèse
que l’information produite par la surveillance et utilisée dans les campagnes de prévention ait un impact
sur le comportement des personnes non infectées. Les auteurs comparent les coûts du programme et
celui d’un patient atteint par l’infection par le VIH dont la durée de vie a été estimée à 12 ans et 11 mois
lors de la période de l’étude (1993-1994). En divisant le coût du programme de surveillance par le coût
d’un patient atteint d’infection par le VIH, ils ont déterminé le nombre de cas d’infection évitables par an
grâce aux données de la surveillance. La deuxième approche estime un ratio coût-efficacité (C/E)
acceptable pour le programme de surveillance. Basée sur un ratio coût-efficacité médian issu de 116
études coûts-efficacité publiées au Royaume-Uni, les auteurs ont estimé le nombre de QALYs que la
surveillance et l’ensemble du programme de prévention et de traitement de l’infection par le VIH
devraient éviter afin d’être considéré comme coût-efficace [47].

3.4 Analyse méthodologique

En s’appuyant sur la grille d’analyse CHEERS [42], les critères suivants ont été analysés : population
cible, lieu de l’étude, période d’étude, perspective utilisée pour l’analyse des coûts, type de coûts
intégrés dans l’analyse, actualisation des coûts, type de bénéfices évalués, existence d’une analyse de
sensibilité et résultats de l’analyse. Les principaux éléments sont décrits dans les Tableaux 2.1 et 2.2.

La population cible concerne un pays ou un état fédéral américain [45, 47, 50], des localités territoriales
[46, 49] ou une ville ([44, 48]). Deux études se sont intéressées via leur modèle à des populations
théoriques [43, 51]. L’horizon temporel est précisé pour quatre études ayant utilisé un modèle, les coûts
sont ajustés sur la période d’analyse pour ces quatre études [43, 45, 50, 51]. Trois études sont basées
sur des évènements rétrospectifs d’une durée de 22 semaines à 3 ans [44, 46, 49]. Deux études portent
sur une année de surveillance [47, 48].

51
L’estimation des coûts de surveillance varie selon les études et dépend d’une part, du périmètre des
activités de surveillance et de réponse considéré par les auteurs et d’autre part, de la perspective
utilisée qui a été précisée dans 5 études [45, 47, 49-51]. Pour les quatre autres études, l’estimation de
coûts ne concerne que le fonctionnement du système [43, 44, 46, 48]. Certaines études incluent les
coûts directs en lien avec le système de surveillance (fonctionnement, coût en capital, ressources
humaines) [47, 48] tandis que d’autres incluent les coûts en lien avec les traitements ou ceux en lien
avec les confirmations biologiques [43, 45, 46, 50]. Dans deux parmi les trois ayant adopté une
perspective sociétale, les coûts indirects en lien avec la perte de productivité et ceux en lien avec les
souffrances des patients sont intégrés [49, 51]. Les mesures des bénéfices sont pour 4 des 5 ACB, le
coût des infections évitées ou le coût des vies sauvées par les activités de surveillance et de réponse
[44-46, 49]. Pour une étude, le bénéfice est estimé en termes de gain de temps [48]. Pour 3 ACE/ACU,
les résultats évalués sont le nombre de QALYs gagnés, le nombre de cas évités ou le nombre de décès
évités par la stratégie la plus efficiente [43, 50, 51]. Pour une ACE, l’estimation ne repose pas sur une
comparaison de stratégie de surveillance et fait appel à des ratios C/E issus d’autres interventions en
santé publique [47]. Les coûts sont actualisés dans quatre études [45, 47, 50, 51] ; deux ne les ont pas
actualisés [43, 44]. L’analyse des coûts dans les trois dernières études qui sont des ACB est
rétrospective [46, 48, 49]. Dans les 5 études ayant utilisé un modèle [43-45, 50, 51], quatre d’entre
elles procèdent des analyses de sensibilité [43, 45, 50, 51].

Parmi les 5 ACB, quatre d’entre-elles concluent à un bénéfice monétaire ou en gain de temps positif de
la mise en place soit d’une modalité de surveillance particulière, soit des activités de surveillance et de
réponse en lien avec un phénomène épidémique ou environnemental [44, 46, 48, 49]. Dans la
cinquième ACB, les auteurs considèrent un seuil de détection minimum de cas à détecter afin de
considérer la surveillance comme coût-bénéfique. Ce seuil de détection minimum est de 5 infections
évitées par an que les auteurs mettent en perspective avec le nombre d’infections déclarés la même
année qui était de 90 [45]. Parmi les 4 ACE/ACU, la première considère qu’une surveillance active par
dépistage de l’asthme professionnel est coût-efficace en comparaison avec une surveillance passive.
La seconde estime la mise en place d’un programme de surveillance et de réponse des infections à
méningocoques coût-efficace en comparaison avec l’absence de programme. La troisième estime que,
sous un des différents scénarios envisagés (attaque certaine p=1 et 100 000 personnes exposées), le
système de surveillance et de réponse est coût-efficace en comparaison avec une stratégie sans
surveillance et réponse. Les auteurs soulignent cependant, que le système de surveillance seul a un
faible impact dans le ratio C/E. Dans la dernière ACE, les auteurs estiment un seuil minimum de
détection d’infections afin de considérer le programme de surveillance et de prévention de l’infection par

52
le VIH coût-efficace (en comparaison avec d’autres interventions de santé). Ce seuil de détection
estimé à 333 infections évitées par an et est mis en perspective avec les nouvelles infections déclarées
par an qui étaient de 2 514, l’année de l’étude [43, 47, 50, 51].

4. Discussion

Alors que l’efficience de la surveillance devient une question essentielle pour toutes les agences de
santé publique et que l’allocation des ressources aux différents programmes représente un enjeu
important de priorisation, les résultats issus de cette revue de la littérature indiquent que l’analyse
médico-économique des systèmes de surveillance en santé publique reste un domaine peu exploré.
Seules 9 études ont pu être identifiées entre 1985 (date la première étude) et 2010 (date de la dernière
étude). Bien que la recherche bibliographique s’étende jusque fin 2013, on constate l’absence de
publication dans le domaine sur les trois dernières années de la recherche bibliographique.

Une revue de la littérature datant de 2012 précédemment citée et portant sur les évaluations des
systèmes de surveillance en santé publique et en santé animale répertorie les attributs de performance
technique étudiés dans ces évaluations. Les critères les plus étudiés sont l’exhaustivité, la réactivité et
la qualité des données. Dans cette revue, les auteurs identifient par ailleurs, 5 études de coût-efficacité
dont 3 en santé publique. Parmi ces 3 études, une seule également retrouvée dans notre revue répond
à la définition d’analyse médico-économique [47]. Les deux autres études sélectionnées sont une
analyse comparative de coûts d’une part et une analyse comparative de coûts et de performance
(basée sur un score comprenant différents items dont les proportions de cas détectés, déclarés ou
confirmés) d’autre part [52 , 53]. Les auteurs de cette revue soulignent également la rareté des
évaluations médico-économiques et plaident en faveur d’un processus d’évaluation standardisé plus
simple que les recommandations de l’US-CDC et qui intègre pleinement la dimension économique [35].
Ils rejoignent en cela les auteurs de la revue de la littérature portant sur les différents protocoles et
recommandations pour les évaluations des systèmes de surveillance pour insister sur l’importance
d’intégrer l’aspect économique dans l’évaluation des systèmes de surveillance [34, 35]. L’absence de
méthodologie clairement définie dans les différentes recommandations pourrait en partie expliquer le
peu de littérature publiée sur les analyses médico-économiques de systèmes de surveillance.

Dans cette revue de la littérature, trois méthodes d’analyses médico-économiques ont été retenues : les
ACB, les ACE et les ACU. Les deux dernières méthodes citées fournissent des informations

53
importantes en comparant différentes stratégies de surveillance et en les mettant en perspective avec
d’autres interventions de santé [54]. Cependant, le bénéfice mesuré dans ces études est limité au
nombre d’évènements de santé prévenu par une stratégie par rapport à une autre. Dans le cadre des
systèmes de surveillance, les ACE et les ACU devraient comparer idéalement une stratégie de
surveillance versus aucune surveillance afin d’estimer le bénéfice propre à cette stratégie, ce qui pose
des problèmes à la fois éthiques (peut-on se passer de certaines surveillances ?) et de faisabilité
lorsque l’on se pose la question du bénéfice d’une surveillance déjà en place.

Les analyses coût-bénéfice retenues dans cette revue de la littérature estiment les bénéfices de la
surveillance en évaluant le nombre de cas ou de décès prévenus par la surveillance et attribuent une
valeur monétaire à chaque cas ou décès prévenu. Si les coûts engendrés par le système de
surveillance sont inférieurs ou équivalents aux coûts du traitement des cas ou des décès prévenus,
alors le système de surveillance est considéré comme coût-bénéfique [55]. Cette méthode
classiquement utilisé dans l’ensemble des ACB implique l’estimation de nombreux coûts comme ceux
des différentes présentations cliniques, des différents stades de la maladie ou encore ceux des
différents traitements possibles. Dans le cas des décès, il est nécessaire, de plus, de disposer de
données sur la valeur monétaire d’une vie sauvée à différents âges ou à défaut de mettre en place des
études ad hoc.

L’estimation des coûts d’une intervention de santé répond à une démarche standardisée et nécessite
une approche méthodologique par étapes qui permet de définir la perspective utilisée, de décrire
l’ensemble des coûts directs et indirects, d’inventorier l’ensemble des ressources impliquées et
d’assigner une valeur monétaire à chacune de ces ressources. Par ailleurs, dans le cadre d’analyses
médico-économiques, il convient d’appliquer un taux d’actualisation aux futurs coûts et bénéfices
engendrés par une intervention de santé [56]. Dans la présente revue de la littérature, l’analyse des
coûts varie beaucoup d’une étude à l’autre au regard des types de coûts inclus dans la surveillance
mais aussi et surtout au regard des activités de surveillance considérées par les auteurs de chaque
étude. Si l’on se réfère au rapport de l’OMS [38] portant sur les coûts et les bénéfices d’un système de
surveillance et de réponse, les auteurs de ce rapport préconisent d’inclure dans l’analyse de coûts, ceux
liés aux activités de surveillance d’une part mais aussi ceux liés à la réponse. Le périmètre d’activités
considérées (surveillance et réponse) répond selon ces auteurs à la finalité même de cette surveillance
qui est de mettre en place des mesures de réponse et de contrôle dès qu’une menace sanitaire est
avérée. Un cadre conceptuel d’un système de surveillance en santé publique publié en 2002 décrit six
activités principales de surveillance comme la détection, l’enregistrement des données ou l’analyse et

54
deux activités de réponse (à court et à long terme) comme composants principaux d’un système de
surveillance. Ce cadre conceptuel pourrait aider, s’il était suivi, à mener des analyses de coûts plus
standardisés [57]. Plusieurs études de cette revue de la littérature [43, 45, 49, 50] ont inclus les coûts
en lien avec les activités de réponse permettant ainsi aux auteurs de l’étude d’estimer les bénéfices par
le coût des cas prévenus par ces activités. Néanmoins, cette approche est plus difficile à mettre en
œuvre lorsque l’objectif principal des activités de surveillance n’est pas en lien avec une réponse
immédiate. Cette difficulté est illustrée dans une des études sélectionnées et qui porte sur la
surveillance de l’infection par le VIH. Les auteurs soulignent leur difficulté à estimer les bénéfices
apportés par cette surveillance qui est cependant cruciale pour guider les mesures de prévention et
pour aider à l’allocation de ressources des différentes activités de promotion de la santé. Les auteurs
indiquent ainsi que les bénéfices engendrés par cette surveillance ne peuvent être distingués de ceux
apportés par l’ensemble du programme de lutte contre le VIH qui comprend un large spectre d’activités
de prévention, de dépistage et de surveillance [47].

Si l’on revient aux recommandations des US-CDC, les coûts et les bénéfices d’un système de
surveillance en santé publique doivent être évalués au regard d’autres critères tels que l’utilité du
système de surveillance ou d’autres attributs de performances techniques. Les méthodes d’estimation
des coûts et des bénéfices ne prennent pas en compte l’ensemble de ces critères et pourraient mener à
une surestimation ou une sous-estimation de ces bénéfices si certains des objectifs assignés
initialement à la surveillance n’étaient pas atteints ou si au contraire, l’utilité de la surveillance telle que
perçue et jugée par les parties prenantes était plus importante que le seul coût du nombre de cas évités
par les activités de réponse en lien avec cette surveillance. Plus généralement, estimer les bénéfices
d’une surveillance uniquement par les coûts des cas évités peut paraître une approche limitée car
d’autres facteurs non monétaires doivent être considérés. La perception de la société, du pouvoir
politique et des directions d’administration de la santé que les menaces sanitaires potentielles sont
surveillées et contrôlées de façon réactive peut engendrer, notamment par le relais des média, un
sentiment de sécurité et de réassurance. Ainsi d’autres bénéfices économiques ou sociétaux de la
surveillance et plus largement de la veille sanitaire existent lorsque des épidémies de grande ampleur
sont évitées ou dont les conséquences peuvent être sensiblement réduites quand elles sont détectées
précocement, permettant aux personnes de continuer à travailler et à consommer.

Cette revue de la littérature présente certaines limites. La première concerne la recherche

bibliographique. Le terme ‘surveillance en santé publique’ est un terme spécifique. Nous avons donc
choisi un terme MESH plus générique dans « MEDLINE » : Surveillance des populations dans lequel

55
est inclus le terme spécifique : surveillance en santé publique. Ce choix a amené, en conséquence, une
sélection d’un nombre important d’études cliniques et médicales et une faible proportion d’études en
santé publique. Parmi les neuf études sélectionnées dans cette revue, huit sont retrouvées dans les
deux bases de données interrogées. Ces deux éléments permettent d’affirmer que peu d’évaluations
médico-économiques de systèmes de surveillance en santé publique ont été publiées. Le risque d’avoir
manqué un article est probablement très faible. D’autres stratégies de recherche ont été testées. Une
stratégie de recherche avec le terme ‘Surveillance en santé publique’ ne permet de retrouver que 7
références et aucune de celles finalement sélectionnées dans cette revue de la littérature. Par ailleurs,
une recherche sur l’évaluation des systèmes de surveillance et du type d’évaluation (médico-
économique ou non) conduit à un nombre important de références (plus de 1200) et ne retrouve pas
l’ensemble des études sélectionnées avec la stratégie de recherche finalement retenue.

La deuxième limite de cette revue repose sur la distinction parfois ténue entre surveillance en santé
publique et surveillance médicale. Certaines des études sélectionnées [43, 50, 51] dans cette revue ont
fait l’objet de discussion afin de décider si elles relevaient ou non de la surveillance. Enfin, cette revue a
pour objectif initial de faire un état des lieux dans un champ peu ou pas exploré et non pas de revoir ou
d’analyser la qualité des analyses publiées. Certaines difficultés méthodologiques et certaines
différences entre les études sont soulignées afin de mettre en lumière l’absence de méthodologie claire
et standardisée pour les analyses médico-économiques dans le champ de la santé publique. L’objectif
secondaire est de décrire les méthodes utilisées dans cette étude et non les résultats bien que la
plupart de ces études ont considéré que la surveillance étudiée présentait un coût-bénéfice favorable.

5. Conclusion

Cette revue de la littérature démontre que peu d’études visant à estimer les bénéfices d’un système de
surveillance ont été publiées. L’approche la plus fréquemment utilisée consiste à estimer les bénéfices
d’un système de surveillance par le coûts des cas ou des décès évités grâce aux activités de
surveillance et de réponse ou d’estimer le différentiel du nombre de cas évités sur le différentiel de
coûts en comparant deux stratégies de surveillance. Estimer les bénéfices d’un système de surveillance
pose donc certaines questions : quelles activités de surveillance et de réponse inclure pour l’évaluation
du bénéfice ? Comment estimer les bénéfices d’une surveillance pour laquelle aucune action de
contrôle immédiate n’est requise ? Comment estimer ces bénéfices en tenant compte d’autres critères
d’évaluation comme l’atteinte des objectifs, l’utilité ou des critères de performance technique ?

56
Comment prendre en compte les bénéfices non monétaires induits par la surveillance, en particulier
ceux liés au retentissement social au sens large ?

Au vu de ces limites, d’autres méthodes d’analyse économique comme la méthode des choix discrets
basée sur les préférences déclarées des personnes interrogées pourraient apporter des éléments de
réponse aux questions posées. La mise en œuvre d’une étude exploratoire faisant appel à cette
méthodologie fait l’objet de la troisième partie de ce travail.

57
Tableau 2. 1 : Analyses coût-bénéfice sélectionnées
Nom 1er Pays Méthodes Estimation des bénéfices Estimation des coûts Principaux résultats
auteur Année de
(ref) publication
Ebi USA Estimation par régression linéaire d’un excès de Chaque alerte émise par le Pas de perspective, ni taux Sur 45 jours, le système a sauvé
(9) 2005 mortalité pendant 45 jours de canicule système sauve 2,6 vies sous d’actualisation mentionnés 117 personnes de plus de 65
correspondant à une alarme statistique d’un l’hypothèse qu’il n’y a pas de Coûts liés à la mobilisation des ans. Une vie est estimée à $4M,
système de veille et d’alerte météo déplacement de mortalité. Une personnels durant l’alerte soit un bénéfice de $468M
valeur monétaire est assignée à
chaque vie sauvée
Elbasha USA Estimation d’un nombre seuil de cas Estimation d’un coût moyen social Perspective sociétale Le système est considéré coût-
(10) 2000 d’Escherichia Coli (EC) O157 qu’un système de d’une infection à EC O157. Coûts Taux d’actualisation appliqué bénéfique si il détecte 5 cas par
surveillance doit prévenir afin que le coût de ce médicaux, de perte de productivité an pendant 5 ans ou 14 cas la
Coûts de mise en place et de
système soit égal aux bénéfices sous deux et de coûts en lien avec la perte de première année (90 cas ont été
fonctionnement du système de
scénarios vie déclarés dans l’année de
surveillance ; coûts d’une investigation
l’étude)
épidémiologique et biologique

Hinds USA Comparaison surveillance active de cas Coûts des cas prévenus d’hépatite Pas de perspective mentionnée La surveillance active permet
(11) 1985 d’hépatite A versus surveillance passive A parmi les contacts des patients Analyse rétrospective des coûts d’identifier 2,8 fois plus de cas
identifiés par la surveillance active que la surveillance passive. Le
Coûts en lien avec la surveillance active :
ratio bénéfice : coût est de 25.1
personnel, transport, et coûts liés à la
en faveur de la surveillance
prophylaxie des contacts
active
Payne Royaume-Uni Comparaison du temps de travail dans la gestion Estimation du gain de temps après Pas de perspective mentionnée Gain de temps estimé à 400 h
(13) 1992 des données de surveillance entre une gestion l’introduction d’une procédure Analyse rétrospective des coûts par an
manuelle et une procédure automatisée de automatisée de saisie D’autres bénéfices en lien avec
Coûts en capital (logiciel), coût de
saisie une meilleure qualité des
fonctionnement du système et de la
formation du personnel données ou une satisfaction du
personnel sont évoqués mais
non quantifiés
Roberts Royaume-Uni Comparaison d’une intervention précoce de Mise en place de mesures de Perspective sociétale. Analyse Le ratio bénéfice : coût est
(14) 1989 contrôle d’une épidémie à Salmonelle versus contrôle pour une épidémie à rétrospective des coûts estimé à 3,51 pour le secteur
l’absence d’intervention Salmonelle comparée à l’absence Coûts de surveillance, des traitements public et à 23,1 pour la société
d’intervention ambulatoires et hospitaliers
Coûts indirects : perte de productivité,
douleur, décès, coûts des produits
rappelés ou détruits

58
Tableau 2.2 : Analyses coût-efficacité sélectionnées
Nom 1er Pays Méthodes Efficacité Estimation des coûts Principaux résultats
auteur Année de
(ref) publication
Brathwaite USA Modélisation d’une attaque biologique par Nombre de vies sauvées Pas de perspective, ni de taux d’actualisation. En cas d’attaque certaine, le
(8) 2006 spores de charbon sur 100 et 100 000 Coûts des traitements et des vaccinations, ratio C/E incrémental du
personnes. Comparaison de différentes coûts des soins ambulatoires et hospitaliers système d’alerte et de réponse
stratégies de mitigation incluant un système est de $73/vie sauvée pour une
Coûts de mise en œuvre et de fonctionnement
d’alerte et de réponse exposition de 100 000
du système de surveillance
personnes et augmente à $168
000/vie sauvé pour une
exposition de 100 personnes
Morris Royaume-Uni Estimation des coûts et des bénéfices d’un Estimation du nombre de vies Perspective gouvernementale Basé sur un ratio C/E médian
(12) 1996 programme de surveillance et de prévention prévenues par le programme Taux d’actualisation appliqué défini par les auteurs (1994£
de surveillance et de VIH par le 14 721), les auteurs estiment à
Coûts en capital, en personnel et en
biais de contaminations évitées 9.5 le nombre d’infections à
consommables pour 6 mois de surveillance du
éviter par le programme afin qu’il
programme
soit considéré comme coût-
efficace (2541 nouveaux
diagnostics de VIH en 1993-94)
Somda Burkina Faso Estimation de l’impact d’un programme intégré Nombre de cas prévenus Perspective gouvernementale Le ratio C/E incrémental du
(15) 2010 de surveillance et de réponse aux méningites. Nombre de décès évités Taux d’actualisation appliquée programme est de $39 par cas
Les données de surveillance avant et après la prévenus et de $98 par décès
Nombre de séquelles Coût de chaque activité du programme
mise en place de programmes sont comparées. par méningite évités
prévenues (personnel, transport, consommables,
laboratoires, capital)
Coûts médicaux (national et régional)
Wild USA Modèle de Markov comparant une surveillance Nombre de Qalys sauvées Perspectives sociétale et employeur Pour 100 000 travailleurs
(16) 2005 active à une surveillance passive de l’asthme Taux d’actualisation appliqué exposés pendant 10 ans, le ratio
professionnel dans une cohorte de 100 000 C/E incrémental pour la
Coûts de dépistage et de diagnostic
travailleurs exposés surveillance active est de
Coût en lien avec la perte de productivité et £24000/Qalys
l’absentéisme
Coûts des traitements ambulatoires et
hospitaliers

59
60
III. La méthode des choix discrets appliquée à des systèmes de surveillance et de
veille sanitaire en maladies infectieuses : une étude exploratoire

Un article issu de cette partie a été soumis à Eurosurveillance.

La version soumise se trouve en Annexe 3.1

61
 1. Introduction

Estimer les bénéfices de la surveillance uniquement par le coût des infections évitées ou des vies
sauvées ne rend pas compte de l’ensemble des conséquences sur la santé qu’induit la mise en place
d’un système de surveillance, en particulier dans une finalité de sécurité sanitaire dans un monde
globalisé où la circulation des personnes et des biens favorise la diffusion des maladies infectieuses et
de leur impact en temps réel. La surveillance et par extension la veille sanitaire ont une valeur d’usage
direct ou indirect pour la collectivité grâce à la mise à disposition réactive de données et d’informations
utiles pour l’aide à la décision publique et la mise en place des mesures de contrôle et de prévention
précoces appropriées. Il existe aussi une valeur de non usage ou d’existence de la surveillance en
santé publique et de la veille sanitaire comme la perception ou le sentiment de sécurité induit par la
conscience que des moyens et des dispositifs sont en place pour détecter et prévenir les menaces
sanitaires. D’autres bénéfices comme l’altruisme ou la contribution à la recherche existent mais sont
difficilement quantifiables. La valeur de la surveillance et de la veille sanitaire peut être mesurée au
regard des préférences des individus pour la santé et la sécurité sanitaire. L’activité de santé publique
et de veille sanitaire n’a pas de valeur marchande mais a une valeur économique. Les économistes qui
travaillent sur les fixations de valeur monétaires de bien pour lesquels il n’existe pas de marché, ont
proposé différentes méthodes visant à estimer la disposition collective à payer pour une activité ou un
bien de santé. Parmi ces techniques d’évaluation, la technique des préférences déclarées permettent
de recueillir les préférences des individus sur des situations expérimentales mimant des marchés
hypothétiques. Deux principales méthodes sont en œuvre dans ces techniques. L’évaluation
contingente consiste à interroger directement les individus sur leur consentement à payer pour une
action ou un bien de santé évalué mais ne permet pas de connaitre l’importance accordée par l’individu
à chacune des caractéristiques sur laquelle les personnes ont fondé ce consentement à payer. La
méthode des choix discrets est la seconde de ces méthodes que nous mettons en œuvre dans le cadre
de ce travail [38, 58 , 59].

La méthode des choix discrets est une méthode de l’analyse de la structure des préférences des
individus. Elle repose sur l’une des principales hypothèses en économie selon laquelle l’individu tend à
choisir parmi plusieurs biens celui qui procure l’utilité la plus grande. Dans cette approche, les individus
tirent une satisfaction (utilité) non pas du bien qu’ils consomment mais d’une combinaison spécifique

62
des caractéristiques qui constituent ce bien. Un changement de l’une de ces caractéristiques peut
orienter la préférence de l’individu vers une autre combinaison d’attributs.

La mise en œuvre de cette méthode consiste à recueillir les préférences des individus pour une série de
différents scénarios (ou alternatives) hypothétiques présentés en demandant aux personnes
interrogées d’indiquer, à chaque fois, le scénario qu’ils préfèrent. Les scénarios sont constitués par une
combinaison fixe de critères (ou attributs) dont les modalités (ou niveaux) diffèrent et qui compose le
bien ou l’action de santé. Le modèle permet ainsi de déterminer l’importance relative de chaque attribut
prise en compte dans l’évaluation et d’estimer la valeur ou l’utilité partielle que l’individu attache à
chaque niveau des attributs. Différentes spécifications peuvent être retenues sur la fonction d’utilité, si
l’on considère une fonction d’utilité additive, l’utilité globale pour un bien ou une action de santé est la
somme des utilités partielles assignées à chacun des niveaux des attributs composant le bien ou
l’action de santé [60-63].

2. Objectifs de l’étude

Le travail présenté dans cette partie a testé l’application et la faisabilité de la méthode des choix
discrets pour :

1. Estimer l’importance accordée à certains critères (attributs) constitutifs de système de

surveillance
2. Estimer les consentements marginaux à payer pour les différents niveaux des attributs du
système de surveillance étudiés.

3. Méthodes

La mise en œuvre d’une analyse par méthode des choix discrets est constituée de plusieurs étapes que
sont l’identification des attributs et leurs niveaux, la mise en place du schéma expérimental, le choix
d’une méthode de révélation des préférences, la constitution d’un échantillon de répondants, la collecte
des données et le choix du modèle d’estimation utilisé pour l’analyse des données [60, 64, 65].

63
3.1 Identification des attributs

Discutés et validés au sein d’un panel d’épidémiologistes seniors de l’InVS ayant une forte expérience
en matière de surveillance des maladies infectieuses, les attributs retenus pour cette étude sont au
nombre de 6 et concernent les caractéristiques du pathogène (n=3) et des critères en lien avec la
performance technique d’un système de surveillance (n=3).

Parmi les critères caractérisant le pathogène, ont été retenus :

1. La prévalence : Elle représente le nombre de personnes atteintes par l’infection à la fin de

l’émergence ou la fin de l’épidémie.
2. Le taux de létalité : il représente la proportion de décès chez les personnes infectées par le
pathogène. Ce critère sera désigné ‘létalité’ dans le reste du document.

3. Le taux de reproduction de base R0 : Il représente le nombre de cas secondaires directement

infectés par un sujet contagieux dans une population totalement susceptible en début
d’émergence ou en début d’épidémie.

Les critères caractérisant le système de surveillance sont les suivants :

1. Le seuil de détection de la surveillance : il correspond au seuil minimum de la proportion de cas

que le système de surveillance doit capter en début d’émergence ou d’épidémie afin d’éviter
une diffusion large de l’infection dans la population. Ce critère sera dénommé ‘seuil de
détection’ dans le reste du document
2. La valeur prédictive positive de la définition de cas : elle correspond à la proportion de cas
suspects (d’après la définition de cas clinique) qui ont été confirmés positifs pour l’infection par
un test biologique. Ce critère sera dénommé ‘VPP de la définition de cas’ dans le reste du
document

3. Les coûts de la surveillance : Ils correspondent aux coûts directs pour l’institution en charge de
la surveillance et qui comprennent le coût en ressources humaines dédiées à la surveillance et
le coût des personnels déployés en appui sur cette surveillance, le coût des subventions
fournies aux partenaires de la surveillance, le coût de la confirmation des cas par le CNR. Les
coûts en lien avec la prise en charge des patients et ceux en lien avec les mesures de contrôle
ne sont pas pris en compte.

64
3.2 Détermination des niveaux de chaque attribut

Pour définir les niveaux d’attributs, les données issues de la surveillance d’émergences antérieures ou
d’épidémie saisonnières ont été utilisées.

Les systèmes de surveillance considérés concernent trois émergences infectieuses et une épidémie de
grippe saisonnière. Les émergences considérées sont l’épidémie de grippe A(H1N1) pdm09 (période de
surveillance : avril 2009-mars 2010) ; l’épidémie de chikungunya dans les départements français
d’Amérique (DFA) (décembre 2013-avril 2014), la surveillance renforcée de cas importés ou
autochtones sur le territoire français de maladie à virus Ebola (juillet 2014-avril 2015). La surveillance
de l’épidémie saisonnière retenue est celle de la grippe saisonnière 2014-2015 (octobre 2014-avril
2015).

a) Maladie à virus Ebola

Le taux de reproduction de base (R0) retenu est celui estimé par les équipes de l’organisation mondiale
de la santé lors des neuf premiers mois de l’épidémie en Afrique de l’Ouest, et en particulier en Guinée
R0 : 1.75 [1.44-2.01]. La létalité provient de la même source qui indiquait un total de 2296 décès parmi
4507 cas probables ou confirmés soit une létalité de 50,9% (létalité retenue : 50%) [66]. Durant la
période de surveillance en France, aucun cas n’a été déclaré. La prévalence et l a VPP de la définition
de cas sont égales à 0. L’estimation des coûts de la surveillance Ebola s’élève à 988 038 €.

b) Grippe pandémique A(H1N1) pdm09

Selon une revue de la littérature portant sur 56 articles ayant estimé le R0, la valeur médiane du R0 est
égale à 1.46 [1.30-1.70]. Nous avons retenu la valeur de 1.5 [67].

Le taux de létalité de la grippe pandémique varie entre 0.0004% et 0.6% dans la littérature. Cependant
une méta-analyse portant sur 19 pays a conclu à un taux de létalité de 0.02%. C’est la valeur retenue
dans l’étude [68, 69].

La prévalence en fin d’épidémie a été estimée à partir de deux sources. Une étude de séroprévalence
sur donneurs de sang avant et après l’épidémie indique un taux de séroconversion de 12.2 % [IC95% :
6.9-20.5]. Une étude en population générale a estimé, à partir des consultations pour syndromes
grippaux, que 13 à 24% de la population avait été infectés. Une prévalence moyenne de 16% a été
retenue, soit 10 millions d’individus rapportés à la France métropolitaine. Dans le cadre de la

65
surveillance individuelle, 4867 signalements de cas possibles ont conduit à identifier 358 cas (7,3%). La
VPP retenue est de 10% [70, 71].

Les coûts de la surveillance de la grippe pandémique A(H1N1) pdm09 s’élèvent à 11 264 982 € et sont
inhabituels pour une surveillance. En effet, l’émergence de la grippe pandémique A(H1N1) pdm09 a
occasionné la mise en place d’une organisation dédiée au sein de l’InVS avec réaffectation en interne
de personnels sur cette surveillance spécifique qui a été renforcée, une augmentation des personnels
en astreinte (heures et jours non ouvrés), une mobilisation inhabituelle des services administratifs et
logistique et le recrutement de ressources externes en jours ouvrés et en période d’astreinte. Les frais
généraux ont été calculés au prorata des équivalents temps plein mobilisés. Pour les autres infections
considérées dans l’étude, des frais généraux de 15% ont été appliqués.

c) Chikungunya dans les départements français d’Amérique

Le taux de reproduction de base (R0) estimé sur les premiers cas déclarés dans la zone Caraïbes est
estimé entre 2 et 4 [72]. Nous avons retenu la valeur de 3. Le taux de létalité estimé sur des données
de l’épidémie ayant sévit à la réunion en 2006 est de l’ordre de 1 pour mille. C’est ce taux qui a été
retenu [73]. La prévalence retenue provient également des données de la Réunion où une étude de
séroprévalence dans la communauté a retrouvé un taux de personnes infectées de 38.2%
[IC95% :35.9-40.6] [74]. Le taux de prévalence de 38.2 % a été appliqué à la population des
départements de la Martinique et de la Guadeloupe et conduit à une valeur de 323 465 personnes. La
prévalence retenue pour l’étude est de 350 000. La valeur prédictive positive de la définition de cas
pour le chikungunya dans les DFA a été estimée sur des données de la surveillance des cas individuels
en Martinique sur les deux premiers mois de l’émergence et s’élève à 80%1. Les coûts de la
surveillance s’élèvent à 1 233 412 €.

1Données InVS non publiées

66
 d) Grippe saisonnière 2014-2015

Selon une revue de la littérature portant sur 24 articles ayant estimé le R0 des grippes saisonnières, la
valeur médiane du R0 est de 1.28 [1.19-1.37]. Nous avons retenu la valeur de 1,2. Le bilan de la saison
grippale fait état de 2 900 000 consultations pour syndrome grippal. Selon une étude, les consultations
en médecine libérale représentent 57% des syndromes grippaux. Le nombre de personnes infectées
est de 5 089 719. Nous avons retenu une prévalence de 5 millions. Le taux de létalité a été estimé à
partir du de l’excès de mortalité toutes causes pendant la saison (18 300) et le nombre total de
personnes infectées (5 089 719). L’estimation est de 0,36%. Nous avons retenu un taux de létalité de
0,3%. Le taux de prélèvements positifs en médecine de ville s’élève à 55.5%. Nous avons retenu la
valeur de 50% pour la VPP [37, 67, 75]. Les coûts de la surveillance de la grippe saisonnière 2014-15
s’élèvent à 2 313 769 € (Tableau 3.1).

Tableau 3. 1 : Synthèse des valeurs des niveaux de cinq attributs pour les quatre infections considérées selon les
données de la littérature et les bilans de surveillance
Létalité Prévalence VPP Coûts
R0
(%) (Ind) (%) (€)
Ebola 1.75 50% 0* 0 988 037
Grippe pandémique
1.5 0.02% 10 000 000 10 11 264 982
A(H1N1)pdm09
Chikungunya 3 0,1% 350 000 80 1 233 412
Grippe saisonnière 1.2 0.3% 5 000 000 50 2 313 769
* : aucun cas autochtone en France métropolitaine ; % : pourcentage ; Ind : individus, € : Euros, VPP : valeur prédictive positive de la
définition de cas

A la suite de l’identification de l’ensemble des valeurs des différents niveaux d’attributs, une nouvelle
discussion de validation au sein d’un petit panel d’épidémiologistes de l’InVS et d’un économiste de la
santé a eu lieu afin de s’assurer d’une part de la cohérence et de la plausibilité des scénarios
engendrés et de discuter de l’étendue des valeurs de certains niveaux d’attributs [60]. Les modifications
suivantes sont apportées :

Les valeurs de seuil de détection sont idéalement proches de 100% en début d’émergence afin de
limiter l’extension de l’émergence. Afin de pouvoir tester différents niveaux de seuils de détection, les
valeurs de ces seuils sont réparties entre 10% et 100%.

En l’absence de cas autochtone de maladie à virus Ebola, une prévalence en fin d’émergence à 0 cas
pose des problèmes de cohérence de certains scénarios, en particulier avec les données des valeurs

67
prédictives positives (exemple : une valeur prédictive positive de 50% ne pouvait aboutir à une
prévalence de 0 individu infecté). Les données de prévalence et de valeur prédictive positive issues de
l’infection à MERS-CoV ont été utilisées car il s’agit également d’une émergence très rare pour laquelle
seuls 2 cas autochtones ont été diagnostiqués sur le territoire national [76]. Nous avons retenu la
valeur : ‘moins de 10 personnes’ et la valeur prédictive positive de 2% car une centaine de cas
possibles avait été testés lors des premiers mois (mai -novembre 2013) de l’émergence.

Les valeurs des niveaux des coûts sont redistribuées de manière homogène entre le minimum et le
maximum de ces valeurs comprises entre 1 et 12 millions d’euros.

Certaines valeurs du taux de reproduction de base étaient très proches, il est décidé de prendre une
valeur de R0=2 à la place de R0=1.75 (Tableau 3.2).

Tableau 3.2 : Valeurs des différents niveaux pour les 6 attributs

Seuil de
Taux de reproduction Létalité Prévalence VPP Coûts
détection
de base (%) (Ind) (%) (M€)
(%)
1,2 0,02 Moins de 10 2 10 1
1,5 0,1 350 000 10 50 2,5
2 0,3 5 000 000 50 75 6
3 50 10 000 000 80 100 12
% : pourcentage ; Ind : individus, M€ : Millions d’Euros, VPP : valeur prédictive de la définition de cas

3.3 Le schéma expérimental

Le schéma expérimental repose sur la combinaison des attributs et de leurs différents niveaux dans les
différents scénarios inclus dans l’ensemble des choix. Un plan factoriel complet permet de tester
l’ensemble des combinaisons possibles. Cependant, le nombre de scénarios qui découle de ces plans
factoriels complets devient très vite élevé. Dans le cas de cette étude, le nombre de scénarios s’élève à
46 (soit 4096 combinaisons). L’utilisation des plans factoriels fractionnaires permettent de réduire le
nombre de combinaisons en sélectionnant un échantillon d’expériences les plus efficientes possibles
c’est-à-dire que les paramètres du modèle discret retenus soient les plus précis possibles [77].

68
Pour optimiser cette efficience, des auteurs [78] ont défini quelques principes que sont :

1. l’orthogonalité : ce critère est satisfait lorsque les niveaux de chaque attribut varient
indépendamment les uns des autres ;
2. l’équilibre en niveau : il est vérifié lorsque les niveaux de chaque attribut apparaissent à la
même fréquence ;

3. l’écart minimal : ce critère est validé quand un niveau d’attribut ne se répète pas au sein d’un
même scénario ;

4. l’équilibre en utilité : cette propriété est satisfaite quand les utilités associées à chacun des
scénarios sont équivalentes. Cette propriété est difficile à vérifier et nécessite a priori une
connaissance de la structure des préférences des personnes interrogées.

Il convient de préciser qu’il est difficile de créer des schémas expérimentaux qui satisfassent à ces
quatre principes simultanément [77].

Afin de générer le plan d’expérience, nous avons utilisé le logiciel Xlstat™ (Addinsoft, France) avec la
création d’un plan factoriel fractionnaire D-optimal pour générer les différents profils (combinaison
d’attributs) et la création des plans en blocs incomplets pour la génération des choix. Ce plan
d’expérience prend en compte les effets principaux des attributs (les interactions ne sont pas
considérées).

Le nombre de profils minimum requis est de 19 (6 attributs à 3 degrés de liberté +1). Le nombre de
comparaisons doit être égal au minimum au nombre de profils. Afin d’assurer l’équilibre en utilité, le
nombre de profils générés devait être divisible par le nombre d’attributs (ici 4) [77]. Nous avons donc
retenu 20 profils et 20 comparaisons.

Les différents profils retenus dans ce plan d’expérience et la comparaison des profils sont présentés en
Annexes 3.1 et 3.2.

3.4 La constitution de l’échantillon de répondants

Pour cette étude de faisabilité, le panel des répondants est un échantillon de convenance. Les
répondants sont sélectionnés sur les critères suivants :

69
 1. Décideurs dans le champ de la sécurité sanitaire aux niveaux central et régional
2. Professionnels de santé travaillant dans le domaine des maladies infectieuses et professionnels
de santé ayant des compétences en surveillance et /ou en prévention
3. Economistes de la santé

Il n’existe pas de méthode de référence concernant le nombre de participants à sélectionner pour la

méthode des choix discrets car ce nombre dépend, entre autres, du nombre de profils, de
comparaisons ou de la précision des estimations désirées [60, 64]. Nous avons appliqué une des
méthodes les plus référencées dans la littérature [79]. Elle est présentée en Annexe 3.3. Cette
estimation indique un nombre de personnes nécessaires entre 30 et 50.

Une première liste de 50 personnes sélectionnées selon les critères ci-dessus a été identifiée. Une liste
de réserve de 10 personnes a été également constituée. Ces personnes étaient sollicitées dans un
second temps en cas de refus des premières sollicitées.

3.5 La collecte des données

Les professionnels sélectionnés ont reçu une invitation à participer par courriel à une étude portant sur
l’évaluation médico-économique d’un système de surveillance. Après acceptation de la personne
sollicitée, une lettre d’information contenant les objectifs de l’étude et une description de la méthode
était envoyée. La lettre d’information figure en Annexe 3.4.

Après acceptation de la personne sollicitée, le questionnaire était passé soit en face à face, soit par
téléphone. Dans cette dernière situation, le questionnaire était envoyé à l’interviewé au début de
l’entretien.

Avant chaque entretien (face à face ou téléphonique), une explication orale des objectifs de l’étude et
de la méthode était donnée et l’enquêteur répondait aux questions éventuelles de l’interviewé,
notamment en termes de compréhension de la finalité du travail.

Le questionnaire consiste en 20 comparaisons de deux systèmes de surveillance hypothétiques

caractérisés par la valeur des différents attributs présentés ci-dessus et sans aucune référence à une
pathologie spécifique.

70
L’interviewé devait répondre à la question suivante : « Parmi ces deux systèmes de surveillance, lequel
mettriez-vous en place en priorité ? ». Une option de non choix était possible et le répondant pouvait
indiquer « aucun des deux ». Aucune autre précision n’était apportée concernant cette option de non
choix.

L’ordre de présentation des profils était réparti aléatoirement. Les critères étaient présentés dans le
même ordre pour tous les profils.

Toutes les interviews ont été effectuées par le même enquêteur. Un exemple de comparaison de profils
est présenté en Annexe 3.5.

A la fin du questionnaire, deux questions supplémentaires étaient posées :

1. Il était demandé à l’interviewé de répartir 100 points parmi les 6 critères en fonction de
l’importance qu’il accordait à chacun des critères
2. Une évaluation de la difficulté du questionnaire sur une échelle allant de 1 (très facile) à 6 (très
difficile)

3.6 L’analyse des données

a) Une première analyse descriptive exploratoire porte sur

1. Une estimation moyenne des scores d’importance des différents critères

2. Une estimation moyenne de la difficulté des questionnaires

3. La fréquence des options choisies sur les 20 comparaisons de profils

b) L’estimation des coefficients des différents attributs [60-62, 80-83]

Les modèles de choix discrets sont fondés sur la théorie de l’utilité aléatoire. Cette théorie repose sur le
principe que l’utilité pour le scénario i de l’individu n se décompose en une utilité déterministe (Vin) une
composante aléatoire (εin) qui n’est pas discernable par l’analyste (équation 1).

Uin = Vin + εin Equation 1

71
L’utilité déterministe est une fonction des attributs du bien ou du service de santé et des
caractéristiques des individus où X’in est le vecteur des attributs composant le bien (équation 2).

Vin = X′in β Equation 2

En faisant l’hypothèse que l’individu agit rationnellement et qu’il tend à choisir le scénario lui procurant
la plus grande utilité et que l’analyste ne peut observer la ‘réelle’ fonction de l’utilité de l’individu n, on
estime une fonction d’utilité probabiliste. Sous l’hypothèse de choix entre deux scénarios i et j, la
probabilité qu’un individu n choisisse le scénario i est égale à la probabilité que la différence entre
l’utilité aléatoire entre toutes les autres scénarios j et le scénario i est inférieure à la différence entre
l’utilité déterministe du scénario i et celle de l’utilité déterministe de toutes les autres scénarios j qui
composent l’ensemble des choix. On estime ainsi dans le modèle, la différence d’utilité entre deux
scénarios caractérisés par les niveaux d’utilité de chaque attribut (équation 3).

Pin = Prob(Uin − Ujn ) > 0 = 𝑃𝑟𝑜𝑏(Vin + εin > Vjn + εjn )

= Prob(Vin − Vjn > εjn − εin ) ∀ i ≠ j Equation 3

Les hypothèses posées quant à la distribution du terme aléatoire déterminent le modèle à choix discret
retenu pour estimer la fonction d’utilité indirecte des individus interrogés.

Dans le cas de la méthode des choix discrets avec option de choix entre deux alternatives ou plus, le
modèle logistique multinomial (multinomial Logit) est le plus souvent utilisé. Ce modèle est estimé sous
l’hypothèse que les termes d’erreurs aléatoires (εi) sont indépendants et identiquement distribués selon
une loi de Gumbel (distribution de valeur extrême de type 1) dont la variance équivaut à µ 2π2/6 où µ
représente un paramètre d’échelle. La probabilité conditionnelle que l’individu n choisisse le scénario i
parmi tous les scénarios j de l’ensemble des Choix C est donnée par l’équation 4:

exp(μVin)
Pin = , j = 1….J Equation 4
∑Jj=1 exp(μVjn)

72
Des équations 2 et 4, on déduit l’équation 5 :

expμ(X′in β)
Pin= j = 1, … . , J Equation 5
∑Jj=1 expμ(X′jn β)

Dans les équations 4 et 5, le facteur µ (paramètre d’échelle inversement proportionnel à la variance de

la distribution des erreurs) ne peut être identifié lorsque l’on ne dispose que d’une seule source de
données. Afin d’estimer uniquement l’impact des choix de l’individu, on pose l’hypothèse que le
paramètre d’échelle µ est égal à 1. Sous l’hypothèse que l’utilité déterministe est linéaire dans ses
paramètres et que les variances de la distribution des erreurs sont constantes (µ=1), le modèle permet
d’estimer les valeurs des coefficients de régression β par la méthode du maximum de vraisemblance.
On peut réécrire l’équation 2 et déterminer la fonction d’utilité pour le scénario i de l’individu n par
l’équation 6 :

Vin = β0i + β1 Xi1 + β2 Xi2+ … … … . . +βk Xik Equation 6

Avec k=1,2…K attributs et β1……βk, les valeurs des coefficients des attributs à estimer.

L’hypothèse du modèle logistique multinomial (Logit multinomial) selon laquelle les termes d’erreur
aléatoire sont indépendants et identiquement distribués implique une propriété comportementale
importante qui est l’indépendance par rapport aux alternatives non pertinentes (Independance from
Irrelevant Alternatives (IIA)). Elle implique que, pour un individu n donné, la probabilité relative que
l’individu choisisse le scénario i plutôt que le scénario j ne dépend que des caractéristiques des
scénarios i et j. La probabilité relative de choix entre ces deux scénarios est indépendante des autres
scénarios offerts à l’individu et qui n’ont pas été retenus dans l’arbitrage. Cette propriété forte est
difficilement vérifiée en particulier si les scénarios proposés au choix sont proches. En cas de non-
respect de cette propriété, les estimateurs du modèle logistique multinomial sont biaisés et
ininterprétables.

Le modèle logistique emboité (nested logit) permet de partiellement lever l’hypothèse de distribution
indépendante des erreurs aléatoires. Ce modèle est utilisé lorsque les choix proposés aux répondants
peuvent être répartis dans des groupes partageant une qualité que l’on ne retrouve pas dans les autres

73
groupes. Dans ce modèle, le processus de décision se décline à deux niveaux. Au niveau agrégé, le
répondant choisit entre les différents groupes. Au niveau le plus fin, le répondant choisit parmi les
différents scénarios à l’intérieur d’un même groupe. La propriété d’indépendance par rapport aux
alternatives non pertinentes est vérifiée parmi les différents scénarios d’un même groupe mais ne l’est
pas entre les scénarios des différents groupes.

Le modèle logistique à paramètres aléatoires (random coefficients model ou mixlogit) est un modèle
plus souple qui permet l’hétérogénéité des préférences des répondants traduite par une distribution des
erreurs aléatoires non identiques entre individus. Il tient également compte du fait que les facteurs non
observables influant le choix d’un individu tout au long d’une succession de profils de choix sont
constants et corrélés entre eux (stabilité des préférences individuelles). Dans l’estimation de ce modèle,
un ou plusieurs coefficients β des attributs ne sont plus fixes mais varient selon les préférences
individuelles des répondants selon une distribution déterminée (figure 3.1).

c) Estimation de consentement marginal à payer

L’intégration des coûts parmi les attributs permet de révéler indirectement le consentement à payer de
l’individu pour le bien ou l’action de santé. Le consentement marginal à payer (ou prix implicite) est un
taux marginal de substitution entre le coefficient β de l’attribut considéré et le coefficient α de l’attribut
coûts [59, 61, 62]. (Equation 7).

β
Consentement marginal à payer (MWTP) = − Equation 7
α

74
 Figure 3.1 : Différents modèles d’estimation des coefficients des attributs source : [62]

Modèle Logistique multinomial

Hypothèse de distribution identique et indépendante des erreurs

Propriété d’indépendance par rapport aux alternatives non pertinentes

Modèle Logistique
Hétéroscédastique

Distribution des variances des erreurs

différentes selon les individus ou les
alternatives

Modèle Logistique Modèle Logistique

emboité à paramètres aléatoires

Modèle souple permettant de lever la

Propriété d’indépendance par rapport aux
propriété d’indépendance par rapport aux
alternatives non pertinentes vérifiée entre les
alternatives non pertinentes
options de choix d’un même groupe

L’ensemble des analyses a été mené avec le logiciel Stata™ (versions 12 et 13, Stata Corp, College
Station, TX, USA) en utilisant les différentes procédures (« clogit », « hetlogit », « nlogit », « mixlogit »
et la spécification de cette procédure pour les estimations de consentement à payer « mixlogit in wtp
space ») relatives aux différents modèles d’estimation et des tests de spécification de ces modèles. Le
modèle avec termes d’erreur hétéroscédastiques et le modèle logistique emboité sont utilisés comme
des tests de spécification du modèle logistique multinomial [84, 85].

75
 4. Résultats

4.1 Analyse exploratoire

Sur l’échantillon initial de 50 répondants potentiels, 7 ont refusé de participé (taux de réponse : 86%),
ce qui a amené la sollicitation de 7 experts de la liste complémentaire qui ont tous accepté de répondre.
L’échantillon final de répondants est constitué de 18 décideurs (groupe 1), 22 professionnels de santé
(groupe 2) et 10 économistes de la santé (groupe 3).

L’analyse de l’importance des critères montre que la létalité est le premier critère d’importance pour les
répondants quel que soit son expertise (décideurs, professionnels de santé ou économistes). Les
critères prévalence et coûts sont les deux critères suivants en termes d’importance pour l’ensemble des
répondants. Des différences existent cependant selon les groupes. Les économistes et les
professionnels de santé placent le critère coûts au deuxième rang en termes d’importance tandis que
les décideurs privilégient la prévalence. Ces derniers par ailleurs placent l’attribut coûts en 5ème position
par ordre d’importance. Les valeurs attribuées à chacun des critères ne sont pas significativement
différentes selon les groupes de répondants (Tableau 3.3).

Tableau 3.3 : Importance des différents critères pour l’ensemble de l’échantillon et selon la catégorie de répondants

R0 VPP Seuil Létalité Prévalence Coûts

[IC95] [IC95] [IC95] [IC95] [IC95] [IC95]
Ensemble 12.0 12.0 13.0 31.3 16.6 15.1
[9.7-14.3] [10.1-13.6] [11.0-15.1] [27.5-35.1] [14.4-18.9] [12.36-17.90]
Groupe 1: 10.7 13.4 11.8 34.2 18.7 11.2
Décideurs [6.6-14.8] [10.5-16.3] [8.0-15.5] [26.7-39.7] [14.9-22.6] [8.0-14.4]
Groupe 2 : 14.4 11.0 14.3 26.0 16.2 18.0
Professionnels [10.9-17.9] [8.3-13.7] [11.7-16.9] [20.4-31.6] [13.0-19.4) [13.1-23.0]
de santé
Groupe3 : 9.2 10.9 12.9 37.0 13.5 16.5
Economistes [4.0-14.4] [5.6-16.2] [6.08-19.71] [25.8-48.2] [7.1-19.9] [8.8-24.1]

76
La difficulté du questionnaire est estimée à 4.36 [4.05-4.65] sur une échelle de 1 (très facile) à 6 (très
difficile). Les économistes de la santé représentent le groupe qui a jugé significativement plus facile le
questionnaire par rapport aux deux autres groupes (Tableau 3. 4).

Tableau 3.4 : Score (sur 6) de la difficulté ressentie du questionnaire pour l’ensemble des participants et selon la
catégorie de répondants

Ensemble 4.36 [4.05-4.65]

Décideurs 4.52 [4.15-4.9]
Professionnels de santé 4.67 [4.24-5.1]
Economistes 3.40 [2.63-4.16]

L’analyse des fréquences des réponses montre que les répondants ont choisi majoritairement un profil
à une fréquence supérieure à 70% des cas pour 16 des 20 comparaisons proposées. L’option de non
choix a été choisie dans 19 comparaisons sur 20 avec des fréquences allant de 2 % (1 répondant) à
14% (7 répondants) (Figure 3.2).

Figure 3.2: Fréquence de l’option de non choix et du choix majoritaire pour les 20 comparaisons

100
90
80
70
Pourcentage de réponse

60
50
40
30
20
10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
N° comparaison

Option de non choix Choix majoritaire

77
4.2 Estimation des coefficients des attributs

Une première estimation des coefficients est effectuée en utilisant un modèle logistique multinomial
dont les résultats sont présentés dans le Tableau 3.5.

Tableau 3.5 : Estimation des coefficients des attributs avec un modèle logistique multinomial

Variable Coefficient Ecart-type Valeur du p

Constante - 2.596 0.333 0.000*
Coûts (M€) - 0.064 0.012 0.000*
Seuil (%) - 0.006 0.001 0.000*
VPP (%) - 0.0003 0.001 0.824
Let (%) 0.018 0.006 0.001*
R0 - 0.219 0.052 0.676
Prev (M-Ind) 0.087 0.025 0.000*
Coûts : coûts de la surveillance, M€ : millions d’Euros ; Seuil : seuil de détection ; % : pourcentage ; VPP : valeur prédictive de la définition
de cas ; let : létalité ; R0 : taux de reproduction de base Prev : prévalence ; M-Ind : millions d’individus ; * : valeur significative avec degré
de significativité au minimum inférieur à 1 pour mille.

L’hypothèse d’homoscédasticité des termes d’erreur est rejetée. La variance des termes d’erreur
dépend des caractéristiques des individus. L’estimation d’un modèle logistique emboîté amène aussi à
rejeter l’hypothèse d’indépendance par rapport aux alternatives non pertinentes. Les résultats de ces
deux modèles sont présentés en annexe 3.6. Les hypothèses sous tendant le modèle logistique
multinomial ne sont pas vérifiées. Les estimateurs des coefficients de la fonction d’utilité sont donc
biaisés. En conséquence, seuls les résultats du modèle logistiques à coefficients aléatoires sont
interprétés.

Une estimation des coefficients des attributs est effectuée par un modèle à coefficients aléatoires sans
corrélation (Tableau 3.6) et un modèle à coefficients aléatoires avec corrélation (Tableau 3.7).

La comparaison des deux modèles par un test de rapport de vraisemblance nous indique :

1. Modèle 1 : estimation par modèle logistique à coefficients aléatoires sans corrélation. Rapport
de log-vraisemblance : -622.49 (14 degrés de liberté (ddl))
2. Modèle 2 : estimation par modèle logistique à coefficients aléatoires avec corrélation. Rapport
de log-vraisemblance : --592.29 (35 ddl)

Test de rapport de vraisemblance : Chi 2 (21 ddl)=68.46 (p=0.0000)

78
On retient donc le modèle 2 prenant en compte les corrélations entre les coefficients aléatoires du
modèle.

Tableau 3.6: Moyenne et écart-type des coefficients des attributs à effets aléatoires estimés par un modèle
logistique à effets aléatoires sans corrélation

Variable Coefficients Valeur Ecart-type

Moyenne du p Moyenne
(écart-type) (écart-type)
Constante - 3.472 0.000* 1.515
(0.476) (0.298)
Coûts (M€) - 0.099 0.000* 0.042
(0.016) (0.022)
Seuil (%) - 0.008 0.000* 0.011
(0.002) (0.003)
VPP (%) 0.003 0.171 0.006
(0.002) (0.003)
Let (%) 0.070 0.000* 0.084
(0.015) (0.016)
R0 0.099 0.305 0.081
(0.097) (0.120)
Prev (M-Ind) 0.160 0.000* 0.217
(0.033) (0.030)
Coûts : coûts de la surveillance, M€ : millions d’Euros ; Seuil : seuil de détection ; % : pourcentage ; VPP : valeur prédictive de la définition
de cas ; let : létalité ; R0 : taux de reproduction de base Prev : prévalence ; M-Ind : millions d’individus ; * : valeur significative avec degré
de significativité au minimum inférieur à 1 pour mille.

79
Tableau 3.7: Moyenne et écart-type des coefficients des attributs à effets aléatoires estimés par un modèle
logistique à effets aléatoires avec corrélation

Variable Coefficient Valeur Ecart-type

Moyenne du p Moyenne
(écart-type) (écart-type)
Constante - 3.118 0.000* 1.436
(0.424) (0.417)
Coûts (M€) - 0.099 0.000* 0.074
(0.018) (0.022)
Seuil (%) - 0.008 0.000* 0.009
(0.002) (0.002)
VPP (%) 0.003 0.190 0.009
(0.002) (0.003)
Let (%) 0.077 0.000* 0.090
(0.021) (0.018)
R0 0.088 0.382 0.035
(0.101) (0.130)
Prev (M-Ind) 0.179 0.000* 0.245
(0.037) (0.033)
Coûts : coûts de la surveillance, M€ : millions d’Euros ; Seuil : seuil de détection ; % : pourcentage ; VPP : valeur prédictive de la définition
de cas ; let : létalité ; R0 : taux de reproduction de base Prev : prévalence ; M-Ind : millions d’individus ; * : valeur significative avec degré
de significativité au minimum inférieur à 1 pour mille.

Par ailleurs, les coefficients de deux attributs VPP et R0 sont non significatifs. La comparaison du
modèle 2 avec corrélation et où tous les coefficients des attributs varient aléatoirement avec un modèle
3 avec corrélation et où les coefficients de deux attributs (VPP et R0) sont fixes est indiqué ci-dessus

1. Modèle 2 : estimation par modèle logistique avec coefficients de tous les attributs à effets
aléatoires. Rapport de vraisemblance : -529.29 (35 ddl)
2. Modèle 3 : estimation par modèle logistique avec coefficients de deux attributs (VPP, R0) à
effets fixes. Rapport de vraisemblance : -599.51 (22 ddl)

3. Test de rapport de vraisemblance : Chi2 (13ddl)=14.49 (p=0.34)

Le test de rapport de vraisemblance est non significatif. On retient donc le modèle final estimé par un
modèle logistique à coefficients aléatoires avec corrélation sauf pour les attributs VPP, R0 qui sont
considérés comme fixes (Tableau 3.8). Il existe des corrélations significatives entre le coefficient de
l’attribut létalité et celui de l’attribut prévalence (p=0.001) et entre le coefficient de l’attribut seuil de
détection et celui de l’attribut coûts (p=0.028).

80
Afin de définir les valeurs des coefficients pour chaque niveau des attributs significatifs, ces derniers ont
été codés en variables indicatrices. Les résultats présentés en Annexes 3.6 et 3.7 montrent que, une
prévalence inférieure à 10 cas, des coûts de surveillance supérieurs à 12 millions, une létalité faible
(0.002%) et des seuils de détection à 75% et à 100% sont jugés négativement par les répondants. Les
amplitudes sont estimées par la différence entre la valeur maximale et la valeur minimale des
coefficients des différents niveaux de chaque attribut. L’amplitude ainsi estimer permet de d’évaluer
l’importance de chacun des critères. La létalité (amplitude : 2.58) est l’attribut jugé comme le plus
important devant la prévalence (1.34), les coûts (1.23) et le seuil de détection (1.06).

Les valeurs positives des coefficients associés aux attributs prévalence et létalité indiquent que les
répondants de notre étude préfèrent privilégier des systèmes de surveillance avec prévalence et létalité
élevées. A l’inverse, les valeurs négatives des coefficients seuils de détection et coûts de la surveillance
indiquent une préférence des répondants pour des seuils de détection faible et des coûts de
surveillance peu élevés. Les attributs VPP et R0 ne semblent pas influencer les préférences des
répondants.

81
Tableau 3.8 : Moyenne et écart-type des coefficients des attributs à effets aléatoires et valeurs des coefficients des
attributs à effets fixes par un modèle logistique avec effets aléatoires et avec corrélation.

Moyenne des coefficients

Valeur Moyenne des écart-types
Variable aléatoires
du p (écart type)
(écart-type)
- 3.123 1.436
Constante 0.000*
(0.419) (0.417)
- 0.087 0.074
Coûts (M€) 0.000*
(0.017) (0.022)
- 0.008 0.009
Seuil (%) 0.000*
(0.002) (0.002)
0.063 0.090
Let (%) 0.000*
(0.017) (0.018)
0.154 0.245
Prev (M-Ind) 0.000*
(0.034) (0.033)
Valeur des coefficients
fixes
(écart-type)
0.003
VPP (%) 0.155
(0.002)
0.102
R0 0.289
(0.096)
Coûts : coûts de la surveillance, M€ : millions d’Euros ; Seuil : seuil de détection ; % : pourcentage ; VPP : valeur prédictive de la définition
de cas ; let : létalité ; R0 : taux de reproduction de base Prev : prévalence ; M-Ind : millions d’individus ; * : valeur significative avec degré
de significativité au minimum inférieur à 1 pour mille.

82
4.3 Estimation de consentement à payer marginal

Les estimations de consentement à payer marginal sont estimées pour les attributs avec coefficient significatif
et sont présentées dans le Tableau 3.9.

Tableau 3.9 : Estimation des valeurs des coefficients significatifs pour le consentement à payer marginal

Variable Coefficient Borne inférieure Borne supérieure Valeur du p

IC 95 IC 95
Constante - 36.2328 - 53.5503 -18.9153 0.000*
Seuil (%) - 0.12284 - 0.2020 -0.0437 0.002*
Létalité (%) 0.895567 0.3350 1.4561 0.002*
Prévalence (M-Ind) 2.35724 1.1486 3.5565 0.002*
Seuil : seuil de détection, M-Ind : millions d’individus, % : pourcentage ; * : valeur significative avec degré de significativité au
minimum inférieur à 2 pour mille.

Ces estimations indiquent que les répondants de cette étude sont disposés à payer en moyenne.

1. 2.36 M€ [IC95 : 1.15-3.55] pour un accroissement de 1 million d’individus de la prévalence de

l’émergence ou de l’épidémie surveillée
2. 895 570 € [IC95 :335000-1.45M€] pour une augmentation de la létalité du pathogène de 1%

3. Le coefficient négatif de l’attribut seuil nous indique par ailleurs qu’en moyenne les répondants sont
disposés à payer 122 840 € [IC95 :43700-202000] pour une diminution du seuil de détection de 1%.

La valeur absolue du coefficient de la constante est très élevée. Le consentement à payer impliquerait un
montant minimum de 36 M€, bien supérieur aux valeurs réelles des coûts des surveillances sélectionnées pour
cette étude. Au vu de ce résultat, nous ne nous pouvons pas estimer un consentement à payer pour un
système de surveillance.

83
 5. Discussion

Les méthodes des choix discrets ont connu ces dernières années un essor important en économie de la santé. Une
récente revue de la littérature parue en 2012 portant sur les années 2001-2008 a identifié 114 études contre 34 sur
la décennie précédente (1990-2000). La majorité des études ont été menées au Royaume-Uni. Ces études
concernaient essentiellement l’évaluation des préférences de certains patients vis-à-vis de traitement ou de certaines
prises en charge et de cliniciens vis-à-vis de certaines pratiques. Peu d’études étaient en lien avec une
problématique de santé publique. Enfin, aucune ne concernait un système de surveillance [86].

Cette étude de faisabilité visant à appliquer la méthode des choix discrets pour évaluer la valeur économique d’un
système de surveillance est donc inédite. Selon les résultats de notre étude, les attributs létalité et prévalence et
seuil de détection sont les facteurs qui influencent le plus les préférences des répondants pour la mise en place d’un
système de surveillance d’une émergence infectieuse telles que celles qui sont apparues lors de la dernière
décennie.

En se référant sur le signe et la significativité des coefficients de régression, les répondants privilégient la mise en
place des systèmes de surveillance pour des émergences ou des épidémies à prévalence élevée. Différentes
interprétations sont possibles pour ce résultat. Une prévalence faible pourrait être le résultat d’une surveillance
performante qui a permis de contrôler l’émergence et d’empêcher une diffusion large dans la population. On peut, au
contraire, considérer que si la prévalence en fin d’épidémie est faible, cette émergence ne représente pas une réelle
menace pour la santé publique et ne nécessite pas la mise en place d’une surveillance dédiée. Les répondants ont
privilégié dans cette étude la deuxième hypothèse, ce d’autant que dans les scénarios présentés, il était précisé que
les mesures de contrôle étaient en place. Comme pour la prévalence, les répondants ont privilégié des taux de
létalité élevés pour justifier la mise en place d’une surveillance. Dans le cadre d’émergence, le taux de létalité peut
ne pas être connu à l’apparition des premiers cas ou être largement surestimé. Cette situation a été observée lors de
l’émergence de la pandémie A(H1N1) pdm09 où le taux de létalité observé sur les premiers cas déclarés à Mexico était
de l’ordre de 0.3 à 1.8% et faisait craindre une pandémie avec un impact élevé sur la mortalité [87]. Le taux de
létalité a été depuis largement revu à la baisse. Nous avons retenu dans cette étude une létalité beaucoup plus
faible de 0.02% [68]. Cependant les premières estimations de létalité déterminées très précocement au début de
cette émergence au Mexique ont conduit à des surveillances renforcées et à des mesures de contrôle drastiques
dans la majorité des pays occidentaux, et en France en particulier. L’importance du taux de létalité conforte les choix

84
opérés pour la grippe pandémique A(H1N1)pdm09 au début de son émergence. La qualité des premières estimations
des paramètres influençant le plus les décisions publiques comme la létalité d’un pathogène émergent est donc
cruciale alors même que ces premières estimations souvent déterminées sur un faible nombre de patients posent de
nombreux problèmes méthodologiques [88].

Caractérisée par une mortalité relativement faible mais touchant des gens plus jeunes que la grippe saisonnière, un
portage asymptomatique important et une prévalence élevée, la perception de la grippe pandémique A(H1N1)pdm09
par le grand public et les professionnels de santé était jugée comme relativement bénigne. Les moyens mis en
œuvre pour cette surveillance et le coût qui en découle peuvent apparaitre comme disproportionnés [89]. A l’inverse,
déclarée urgence de santé publique de portée internationale par l’Organisation mondiale de la santé dès août 2014,
la maladie à virus Ebola a affecté plus 28 000 individus et causé près de 11 300 décès fin 2015 [90, 91]. La létalité
très élevée de ce pathogène, les difficultés à juguler l’épidémie en Afrique de l’Ouest et le diagnostic de cas pour la
première fois en Europe et aux Etats-Unis pouvaient rendre tout à fait plausible la diffusion de cas en France. Aucun
cas autochtone n’a été diagnostiqué sur le sol métropolitain confortant ainsi les choix opérés d’une surveillance
renforcée.

En France, dès 1996, un exercice basé sur un consensus d’experts a défini une stratégie de surveillance des
maladies infectieuses. Trois critères principaux avaient été retenus dont une incidence et une létalité élevées [18].
En 2008, dans un exercice de priorisation de critères de santé publique justifiant la mise en place d’un système de
surveillance, une étude allemande basée sur une revue des expériences similaires dans d’autres pays, indique que
le poids des critères létalité et incidence sont prédominants dans la priorisation [92]. En 2012, un exercice de
priorisation de surveillance, contrôle et prévention des zoonoses au Canada et aux USA a utilisé une méthode de
choix discrets. Le panel interrogé était des professionnels de santé incluant des spécialistes de santé animale. Les
deux critères les plus influents dans le choix de priorisation étaient la létalité et l’incidence avec une utilité croissante
des niveaux les plus faibles aux niveaux les plus élevés [93].

Le coefficient de l’attribut du seuil de détection des premiers cas pour limiter la diffusion large de l’émergence est
négatif. Plusieurs explications de ce résultat sont possibles. Les répondants considèrent qu’un seuil de détection bas
pouvant limiter la diffusion est plus performant qu’une surveillance exhaustive et par là même plus utile. Il peut
également exister une défiance des répondants sur la capacité d’un système de surveillance à pouvoir capter tous
les cas émergents. Ce résultat est a priori en contradiction avec les pratiques actuelles dans la surveillance et le
contrôle de diffusion d’une émergence sur le sol métropolitain. En effet, à l’instar du plan de prévention et de lutte

85
contre la pandémie grippale [94], il est classiquement préconisé de limiter la diffusion de l’émergence par la détection
systématique des premiers cas. Cette démarche de surveillance repose sur un circuit spécifique permettant le
signalement sans délai des cas répondant à la définition de cas suspects, en vue d’une évaluation clinico-
épidémiologique, et sur le recensement et le suivi des personnes ayant été en contact avec une personne infectée.
Cette démarche repose donc sur un seuil de détection le plus élevé possible (idéalement proche de 100%) et a été
par exemple mis en place lors de la pandémie grippale A(H1N1) pdm09 et plus récemment lors de l’épidémie de la
maladie à virus Ebola en Afrique de l’Ouest [71, 95].

Prévalence élevée en fin d’émergence, taux de létalité élevé et seuil de détection des premiers cas bas sont les
critères préférés des déclarants dans cette étude. Ce choix est fait, a posteriori, au décours de l’émergence.
Cependant, comme suggéré plus haut, il convient de noter que certains de ces critères peuvent être inconnus ou
surestimés au début de l’émergence. Des scénarii d’anticipation sont souvent produits en début d’émergence avec
des hypothèses plus ou moins pessimistes [72, 96]. Dans une perspective de santé publique, les scénarii les plus
pessimistes sont, a priori, privilégiés pour l’aide à la décision et les mesures de prévention et de contrôle. La
question de leur remise en cause au cours de la progression des connaissances qui accompagne la diffusion de
l’émergence est donc cruciale. Elle implique une flexibilité (qui n’a pas été prise en compte dans la construction des
scénarii) des systèmes de surveillance et de mesures de santé publique. Pour ce faire, les structures publiques de
sécurité sanitaire et de santé publique doivent faire preuve d’une capacité de recul et d’adaptation, rendue difficile le
plus souvent par la pression sociale et médiatique qui apparait lors de ces situations sanitaires exceptionnelles.

La valeur prédictive positive de la définition de cas (VPP) fait partie des critères de performance technique dans les
évaluations d’un système de surveillance [20]. Le R0 est un indicateur du potentiel épidémique du pathogène. Selon
les résultats de notre étude, ces deux attributs n’ont pas d’influence significative sur le choix d’un système de
surveillance. Une explication possible de ce résultat pourrait être la technicité de ces attributs. Ils sont probablement
moins « parlants » aux non experts que des attributs plus immédiatement compréhensibles comme la létalité.

La valeur du coefficient de l’attribut coûts de la surveillance est significativement négative. Cependant, comme le
montre les résultats sur les différents niveaux de coûts de surveillance en annexe 3.6, seul le coefficient du niveau
maximum (12M€) de cet attribut est significativement négatif. Ce coût élevé de 12 M€ n’est pas habituel pour les
systèmes de surveillance mis en place à l’InVS. Il correspond au coût de la grippe pandémique A(H1N1) pdm09 qui
était une situation inhabituelle pour laquelle un plan interministériel de réponse avait été instauré. Cette situation
inhabituelle à implique une organisation inédite de la surveillance par la mobilisation de nombreux agents de l’InVS

86
et le recours à des ressources externes. Les autres niveaux de coûts de surveillance ne semblent pas prohibitifs aux
répondants et pourraient suggérer que les coûts de la surveillance présentés dans cette étude apparaissent
appropriés, aux regards des objectifs poursuivis, pour les répondants.

Cette étude permet d’estimer des consentements à payer marginaux pour trois des cinq attributs. Ces résultats
inédits dans l’évaluation des systèmes de surveillance en santé publique constituent une première indication. Ces
estimations demandent néanmoins à être confirmées par d’autres études. Dans les estimations de consentement à
payer, nous avons obtenu une valeur absolue de la constante très élevée qui ne permet pas d’estimer de
consentement à payer pour un système de surveillance. Le coefficient de la constante reflète les effets moyens de
critères influant le choix du répondant mais qui ne sont pas intégrés dans le modèle. Il peut également refléter en
partie, la non-participation de certains répondants n’ayant pas choisi entre les deux scénarios proposés [65, 80].
L’intégration d’une option de non-choix dans une méthode de choix discrets peut avoir un impact sur les résultats
des coefficients de régression des attributs testés. Par ailleurs, la propriété d’indépendance par rapport aux
alternatives non retenues est difficilement vérifiée avec une option de non choix versus la comparaison de deux
systèmes de surveillance. Dans notre étude, la construction du modèle emboité nous a effectivement indiqué que
cette propriété ne tenait pas. La non-participation concerne entre 2% (un individu) et 14% (7 individus) des
répondants sur l’ensemble des 20 comparaisons proposées. Par ailleurs, les répondants avaient le choix entre 2
systèmes de surveillance ou aucun des deux (option de non choix). Cette option de non choix n’était pas spécifique
et n’a pas été caractérisée. Dans la méthode des choix discrets, l’option de non choix correspond à ce que l’individu
dispose déjà alors qu’on lui propose de nouveaux services ou de bien de santé. Il est difficile de transposer cette
option de non choix en termes de systèmes de surveillance. Il aurait été possible éventuellement de proposer, pour
cette option de non choix, par exemple un système de surveillance « idéal » ou de référence que personne ne
puisse remettre en cause. Cependant ce système de surveillance de référence est difficile à conceptualiser [97, 98].

Cette étude présente plusieurs limites. Cette approche méthodologique inédite dans le champ de la surveillance en
santé publique s’est adressée à des professionnels de la santé et à des décideurs qui ne connaissaient pas cette
méthode. La majorité d’entre eux ont trouvé ce questionnaire difficile (score : 4.36 sur une échelle de 1 à 6). Le
nombre de comparaisons proposées aux répondants étaient de 20. Bien qu’il n’y ait pas de règle standard, le
nombre de comparaisons est souvent compris entre 8 et 16. Au-delà, certains auteurs rapportent le risque d’une
certaine fatigue des répondants pouvant avoir un impact sur la qualité et la précision des réponses. D’autres à
l’inverse, n’ont pas observé de différences majeures selon le nombre de comparaisons présentés (5, 9 ou 17)
concernant le taux de réponse, le choix ou la difficulté perçue du questionnaire [64, 99]. L’estimation du nombre

87
nécessaire de répondants dépend de nombreux facteurs dont le mode d’administration des questions, le nombre de
scénarios considérés ou la précision des estimations attendues. Dans une étude portant sur les analyses par
méthodes de choix discrets en économie de la santé et publiées entre 2005 et 2008, le nombre moyen de
répondants était de 259. Un nombre de répondants inférieur à 200 peut avoir un impact sur la précision des
estimations, en particulier ces dernières ont été déterminées par un modèle logistique multinomial à effets aléatoires.
L’échantillon de cette étude est relativement faible (50 répondants) mais reste dans les limites classiquement
retrouvées dans la littérature [60, 64, 80, 100]. De plus, il s’agit d’une étude exploratoire. La population cible de cette
étude de faisabilité concerne des experts et des décideurs dans le champ de surveillance ou de la santé publique,
des professionnels de santé ayant des compétences en maladies infectieuses et des économistes de la santé
francophones. Le nombre de répondants potentiels était dès le départ limité. Il est de ce fait difficile de généraliser
ces résultats qui constituent néanmoins une première dans le champ de la surveillance et de la sécurité sanitaire. La
méthode des choix discrets impose que le choix des répondants repose sur un compromis entre tous les attributs
considérés comme indépendants les uns des autres. Certains de nos résultats ont montré que certains coefficients
d’attributs différents étaient corrélés entre eux, en particulier deux attributs en lien avec le pathogène (la létalité et la
prévalence) et deux attributs en lien avec la surveillance (les coûts et le seuil de détection). Plusieurs études dans la
littérature ont montré que certains répondants ne fondent par leur choix sur l’ensemble des scénarios mais basent
leur choix sur un seul attribut qu’il considère plus important que les autres (préférence lexicographique) [65, 98, 101].
Bien que nous ne l’ayons pas démontré statistiquement, un grand nombre de répondants dans notre étude semble
avoir privilégié dans leur choix la valeur maximum de létalité. Le score d’importance accordé à la létalité très élevée
dans la question en fin de questionnaire, et la différence importante entre le niveau maximum de létalité (50%) et les
autres niveaux (<1%) de l’attribut létalité vont dans le sens cette hypothèse. Enfin, nous n’avons pu évaluer de
consentement à payer pour un système de surveillance du fait de la valeur difficilement interprétable de la constante
et ceci constitue une limite importante de ce travail.

Cette première étude devrait être reproduite en incluant des critères qui n’ont pu être étudiés comme par exemple, la
pression médiatique ou institutionnelle. L’exemple récent de l’épidémie de la maladie à virus Ebola et les premiers
cas apparus hors d’Afrique ont soulevé dans l’espace social des craintes et des interrogations qui ont des impacts
sur la surveillance. Il convient également d’élargir le nombre de répondants dans ce type d’étude. Du fait de la
technicité du sujet, nous nous sommes concentrés sur des professionnels et des experts. Comme l’a montré l’étude
canadienne citée précédemment [93], ce type d’étude pourrait être élargi à des professionnels de santé de différents
domaines. Enfin, une approche complémentaire pourrait associer une analyse coût-bénéfice dans laquelle les

88
bénéfices seraient estimés par une estimation de consentement à payer. Cette double approche pourrait ainsi
prendre en compte l’ensemble des effets positifs induits par un système de surveillance [102-104].

6. Conclusion

Malgré ces limites, cette étude de faisabilité faisant appel à la méthode des choix discrets pour évaluer la valeur
économique d’un système de surveillance montre que l’utilisation de cette méthode présente des intérêts potentiels.
Parmi les attributs influençant le choix d’un système de surveillance figurent la prévalence, la létalité et le seuil de
détection. Ce dernier attribut est, selon notre étude, un critère déterminant pour juger de l’utilité de la surveillance.
Cependant, les répondants ont affiché leur préférence des surveillances d’émergence avec des seuils de détection
plus bas que ceux habituellement préconisés dans les plans de lutte contre les nouvelles émergences. Ce résultat
demande à être confirmé. Il pourrait cependant être pris en compte dans la réflexion sur les plans de surveillance de
nouvelles émergences potentielles, en particulier lorsque la létalité du pathogène est faible. Des consentements à
payer marginaux pour certains attributs ont pu être estimés pour la première fois dans le cadre d’une surveillance en
santé publique.

89
90
IV. Conclusion et perspectives

91
La première partie de ce travail s’est attachée à montrer l’intérêt et la valeur ajoutée de la mise en œuvre d’une
démarche standardisée d’évaluation de systèmes de surveillance des maladies infectieuses au sein d’une agence
dont la mission est celle de la surveillance et de la veille sanitaire. L’outil d’évaluation s’appuyait sur la méthodologie
préconisée par les recommandations internationales, en particulier celles de l’US-CDC [20]. Outre l’intérêt pour les
équipes des systèmes de surveillance évalués, ce processus a enrichi la stratégie de surveillance de l’InVS et a
permis d’initier plusieurs travaux en lien avec la priorisation des surveillances et l’extension des évaluations des
systèmes de surveillance aux maladies chroniques et aux sujets environnementaux. Nous avons aussi montré qu’il
avait permis la mise en œuvre d’améliorations et de mutualisation incluant la fusion de certains systèmes consacrés
au même sujet. Néanmoins, ce processus est d’un point de vue organisationnel et logistique long et implique une
charge de travail importante à la fois pour les évaluateurs et les équipes des systèmes évalués. Il ne permet pas,
même à long terme, de couvrir l’ensemble des systèmes de surveillance de l’InVS et de la nouvelle Agence nationale
de santé publique. Une évaluation plus légère par nature a été proposée. Par ailleurs, cette démarche d’évaluation
essentiellement qualitative ne couvre pas certains critères en lien avec les coûts et les bénéfices des systèmes de
surveillance. Selon les recommandations internationales [20], le coût d’un système de surveillance doit être évalué
au regard des bénéfices engendrés par la surveillance ou tout au moins avec les objectifs du système de
surveillance et son utilité. Il est à noter que plusieurs comités d’évaluation ont préconisé entre autres
recommandations à l’InVS, de s’interroger sur l’efficience de la surveillance nationale qu’il pilote notamment du fait
des multiples réseaux et partenaires impliqués.

Evaluer les bénéfices d’un système de surveillance n’est pas clairement défini dans les recommandations
internationales. Ce constat est observé dans deux revues de la littérature ayant porté sur les évaluations des
systèmes de surveillance et dans un rapport de l’OMS portant sur l’évaluation des bénéfices des systèmes de
surveillance [34, 35, 38]. La seconde partie de ce travail a cherché à dresser, via une revue systématique de la
littérature scientifique, l’état des connaissances et des pratiques en la matière et des méthodes utilisées dans les
analyses médico-économiques des systèmes de surveillance. S’inspirant des recommandations pour les revues de
la littérature dans le domaine médico-économique [39, 42], cette étude s’est intéressée aux systèmes de surveillance
en santé publique ayant fait l’objet d’une analyse médico-économique. Le premier enseignement de cette revue
concerne le faible nombre de travaux dans le domaine. En deuxième lieu, bien que les schémas expérimentaux
diffèrent, les analyses coûts-bénéfices identifiées estiment les bénéfices par le coût des vies sauvées ou des cas
évités par les mesures de prévention et de contrôle mis en place. Ces méthodologies présentent plusieurs limites et

92
en particulier ne prennent pas en compte les valeurs d’existence en lien avec les effets non-monétaires induits par
une surveillance qui ont un impact sur le bien-être de la population comme la perception de sécurité. Afin de prendre
en compte cette dimension, la troisième partie de ce travail s’est appuyée sur une méthode d’analyse économique
(la méthode des choix discrets) de plus en plus utilisée en économie de la santé. Basée sur les préférences
déclarées des répondants, cette méthode permet d’identifier l’importance relative de différents critères constituant un
bien ou un service de santé. En y incluant différents coûts parmi les attributs, des consentements à payer marginaux
pour certains critères peuvent être estimés [62, 86]. Dans cette étude exploratoire, nous avons appliqué cette
méthode à des systèmes de surveillance de maladies infectieuses émergentes. Inédits dans le domaine de la
surveillance en santé publique, les résultats de cette étude montrent l’importance de certains critères comme la
prévalence ou la létalité du pathogène pour la mise en place d’un système de surveillance comme l’avaient démontré
d’autres travaux portant sur la priorisation des systèmes de surveillance en maladies infectieuses. Plus inédite est
l’importance accordée par les répondants de cette étude pour l’attribut seuil de détection avec une préférence pour
des seuils de détection peu élevés. Ce résultat nouveau doit amener à s’interroger sur les objectifs de détection
maximum des premiers cas lors de nouvelles émergences. Pour la première fois en surveillance en santé publique et
en veille sanitaire, des consentements à payer marginaux ont pu être estimés pour les attributs précédemment cités
et ces résultats constituent une information importante. Enfin cette étude a répondu partiellement à nos objectifs car
nous n’avons pas pu obtenir des estimations de consentements à payer pour un système de surveillance dans sa
globalité. Intégrer une dimension médico-économique dans le cadre d’évaluation de systèmes de surveillance en
faisant appel à la méthode des choix discrets apparait donc possible. De plus, ce travail montre que cette approche
peut répondre du moins, en partie à la question des bénéfices induits par un système de surveillance ou de veille
sanitaire. D’autres travaux sont nécessaires pour confirmer l’intérêt de cette méthode seule ou en association avec
une analyse coût-bénéfice [102].

Au terme de ce travail sur l’évaluation des systèmes de surveillance avec intégration d’une approche médico-
économique qui a apporté des éléments de réponse vis-à-vis des objectifs de notre thèse, des questions demeurent.
En termes de perspective, deux axes sont identifiés : la mise à jour des recommandations des évaluations des
systèmes de surveillance et des travaux de recherche d’autre part.

En termes de recommandations, notre travail montre le besoin d’actualiser les recommandations internationales sur
les évaluations des systèmes de surveillance qui datent de 2001. En particulier, l’élaboration de protocoles
d’évaluation plus souples et réalistes seraient utiles. Les méthodes d’approche médico-économique pour les

93
systèmes de surveillance devraient être intégrées à ces recommandations, en particulier, l’intérêt potentiel des
approches basées sur la méthode des choix discrets.

D’autres études faisant appel à la méthode de choix discrets seule ou en association avec une analyse coût-
bénéfice sont également souhaitables. Elles permettraient d’étudier d’autres critères de systèmes de surveillance ou
d’évaluer d’autres schémas d’étude comme par exemple, la comparaison de deux systèmes de surveillance
comparables sur les critères en lien avec le pathogène mais différents en termes de performance technique de la
surveillance. Ces études devraient également inclure un panel de répondants plus important afin d’obtenir des
résultats plus représentatifs et de juger si la discipline et le champ d’exercice des répondants influent sur les critères
d’intérêt. Dans le contexte de la globalisation des questions de santé publique, notamment pour les risques
infectieux, il apparait d’envisager des études de ce type auprès d’un panel de professionnels européens voire
internationaux. Au niveau européen, ce travail pourrait être recommandé à l’ECDC qui, travaille notamment à
l’harmonisation et à la standardisation de la surveillance des maladies infectieuses incluant les maladies
émergentes au sein de l’Union Européenne.

94
Références
1. Thacker SB, Berkelman RL. Public health surveillance in the United States. Epidemiologic reviews. 1988;10:164-90.
2. Organisation mondiale de la santé. Rapport sur la santé dans le monde 2007. Genève : Organisation mondiale de la
santé; 2007. Disponible: http://www.who.int/whr/2007/overview/fr/index.html (consulté le 20 décembre 2015).
3. Semenza JC, Menne B. Climate change and infectious diseases in Europe. Lancet Infectious Diseases. 2009;9:365-75.
4. Barre-Sinoussi F, Chermann JC, Rey F, Nugeyre MT, Chamaret S, Gruest J, et al. Isolation of a T-lymphotropic
retrovirus from a patient at risk for acquired immune deficiency syndrome (AIDS). Science. 1983;220(4599):868-71.
5. Cheng VC, Lau SK, Woo PC, Yuen KY. Severe acute respiratory syndrome coronavirus as an agent of emerging and
reemerging infection. Clinical microbiology reviews. 2007;20(4):660-94.
6. Dawood FS, Jain S, Finelli L, Shaw MW, Lindstrom S, Garten RJ, et al. Emergence of a novel swine-origin influenza A
(H1N1) virus in humans. The New England journal of medicine. 2009;360(25):2605-15.
7. Knight R, Stewart G. The new variant form of Creutzfeldt-Jakob disease. FEMS immunology and medical microbiology.
1998;21(2):97-100.
8. Baize S, Pannetier D, Oestereich L, Rieger T, Koivogui L, Magassouba N, et al. Emergence of Zaire Ebola virus disease
in Guinea. The New England journal of medicine. 2014;371(15):1418-25.
9. Herida M, Sednaoui P, Couturier E, Neau D, Clerc M, Scieux C, et al. Rectal lymphogranuloma venereum, France.
Emerg Infect Dis. 2005;11(3):505-6.
10. Golden MR, Marra CM, Holmes KK. Update on syphilis: resurgence of an old problem. Jama. 2003;290(11):1510-4.
11. Bitar D, Che D, Capek I, de Valk H, Saura C. Veille et appréciation du risque infectieux émergent: méthode et critères
d'analyse du risque. Medecine et maladies infectieuses. 2011;41(2):53-62.
12. Desenclos JC. Surveillance et veille: concepts, défintions et organisation. In: Dabis F, Desenclos JC, (dir.).Epidémiologie
de terrain. Montrouge, France : John Libbey Eurotext; 2012. p. 76-89.
13. Desenclos JC, Viso AC. La sécurité et la veille sanitaire. In: Fassin D, Haury B, (dir.).Santé publique: état des savoirs.
Paris : La découverte; 2010. p. 341-50.
14. World Health Organization. International health regulations. Geneva : World Health Organization; 2008. [consulté le
15/10/2015]. Disponible: http://whqlibdoc.who.int/publications/2008/9789241580410_eng.pdf
15. Herida M, Saura C. Maladies infectieuses. In: Astagneau P, Ancelle T, (dir.).Surveillance épidémiologique: principes,
méthodes et applications en santé publique. Paris : Lavoisier; 2011. p. 115-30.
16. Eilstein D, Salines G, Desenclos JC. Veille sanitaire: outils, fonctions, processus. Rev Epidemiol Sante Publique.
2012;60(5):401-11.
17. Groseclose SL, German RR, Nsubuga P. Evaluating public health surveillance. In: Lee LM, Teutsch SM, Thacker SB, St.
Louis ME, (dir.).Principles & practice of public health surveillance. 3 éd. New York : Oxford University Press; 2010. p.
166-97.
18. Hubert B, Haury B. Orientations pour la révision des modalités de surveillance des maladies transmissibles en France
(Orientations for revising infectious diseases surveillance systems in France). Bull Epidemiol Hebd. 1996(26):115-7.
19. Herida M, Desenclos JC. Evaluer un système de surveillance épidémiologique. In: Dabis F, Desenclos JC,
(dir.).Epidémiologie de terrain: méthodes et applications. Montrouge, France : John Libbey Eurotext; 2012. p. 161-71.

95
20. Centers for Disease Control and Prevention. Updated guidelines for evaluating public health surveillance systems:
recommendations from the guidelines wrorking group. MMWR Morb Mortal Wkly Rep [En ligne]. 2001 [consulté le
15/10/2015]; 50(RR-13):35. Disponible: http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5013a1.htm
21. World Health Organization. Communicable disease surveillance and response systems: a guide to evaluating and
monitoring. Geneva : World Health Organization; 2006. 90 p. Disponible:
http://www.who.int/csr/resources/publications/surveillance/WHO_CDS_EPR_LYO_2006_2.pdf
22. Centers for Disease Control and Prevention. Framework for evaluating public health surveillance systems for early
detection of outbreaks: recommendations from the CDC working group. Mortality Morbidity Weekly Report [En ligne].
2004 [consulté le 15/10/2015]; (53 (N° RR-5)):1-13. Disponible:
http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5305a1.htm
23. Health Surveillance Coordinating Committee. Framework and tools for evaluationg health surveillance systems. Canada
: Health Canada; 2004. 48 p. [consulté le 15/10/2015]. Disponible: http://publications.gc.ca/collections/Collection/H39-4-
46-2004E.pdf
24. Ruutu P, Takkinen J. Protocol for the evaluation of EU-wide surveillance networks on communicable diseases.
Kansanterveyslaitos Folkhälsoinstitutet; 2004. 59 p. [consulté le 15/10/2015]. Disponible:
http://ec.europa.eu/health/ph_projects/2002/com_diseases/fp_commdis_2002_frep_18_en.pdf
25. European Centre for Disease Prevention and Control. Framework for the evaluation and assessment of EU-wide
surveillance networks in 2006-2008. Stockholm : European Centre for Disease Prevention and Control; 2006. 13 p.
[consulté le 15/10/2015]. Disponible:
http://ecdc.europa.eu/en/publications/Publications/0608_TER_Framework_Evaluation_and_Assessment_of_EU_Surveill
ance.pdf
26. Berger F, Parent du Châtelet I, Bernillon P, Gallay A. Surveillance des infections à méningocoques en France
métropolitaine. Evaluation quantitative par la méthode de capture-recapture à 3 sources [en ligne]. Saint-Maurice :
Institut de veille sanitaire; 2010. 54 p. [consulté le 12/10/2015]. Disponible:
http://opac.invs.sante.fr/index.php?lvl=notice_display&id=467
27. Gallay A, Vaillant V, Bouvet P, Grimont P, Desenclos JC. How many foodborne outbreaks of Salmonella infection
occurred in France in 1995? Application of the capture-recapture method to three surveillance systems. Am J Epidemiol.
2000;152(2):171-7.
28. Nardone A, Decludt B, Jarraud S, Etienne J, Hubert B, Infuso A, et al. Repeat capture-recapture studies as part of the
evaluation of the surveillance of Legionnaires' disease in France. Epidemiol Infect. 2003;131(1):647-54.
29. Frenette C, Blanchon T, Grout L. Evaluation du réseau BMR-Raisin. 2010. 42 p. [consulté le 15/10/2015]. Disponible:
http://www.invs.sante.fr/content/download/85348/313482/version/1/file/rapport_evaluation_bmr_raisin.pdf
30. Denis F, Nardone A, Bellali H. Rapport d'évaluation du système de surveillance Epibac. 2010. 24 p. [consulté le
15/10/2015]. Disponible: http://www.invs.sante.fr/publications/2011/rapport_eval_epibac.pdf
31. Drucker J, Krause G, Pozetto B, Terrien E, Daudet G. Evaluation du dispositif de surveillance de la grippe. 2012. 79 p.
[consulté le 15/10/2015]. Disponible:
http://www.invs.sante.fr/content/download/49127/210958/version/1/file/Rapport_evaluation_dispositif_surveillance_Gripp
e_2012.pdf
32. Czernichow P, Abergel A, Audureau A, Durand J. Surveillance des hépatites B et C en France: évaluation du dispositif
de l'InVS. 2013. 103 p. [consulté le 15/10/2015]. Disponible:
http://www.invs.sante.fr/content/download/92387/335978/version/1/file/Rapport_Evaluation_surveillance_hepatites_B_et
_C_2013.pdf

96
33. Agence de la santé publique du Canada. Evaluation de la fonction de surveillance au sein de l'Agence de la santé
publique du Canada. 2012-2013. 45 p. Disponible: http://www.phac-aspc.gc.ca/about_apropos/evaluation/reports-
rapports/2012-2013/sf-fs/index-fra.php
34. Calba C, Goutard FL, Hoinville L, Hendrikx P, Lindberg A, Saegerman C, et al. Surveillance systems evaluation: a
systematic review of the existing approaches. BMC Public Health. 2015;15:448.
35. Drewe JA, Hoinville LJ, Cook AJ, Floyd T, Stark KD. Evaluation of animal and public health surveillance systems: a
systematic review. Epidemiol Infect. 2012;140(4):575-90.
36. Grout L, Frenette C, Blanchon T. Evaluation du réseau de surveillance des bactéries multi-résistantes dans les
établissements de santé en France. Bulletin Epidemiologique hebdomadaire. 2011(15-17):190-3.
37. Équipes de surveillance de la grippe. Surveillance épidémiologique et virologique de la grippe en France métropolitaine.
Saison 2014-2015. Bulletin épidémiologique hebdomadaire [En ligne]. 2015 ; 32-33:593-8.
38. Organisation Mondiale de la Santé. Evaluating the costs and benefits of national surveillance and response systems:
methodologies and options. Geneva ; 2005. 48 p. [consulté le August 8, 2014]. Disponible:
http://whqlibdoc.who.int/hq/2005/WHO_CDS_EPR_LYO_2005_25_eng.pdf
39. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche P, Ioannidis JPA, et al. The PRISMA statement for reporting
systematic reviwes and meta-analyses of studies that evaluate heatlh care interventions: explanation and elaboration.
BMJ (Online). 2009;339(b2700):doi: 10.1136/bmj.b2700.
40. Centre for reviews and dissemination. Systematic reviews: CRD's guidance for undertaking reviews in health care. York
: CRD, Université de York; 2008. 294 p. [consulté le 9/11/2015]. Disponible:
https://www.york.ac.uk/media/crd/Systematic_Reviews.pdf
41. Drummond MF, O'Brien B, Stoddart G, Torrance G. Les principaux types d'évaluation économique. In: Carrere MO,
Chaperon J, (dir.).Méthodes d'évaluation économique des programmes de santé. 2nd éd. Paris : Economica; 1998. p.
11-31.
42. Husereau D, Drummond M, Petrou S, Carswell C, Moher D, Greenber D, et al. Consolidated health economic evaluation
reporting standards (CHEERS) statement. BMC Medicine. 2013(11:80).
43. Braithwaite RS, Fridsma D, Roberts MS. The cost-effectiveness of strategies to reduce mortality from an intentional
release of aerosolized anthrax spores. Med Decis Making. 2006;26(2):182-93.
44. Ebi KL, Teisberg TJ, Kalkstein LS, Robinson L, Weiher RF. Heat watch/warning systems save lives: Estimated costs and
benefits for Philadelphia 1995-98. Bulletin of the American Meteorological Society. 2004;85(8):1067-73.
45. Elbasha EH, Fitzsimmons TD, Meltzer MI. Costs and benefits of a subtype-specific surveillance system for identifying
Escherichia coli O157:H7 outbreaks. Emerg Infect Dis. 2000;6(3):293-7.
46. Hinds MW, Skaggs JW, Bergeisen GH. Benefit-cost analysis of active surveillance of primary care physicians for
hepatitis A. Am J Public Health. 1985;75(2):176-7.
47. Morris S, Gray A, Noone A, Wiseman M, Jathanna S. The costs and effectiveness of surveillance of communicable
disease: a case study of HIV and AIDS in England and Wales. J Public Health Med. 1996;18(4):415-22.
48. Payne JN. The introduction of a computerized system for notification and improved analysis of infectious diseases in
Sheffield. J Public Health Med. 1992;14(1):62-7.
49. Roberts JA, Sockett PN, Gill ON. Economic impact of a nationwide outbreak of salmonellosis: cost-benefit of early
intervention. BMJ. 1989;298(6682):1227-30.
50. Somda ZC, Perry HN, Messonnier NR, Djingarey MH, Ki SO, Meltzer MI. Modeling the cost-effectiveness of the
integrated disease surveillance and response (IDSR) system: meningitis in Burkina Faso. PLoS One. 2010;5(9).

97
51. Wild DM, Redlich CA, Paltiel AD. Surveillance for isocyanate asthma: a model based cost effectiveness analysis. Occup
Environ Med. 2005;62(11):743-9.
52. Phillips VL, Teweldemedhin B, Ahmedov S, Cobb J, McNabb SJ. Evaluation of program performance and expenditures
in a report of performance measures (RPM) via a case study of two Florida county tuberculosis programs. Eval Program
Plann. 2010;33(4):373-8.
53. Betanzos-Reyes AF, Rodriguez MH, Duran-Arenas LG, Hernandez-Avila JE, Mendez-Galvan JF, Monroy OJ, et al.
Comparative analysis of two alternative models for epidemiological surveillance in the Mexican Malaria Control Program.
Health Policy. 2007;80(3):465-82.
54. Russell LB, Siegel JE, Daniels N, Gold MR, Luce BR, Mandelblatt JS. Cost-effectiveness analysis as a guide to resource
allocation in Health : role and limitations. In: Gold MR, Siegel JE, Russell LB, Weinstein MC, (dir.).Cost-effectiveness in
health and medicine. New York : Oxford University Press; 1996. p. 3-24.
55. Nsubuga S, hite ME, hacker SB, Anderson MA, Blount SB, Broome CV, et al. Public health surveillance: a tool for
targeting and monitoring interventions. In: Jamison DT, Breman JG, Measham AR, Alleyne G, Claeson M, Evans DB, et
al., (dir.).Disease control priorities in developing countries. 2nd edition éd. Washington/New-York : The World
Bank/Oxford University Press; 2006. p. 997-1015. Disponible: /
56. Drummond MF, O'Brien B, Stoddart G, Torrance G. Analyse des coûts. In: Carrere MO, Chaperon J, (dir.).Méthodes
d'évaluation économique des programmes de santé. 2nd éd. Paris : Economica ; 1998. p. 60-101.
57. McNabb SJ, Chungong S, Ryan M, Wuhib T, Nsubuga P, Alemu W, et al. Conceptual framework of public health
surviellance and action and its application in health sector reform. BMC Public Health. 2002(2:2).
58. Pearce D, Özdzmiroglu E. Economic valuation with stated preferences techniques. Summary guide. London :
Department for Transport, Local Gouvenment and the Regions; 2002. 94 p. [consulté le 8 Août 2015]. Disponible:
https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/191522/Economic_valuation_with_stated_
preference_techniques.pdf
59. Le Gall-Ely F, Robert-Demontrond R. Comparaison de l'évaluation contingente et de l'analyse conjointe: une application
à la mesure du consentement à payer pour un concept de service innovant (comparison of contingent valuation and
conjoint analysis: an application to measure the willingness to pay for an innovative service concept)p. Rennes : Editions
Apogée; 2005.
60. Lancsar E, Louviere J. Conducting discrete choice experiments to inform healthcare desicion making: a user's guide.
Pharmocoeconomics. 2008;26(8):661-7.
61. Louviere JJ, Hensher DA, Swait JD. State Choice Methods: analysis and applications. New-York : Cambridge University
Press; 2000.
62. Amaya-Amaya M, Ryan M, Gerard K. Discrete choice experiments in a nutshell. In: Ryan M, Gerard K, Amaya-Amaya
M, (dir.).Using discrete choice experiments to value health and health care. The Netherlands : Springer; 2008. p. 13-46.
63. van der Pol M, Currie G, Kromm S, Ryan M. Specification of the utility function in discrete choice experiments. Value in
health : the journal of the International Society for Pharmacoeconomics and Outcomes Research. 2014;17(2):297-301.
64. Bridges JFP, Hauber AB, Marshall D, Lloyd A, Prosser LA, Regier DA, et al. Conjoint analysis applications in health - A
checklist: A report of the ISPOR Good Research Practices for Conjoint Analysis Task Force. Value in Health.
2011;14(4):403-13.
65. Ryan M. Discrete choice experiments in health care. British Medical Journal. 2004;328(7436):360-1.
66. WHO Ebola response team. Ebola virus disease in West Africa--the first 9 months of the epidemic and forward
projections. The New England journal of medicine. 2014;371(16):1481-95.

98
67. Biggerstaff M, Cauchemez S, Reed C, Gambhir M, Finelli L. Estimates of the reproduction number for seasonal,
pandemic, and zoonotic influenza: a systematic review of the literature. BMC infectious diseases. 2014;14:480.
68. Van Kerkhove MD, Hirve S, Koukounari A, Mounts AW. Estimating age-specific cumulative incidence for the 2009
influenza pandemic: a meta-analysis of A(H1N1)pdm09 serological studies from 19 countries. Influenza and other
respiratory viruses. 2013;7(5):872-86.
69. Wilson N, Baker MG. The emerging influenza pandemic: estimating the case fatality ratio. Euro surveillance : bulletin
Europeen sur les maladies transmissibles = European communicable disease bulletin. 2009;14(26).
70. Bone A, Guthmann JP, Assal A, Rousset D, Degeorges A, Morel P, et al. Incidence of H1N1 2009 virus infection through
the analysis of paired plasma specimens among blood donors, France. PLoS One. 2012;7(3):e33056.
71. Vaux S, Brouard C, Fuhrman C, Turbelin C, Cohen JM, Valette M, et al. Dynamique et impact de l'épidémie
A(H1N1)2009 en France métropolitaine. Bulletin Epidemiologique hebdomadaire [En ligne]. 2010 [consulté le
15/12/2015]; (24-25-26):259-64. Disponible: http://www.invs.sante.fr/beh/2010/24_25_26/beh_24_25_26_2010.pdf
72. Cauchemez S, Ledrans M, Poletto C, Quenel P, de Valk H, Colizza V, et al. Local and regional spread of chikungunya
fever in the Americas. Euro surveillance : bulletin Europeen sur les maladies transmissibles = European communicable
disease bulletin. 2014;19(28):20854.
73. Josseran L, Paquet C, Zehgnoun A, Caillere N, Le Tertre A, Solet JL, et al. Chikungunya disease outbreak, Reunion
Island. Emerg Infect Dis. 2006;12(12):1994-5.
74. Gerardin P, Guernier V, Perrau J, Fianu A, Le Roux K, Grivard P, et al. Estimating Chikungunya prevalence in La
Reunion Island outbreak by serosurveys: two methods for two critical times of the epidemic. BMC infectious diseases.
2008;8:99.
75. Carrat F, Sahler C, Rogez S, Leruez-Ville M, Freymuth F, Le Gales C, et al. Influenza burden of illness: estimates from a
national prospective survey of household contacts in France. Archives of internal medicine. 2002;162(16):1842-8.
76. Guery B, Poissy J, el Mansouf L, Sejourne C, Ettahar N, Lemaire X, et al. Clinical features and viral diagnosis of two
cases of infection with Middle East Respiratory Syndrome coronavirus: a report of nosocomial transmission. Lancet.
2013;381(9885):2265-72.
77. Reed Johnson F, Lancsar E, Marshall D, Kilambi V, Muhlbacher A, Regier DA, et al. Constructing experimental designs
for discrete-choice experiments: report of the ISPOR Conjoint Analysis Experimental Design Good Research Practices
Task Force. Value in health : the journal of the International Society for Pharmacoeconomics and Outcomes Research.
2013;16(1):3-13.
78. Huber J, Zwerina K. The importance of utility balance in efficient choice designs. Journal of Marketing Research.
1996;33(3):307-17.
79. Orme B. Getting Started with Conjoint Analysis: Strategies for Product Design and Pricing Research. Second Edition
éd. Madison, Wiscosin : Research Publishers LLC.; 2010.
80. Kjær T. A review of the discrete choice experiment with emphasis on its application in health care. Denmark : University
of Southern Denmark; 2005. Disponible:
http://static.sdu.dk/mediafiles/Files/Om_SDU/Centre/c_ist_sundoke/Forskningsdokumenter/publications/Working%20pap
ers/20051pdf.pdf
81. Afsa Essafi C. Les modèles logit polytomiques non ordonnés: théorie et applications. Paris : Institut national de la
statistique et des études économiques; 2003. 101 p. Disponible: http://www.insee.fr/fr/publications-et-
services/docs_doc_travail/0301.pdf (consulté le 15 décembre 2015)
82. Ryan M. Deriving welfare measures in discrete choice experiments: a comment to Lancsar and Savage (1). Health
Econ. 2004;13:909-12.

99
83. Bonnet C. Le modèle logit multinomial à coefficients aléatoires. Recherche en applications et marketing. 2004;19(3):61-
72.
84. Hole AR. Small-sample properties of tests for heteroscedasticity in the conditional logit model. Economics Bulletin.
2006;3(18):1-14.
85. Hole AR. Fitting mixed logit models by using maximum simulated likelihood. Stata Journal. 2007;7(3):388-401.
86. De Bekker-Grob EW, Ryan M, Gerard K. Discrete choice experiments in health economics: A review of the literature.
Health Economics. 2012;21(2):145-72.
87. Fraser C, Donnelly CA, Cauchemez S, Hanage WP, Van Kerkhove MD, Hollingsworth TD, et al. Pandemic potential of a
strain of influenza A (H1N1): early findings. Science. 2009;324(5934):1557-61.
88. Reich NG, Lessler J, Cummings DA, Brookmeyer R. Estimating absolute and relative case fatality ratios from infectious
disease surveillance data. Biometrics. 2012;68(2):598-606.
89. Weber F. Editorial. Bull Epidemiol Hebd. 2010;24-25-26:257-58.
90. Organisation Mondiale de la Santé. Déclaration de l’OMS sur la réunion du Comité d’urgence du Règlement sanitaire
international concernant la flambée de maladie à virus Ebola en Afrique de l’Ouest en 2014. Genève.08 Août 2014.
91. Organisation Mondiale de la Santé. Rapport de situation sur la flambée de maladie à virus Ebola. 30 décembre 2015 ; .
Disponible: http://apps.who.int/iris/bitstream/10665/204127/1/ebolasitrep_30Dec2015_fre.pdf?ua=1 (consulté le 10 mars
2016)
92. Krause G. Prioritisation of infectious diseases in public health--call for comments. Euro surveillance : bulletin Europeen
sur les maladies transmissibles = European communicable disease bulletin. 2008;13(40).
93. Ng V, Sargeant JM. A quantitative and novel approach to the prioritization of zoonotic diseases in North America: a
public perspective. PLoS One. 2012;7(11):e48519.
94. Secrétariat général de la défense et de la sécurite nationale. Plan national de lutte et de prévention "Pandémie
grippale"2011 ; :78. Disponible: http://social-sante.gouv.fr/IMG/pdf/Plan_Pandemie_Grippale_2011.pdf (consulté le 10
mars 2016)
95. Bruyand M., Tourdjman M., Noel H., Mailles A, Vaux S, Lucas E, et al. Maladie à virus Ebola : dispositif de surveillance
renforcée en France et caractéristiques des signalements reçus, mars-décembre 2014. Bull Epidémiol Hebd [En ligne].
2014 ; 36:584-91. Disponible: http://www.invs.sante.fr/beh/2014/36/2014_36_1.html (consulté le 10 mars 2016)
96. Bonmarin I, Desenclos JC, Gastellu-Etchgorry M, Saura C, Levy-Bruhl D. Grippe pandémiqe A(H1N1)2009: de l'estimé à
l'observé! Bull Epidemiol Hebd. 2010;24-25-26:264-66.
97. Ryan M, Skatun D. Modelling non-demanders in choice experiments. Health Econ. 2004;13(4):397-402.
98. Veldwijk J, Lambooij MS, de Bekker-Grob EW, Smit HA, de Wit GA. The effect of including an opt-out option in discrete
choice experiments. PLoS One. 2014;9(11):e111805.
99. Bech M, Kjaer T, Lauridsen J. Does the number of choice sets matter? Results from a web survey applying a discrete
choice experiment. Health Econ. 2011;20(3):273-86.
100. Chang J.B., L.J. L. Mixed logit model: accuracy and software choice. Journal of Applied Econometrics. 2011;26:167-72.
101. Lancsar E, Louviere J. Deleting 'irrational' responses from discrete choice experiments: A case of investigating or
imposing preferences? Health Economics. 2006;15(8):797-811.
102. McIntosh E. Using discrete choice experiments within a cost-benefit analysis framework: Some considerations.
PharmacoEconomics. 2006;24(9):855-68.

100
103. McIntosh E, Donaldson C, Ryan M. Recent advances in the methods of cost-benefit analysis in healthcare: Matching the
art to the science. PharmacoEconomics. 1999;15(4):357-67.
104. Zarnke KB, Levine MA, O'Brien BJ. Cost-benefit analyses in the health-care literature: don't judge a study by its label.
Journal of clinical epidemiology. 1997;50(7):813-22.

101
102
Annexes

103
Annexe 1.1: Article paru dans la « Revue d’Epidémiologie et de santé publique »

Seule la page de garde l’article est inséré. L’article provient du document word final.

104
 Disponible en ligne sur

ScienceDirect
www.sciencedirect.com
Revue d’Épidémiologie et de SantéPublique 63 (2015) 35–42

Article original
Évaluation de différents systèmes de surveillance (en maladies infectieuses)
`a
partir d’un protocole générique
Evaluation of various public health infectious diseases surveillance systems based on a generic
protocol
M. Herida *, J.-C. Desenclos
Institut de veille sanitaire, 12, rue du Val-d’Osne, 94414 Saint-Maurice cedex, France
Reçu le 25 mars 2014 ; acceptéle 17 novembre 2014
Disponible sur Internet le 29 janvier 2015

Abstract
Background. – InVS, the French Institute of Public Health, coordinates and conducts several public health surveillance systems. In 2009, an
evaluation protocol aiming at evaluating different surveillance systems was developed according to the international recommendations.
Methods. – Between 2009 and 2013, four evaluations in the field of infectious diseases were performed by panels of independent public health
experts using a generic protocol.
Results – Conclusion. – This article presents the protocol, the mains results of each of the four evaluations and their impact on the Institute’s
surveillance strategy. It also addresses the strengths and the limitations of this standardized approach.
© 2014 Elsevier Masson SAS. All rights reserved.

Keywords: Evaluation; Surveillance; Public health

Résumé

Position du problème. – L’Institut de veille sanitaire (InVS) anime et coordonne de nombreux systèmes de surveillance. En 2009, l’InVS a
initiéune démarche standardisée d’évaluation formelle de certains dispositifs de surveillance.
Méthode. – Sur la base d’un protocole commun développés selon les recommandations internationales, un processus d’évaluation qualitative
mené par un comité d’experts indépendants a permis de conduire, entre 2009 et 2013, quatre évaluations dans le champs des maladies
infectieuses.
Résultats – Conclusion. – Le présent article présente, d’une part, la méthodologie développée et l’impact des principaux résultats de ces
évaluations sur la stratégie de surveillance de l’institut et discute, d’autre part, les intérêts et les limites de cette approche standardisée.
© 2015lsevier Masson SAS. Tous droits réservés.

Mots clés: Évaluation; Surveillance ; Santé publique

* Auteur correspondant.
Adresse e-mail: m.herida@invs.sante.fr (M. Herida).

http://dx.doi.org/10.1016/j.respe.2014.11.001
0398-7620/© 2014 Elsevier Masson SAS. Tous droits réservés.

105
 « La surveillance en santé publique est un processus continu et systématique de collecte,
d’analyse et d'interprétation de données de santé intégrant leur diffusion de manière réactive à ceux qui
ont contribué à la collecte et à tous ceux qui utilisent ces données dans les programmes de prévention
et contrôle » [1]. Par nature la surveillance épidémiologique est en lien direct avec l’action et la décision
en santé publique. Son organisation est intégrée à la politique de santé publique. Les données
produites par cette surveillance sont des éléments clés dans les décisions de santé que ce soit dans
une perspective de prévention, de promotion de la santé ou de sécurité sanitaire. Le choix des champs
de surveillance repose à la fois sur des critères de santé publique (incidence, sévérité, potentiel
épidémique, impact social…) et d’évitabilité (existence de traitement, mesures de prévention efficaces
et faisables…).
Dans un contexte de ressources limitées, la surveillance en santé publique doit aussi privilégier les
sujets répondant à une nécessité de santé publique. Les choix des champs surveillés et les modalités
de la surveillance sont revus et discutés lors de travaux visant à définir des stratégies de surveillance
ou à identifier des priorités dans des domaines nouveaux comme par exemple l’impact du changement
climatique sur la santé. Une fois les surveillances définies et que leur mise en œuvre est opérationnelle,
il convient également d’évaluer les systèmes de surveillance mis en place en s’interrogeant sur l’atteinte
des objectifs initialement assignés à la surveillance, sur le fonctionnement et la performance du
système et sur les résultats qu’il produit [2-5].
Les Centers for Disease Prevention and Control américains (US-CDC) ont publié en 2001, des
recommandations pour l’évaluation d’un système de surveillance en santé publique [6] qui visent à :
 S’assurer que l’évènement sous surveillance est un phénomène d’importance en santé
publique
 Revoir les objectifs de la surveillance et évaluer si ces objectifs ont été atteints
 Evaluer l’utilité du système de surveillance. On considère qu’un système de surveillance
est utile s’il répond à l’une au moins des huit questions présentées dans le Tableau 1.
 Décrire le fonctionnement du système. Cette étape vise à décrire l’organisation du
système, les ressources mobilisées et le rôle des différents acteurs
 Estimer les coûts engendrés par le système et idéalement mettre en balance ces coûts
avec les bénéfices chiffrés que l’on espère pouvoir en retirer
 Analyser les qualités intrinsèques du système de surveillance. Evaluée sur certains
attributs de performance technique (Tableau 2), cette analyse aboutit à un jugement sur la
qualité des données produites par le système de surveillance

L’Institut de veille sanitaire (InVS), a pour mission principale, la veille sanitaire et la surveillance de l’état
de santé de la population. La notion de veille sanitaire correspond à l’extension et à l’adaptation du
concept de surveillance épidémiologique à l’ensemble des évènements sanitaires susceptibles de
constituer une menace pour la santé et pour lesquels il n’existe pas forcément un système de
surveillance dédié. D’autres approches complémentaires sont utilisées comme la surveillance
syndromique ou la veille internationale. L’objectif final de la veille sanitaire est d’informer sans délai les
décideurs sur l’occurrence de menaces sanitaires afin de mettre en place les mesures de contrôle et de
prévention adaptées [2,7].
Pour assurer ses missions l’InVS met en place ou coordonne de multiples systèmes de surveillance des
maladies infectieuses et chroniques ou en lien avec les expositions environnementales ou
professionnelles. Il existe différents types de systèmes de surveillance qui dépendent des objectifs de la
surveillance, des caractéristiques de l’événement surveillé et de l’information recueillie. Certains
systèmes reposent sur des obligations réglementaires comme par exemple la déclaration obligatoire

106
des maladies. D’autres s’appuient sur des réseaux de professionnels hospitaliers ou libéraux, qui
participent volontairement. La surveillance de certains évènements de santé nécessite parfois de mettre
en place plusieurs types de systèmes de surveillance qui constituent alors un dispositif de surveillance.
Enfin, les réseaux de surveillance reposent sur des structures associant plusieurs partenaires liés par
une convention et qui partagent des règles de fonctionnement et des objectifs de surveillance
communs. Ils sont coordonnés par l’InVS ou par l’un de ses partenaires [8].

Tableau 1 : Critères d’utilité d’un système de surveillance [6,13]

1 Le système permet-il d’identifier les cas afin de mettre en place rapidement des moyens
de prévention adaptés ?
2 Le système permet-il de détecter des changements de tendances ou des épisodes
épidémiques ?
3 Le système fournit-il des estimations chiffrées et fiables de morbidité et de mortalité ?

4 Le système identifie-t-il des facteurs de risque de survenue de la maladie ?

5 Contribue-t-il à améliorer le contrôle et la prévention de la maladie ?

6 Sert-il à mesurer l'impact des mesures de prévention ou de contrôle ?

7 Les données produites permettent-elles de générer des hypothèses ou des questions

pour la recherche
8 Les données produites permettent-elles d’améliorer les pratiques professionnelles,
sociales ou environnementales ?

Même si certains systèmes de surveillance avaient fait l’objet d’évaluation sur certains de leurs attributs
de performance technique [9-12], l’InVS n’avait pas évalué de façon formelle, les systèmes de
surveillance qu’il anime ou coordonne jusqu’en 2009.

Depuis, l’InVS s’est engagé dans une démarche standardisée d’évaluation des systèmes de
surveillance basée sur un protocole générique afin d'améliorer la qualité des systèmes de surveillance
qu’il anime ou coordonne et ainsi d’ajuster sa stratégie globale de surveillance.
Cet article présente la méthodologie développée dans le cadre de ce processus d’évaluation et les
résultats généraux issus de quatre évaluations de dispositifs de surveillance des maladies infectieuses
et discute les intérêts, les limites et les voies d’amélioration possibles de cette démarche.

1-Méthodes

Un protocole générique a été développé selon les recommandations publiées par les US-CDC et selon
le schéma d’un protocole développé par le Centre Européen de Prévention et de contrôle des
maladies1 (ECDC) [6]. Ce protocole a été présenté au conseil scientifique de l’InVS avant la mise en
place de la première évaluation2.

1 Ammon A. Protocole d’évaluation des réseaux de surveillance spécifique. ECDC. Communication personnelle.2013
2 Ce protocole est disponible sur demande auprès de l’auteur correspondant

107
L’évaluation est menée par un comité d’évaluation constitué d’experts indépendants de l’InVS et repose
sur des appréciations essentiellement qualitatives. Les objectifs généraux de chaque évaluation sont
d’identifier les points forts et les points faibles du réseau de surveillance au regard de son utilité pour la
surveillance et la santé publique et au regard de sa performance technique évaluée sur certains
attributs (voir ci-dessous). A l’issue de chaque évaluation, des recommandations pour l’amélioration du
fonctionnement et/ou de la qualité des données sont formalisées par le comité d’évaluation [13].

1.1 Les acteurs de l’évaluation

L’ensemble du processus d’évaluation est piloté par une coordination scientifique constitué d’un
épidémiologiste de l’InVS non impliqué dans le système de surveillance évalué et du directeur
scientifique de l’InVS. Cette coordination a pour rôle de s’assurer du bon déroulement de l’ensemble du
processus d’évaluation et assure l’interface entre le comité d’évaluation et les épidémiologistes
responsables des systèmes de surveillance évalués.

Un comité d’évaluation choisi par la coordination scientifique est constitué pour chaque évaluation. Il est
composé de deux à trois experts seniors et d’un à deux épidémiologiste (s) junior (s). Un responsable
du comité d’évaluation est désigné parmi les experts seniors. Les comités d’évaluations sont
multidisciplinaires associant des experts en santé publique ou en épidémiologie, des microbiologistes
ou des cliniciens. Quand cela est possible, il est privilégié d’associer au moins un expert étranger
parlant le français dans l’équipe.

Les participants sont les professionnels de santé qui envoient des données pour l’évènement de santé
sous surveillance. Ils sont interrogés à l’aide d’un questionnaire standardisé sur l’utilité du système, sur
son fonctionnement et sur certains attributs de performance technique. Un échantillon de 30
participants est considéré pour chaque évaluation.

Les utilisateurs sont des professionnels de santé et les principaux partenaires institutionnels ou
universitaires, potentiellement utilisateurs des résultats générés par le système de surveillance. Ils sont
interrogés sur l’utilité du système. Parmi les utilisateurs potentiels, figurent des experts en santé
publique travaillant dans d’autres agences sanitaires régionales, nationales ou internationales (ECDC,
OMS), des experts travaillant à la Direction générale de la Santé, des chercheurs ou encore des
professionnels de santé. Enfin, des acteurs de la Société civile comme les journalistes ou les
représentants d’associations de patients font aussi partie des utilisateurs. Un échantillon de 20
utilisateurs est considéré pour chaque évaluation

Les épidémiologistes de l’InVS et les partenaires extérieurs en charge de l’animation du réseau de

surveillance préparent les documents fournis au comité d’évaluation, fournissent une liste des
participants et d’utilisateurs potentiels du système et rencontrent le comité d’évaluation lors de la visite
de ce dernier sur site.

1.2 Les critères d’évaluation

L’ensemble des critères est jugé de manière qualitative. Une échelle de 1 (pas du tout d’accord) à 10
(tout à fait d’accord) permet de nuancer les jugements des utilisateurs et des participants interrogés.

L’atteinte des objectifs initialement assignés au système de surveillance est évaluée par l’ensemble des
acteurs (participants, utilisateurs, comité d’évaluation). L’équipe en charge du système est également
amenée à s’autoévaluer sur l’atteinte de ces objectifs et peut éventuellement commenter la note
attribuée.

108
 L’utilité du système au regard de ces objectifs est évaluée à l’aide d’un questionnaire standardisé
soumis aux participants et aux utilisateurs. Différentes dimensions sont explorées. La surveillance est
évaluée sur la capacité du système à bien estimer l’incidence ou la prévalence de la maladie, à pouvoir
identifier les personnes à risque ou être capable de détecter tout phénomène anormal ou alerte en
rapport avec l’évènement de santé. Les questions sur l’utilité en santé publique évaluent l’impact des
données produites par le système sur les programmes de prévention, sur la prise de décision ou
encore sur l’identification de piste de recherche. Enfin, un troisième aspect concerne l’impact des
données de surveillance sur les pratiques professionnelles ou sur les échanges entre professionnels.

Les qualités intrinsèques du système sont évaluées sur les attributs de performance technique
suivants : la simplicité, la stabilité, l’acceptabilité, la réactivité, la qualité des données en termes de
complétude et d’analyse des données et de retro-information. Cette évaluation est soumise aux seuls
participants du système de surveillance à l’aide d’un autre questionnaire standardisé et repose sur leur
jugement. Quelques exemples de question figurant dans ce questionnaire sont fournis dans le Tableau
2.

Enfin, le dernier aspect couvert par ce protocole concerne l’organisation et les pratiques de
fonctionnement du système d’évaluation. A cet égard, il est demandé aux épidémiologistes de l’InVS et
aux partenaires extérieurs de la surveillance de répondre à un certain nombre de questions et de fournir
l’ensemble des documents inhérents au bon fonctionnement d’un système de surveillance comprenant,
entre autres, le protocole de surveillance, la définition des cas, le schéma du circuit de données, les
procédures de contrôle et de qualité des données, le plan d’analyse ou encore les rapports ou bulletins
de surveillance. Une attention particulière est également portée sur la gestion des données à caractère
personnel, les autorisations règlementaires (autorisation de la Commission Nationale de l’Informatique
et des Libertés) et sur la sécurité informatique et physique du système de surveillance.
De manière facultative, il est demandé aux équipes des systèmes de surveillance évalués de fournir
une estimation du coût du fonctionnement du système.

Tableau 2 : Attributs de performance technique d’un système de surveillance [6,13]

Définition Exemples de questions ou d’affirmations posées
aux participants du système de surveillance†
Simplicité Un système est jugé simple si sa structure est Les définitions de cas sont-elles claires ?
légère avec un nombre restreint d'acteurs, la
définition des cas claire et précise, et les La procédure d’envoi des données est simple
procédures de recueil et de transmission des
données rapides et standardisées

Acceptabilité Elle est le reflet de l’implication des acteurs Le temps consacré à remplir une fiche est
dans le système de surveillance. Le taux de acceptable
participation et le temps consacré au recueil et
l’envoi des informations sont autant Les informations demandées sont trop
d'indicateurs de l'acceptabilité d'un système de nombreuses
surveillance par ceux qui y participent

Stabilité La stabilité reflète la fiabilité et l’aptitude du
système à fonctionner correctement
Il y a toujours quelqu’un qui me répond quand je
cherche à joindre l’équipe à qui j’envoie les
données
J’ai déjà été confronté à des problèmes
techniques (informatiques, transmission fax..)
lors de l’envoi des données

Réactivité La réactivité se définit comme le délai Dès que je diagnostique un cas, je le déclare
nécessaire à la transmission de l'information rapidement
d'un échelon à un autre du système de Les analyses issues du système de surveillance

109
 surveillance. sont intéressantes mais sont produites très
tardivement par rapport au délai de survenue de
l’évènement
Qualité des données Elle reflète les performances des différents Je retrouve l’ensemble des informations
critères (acceptabilité, simplicité…) et permet de demandées à la lecture des analyses produites
juger de la validité des résultats produits par le par le système de surveillance
système Les données produites par le système de
surveillance sont de bonne qualité
Souplesse La souplesse se juge sur la capacité
(flexibility)* d'adaptation du système à des changements
comme par exemple l’ajout d’un nouvel
évènement de santé dans un système déjà
existant ou des modifications du recueil
d’information

Représentativité* Un système de surveillance est représentatif s'il

décrit correctement la survenue d'un évènement
de santé au cours du temps ainsi que sa
distribution dans la population en termes de lieu
et de caractéristiques individuelle
Sensibilité* Elle se définit par sa capacité à mettre en
évidence l’évènement de santé surveillé.
Spécificité* Elle se définit par la capacité du système de
surveillance à notifier peu de faux positifs

1.3. Le déroulement pratique de l’évaluation

Principalement centré sur la visite du comité d’évaluation au siège de l’équipe de coordination du
système de surveillance afin que ce dernier rencontre l’ensemble des personnels impliqués, le
processus d’évaluation requiert une phase importante de préparation (Tableau 3). Cette phase est
assurée par l’épidémiologiste junior du comité d’évaluation sous la responsabilité de la coordination
scientifique. Elle comprend la réalisation et l’analyse des différentes enquêtes auprès des participants
et des utilisateurs ainsi que l’analyse des différents documents permettant de juger des bonnes
pratiques de fonctionnement du système de surveillance. Cette phase préparatoire fait l’objet d’un pré-
rapport d’évaluation remis à l’ensemble du comité d’évaluation en amont de leur visite.

Selon l’importance du système évalué, les visites sur sites durent deux à trois jours. Outre l’équipe en
charge du système de surveillance, les évaluateurs rencontrent ou échangent par téléphone avec le (s)
partenaire (s) extérieur (s) du réseau de surveillance. Le coordinateur scientifique est présent, en tant
qu’observateur, à l’ensemble des entretiens mais n’assiste pas aux délibérations du comité
d’évaluation.

Le comité d’évaluation soumet un rapport provisoire écrit avec des recommandations, un mois après sa
visite. Ce premier rapport est soumis aux équipes du système de surveillance essentiellement pour une
relecture factuelle afin d’éliminer toute incompréhension. Des remarques ou des commentaires sur les
appréciations du comité d’évaluation sont possibles. Cependant, ce dernier se réserve le droit de les
intégrer ou pas dans son rapport final. La mise en œuvre des recommandations issues de l’évaluation
est du ressort de l’équipe du système de surveillance évalué et du directeur du département dont il
dépend.
Tous les rapports d’évaluation sont également transmis à la Direction générale de l’InVS qui les utilise
dans ses décisions de programmation des activités de surveillance de l’Institut. Par ailleurs, le nombre
d’évaluations externes de systèmes de surveillance fait maintenant partie des indicateurs de qualité
suivi annuellement dans le cadre du contrat d’objectif et de performance de l’Institut avec le Ministère
chargé de la santé.

Tableau 3 : Schéma pratique du processus d’évaluation

110
 Acteurs Activités Calendrier (Mois)
Coordination Sélection du comité Envoi du Sélection des Mois 1-Mois 3
Scientifique d’évaluation protocole participants et des
d’évaluation utilisateurs en lien
Au CE* et à avec l’ESS
l’ESS*
Epidémiologiste Enquêtes auprès des Analyse des Rédaction d’un pré- Mois 4-Mois 5
junior participants et des documents rapport fourni au
utilisateurs fournis et des comité d’évaluation
enquêtes
Comité d’évaluation Visite sur site Analyse des Rapport Mois 6-Mois 9
Entretiens documents intermédiaire et final
fournis
Coordination Réunion avec direction du Mise en ligne du Mois 9-Mois 12
scientifique département et de l’ESS rapport final
pour planification des d’évaluation sur
recommandations le site de l’InVS
*CE : comité d’évaluation, ESS : équipe en charge du système de surveillance

2. Principaux résultats

2.1. Les systèmes et dispositifs de surveillance évalués

Entre 2009 et 2013, quatre évaluations ont été menées au sein du département des maladies
infectieuses de l’InVS. Parmi elles, l’une a concerné un système de surveillance coordonné au niveau
national par un partenaire extérieur (le Centre de Coordination de la Lutte contre les Infections
Nosocomiales de l'inter-région Nord (CCLIN Nord)): le réseau de surveillance des bactéries multi-
résistantes dénommé BMR-Raisin. Ce réseau de surveillance constitue l’un des cinq programmes du
Réseau d’Alerte d’Investigation et de Surveillance des Infections Nosocomiales (RAISIN) coordonné par
l’InVS. La seconde évaluation a concerné le réseau de surveillance des infections bactériennes sévères
d’origine communautaire dénommé le réseau Epibac coordonné par l’InVS.
Les deux autres évaluations ont concerné un dispositif de surveillance associant plusieurs systèmes de
surveillance. Ainsi, l’ensemble du dispositif de surveillance de la grippe saisonnière (6 systèmes de
surveillance) et les dispositifs spécifiques mis en place pour la grippe (H1N1)pdm09 (4 systèmes de
surveillance) a été évalué en 2011. Dans cette évaluation, dix systèmes de surveillance ont été
considérés dont certains sont coordonnés par des partenaires de l’InVS (Réseau des Groupes
Régionaux d’Observation de la Grippe (Grog), Réseau Sentinelles (Université Pierre et Marie Curie et
UMR S1136 de l’Inserm), Centres nationaux de référence de la grippe).

Le dispositif de surveillance des hépatites B et C est composé de 13 systèmes de surveillance qui

associent à la fois une surveillance par déclaration obligatoire, des réseaux de surveillance volontaires
de cliniciens et de biologistes, des enquêtes réalisées en population générale et auprès de populations
vulnérables. Il a fait l’objet d’une évaluation en 2013. Ce dispositif de surveillance est majoritairement
coordonné par les équipes de l’InVS.

2.2. Nombre de personnes impliquées

La durée moyenne d’une évaluation de la sélection des experts à la remise finale du rapport est
estimée à 1 an. Quinze experts dont trois épidémiologistes seniors étrangers et cinq épidémiologistes
juniors ont participé aux comités d’évaluation. Près de 60 experts impliquant des épidémiologistes de
l’InVS mais aussi des partenaires de la surveillance (Centres nationaux de référence, Réseau des Grog,
Réseau Sentinelles, CCLIN Nord) ont contribué à ces évaluations. Enfin, environ 250 participants et
utilisateurs ont été interrogés dans le cadre de ces évaluations.

111
2.3. Principaux résultats de l’évaluation technique

Tous les rapports d’évaluation sont publiés sur le site internet de l’InVS [14-17]. Chaque dispositif ou
système de surveillance évalué présente des spécificités et les conclusions des évaluations sont
dépendantes de ces particularités. Les dispositifs de surveillance évalués sont jugés utiles tant pour les
données épidémiologiques produites que pour les décisions en santé publique avec des scores moyens
chez les utilisateurs compris entre 6.3 et 7.3
Les objectifs assignés à chacun des systèmes de surveillance sont dans la majorité atteints (scores
moyens pour les utilisateurs, les participants et le comité d’évaluation compris entre 5.5 et 7.5) et la
performance technique des différents systèmes évalués est jugée plutôt bonne et homogène (scores
moyens chez les participants compris entre 7.5 et 7.9). L’analyse du fonctionnement de chaque
système ou dispositif évalué montre que les procédures (recueil, contrôle des données, analyses,
sécurité informatique, procédures réglementaires) existent et sont bien documentées (score moyen
supérieur à 7.5 pour toutes les évaluations). Chaque comité d’évaluation a souligné les compétences,
l’engagement et la motivation des équipes responsables des réseaux de surveillance. Il n’a pas été
proposé de bouleversements majeurs dans les objectifs et le fonctionnement des dispositifs de
surveillance évalués mais certaines recommandations organisationnelles ont été émises comme par
exemple, la mise en place d’une coordination transversale au sein de l’InVS pour la surveillance de la
grippe. Les principaux points forts des systèmes de surveillance évalués et les principales
recommandations de chaque évaluation figurent dans le Tableau 4.

2.4. Recommandations les plus fréquentes pour l’InVS

Au-delà des recommandations spécifiques à chacun des systèmes ou dispositifs évalués, des
recommandations ont été formulées pour améliorer la stratégie de surveillance de l’InVS. Elles se
déclinent selon trois grands axes portant sur l’organisation, la rétro-information et l’efficience de la
surveillance.
Ainsi, trois des quatre comités d’évaluations insistent sur le rôle pivot que doit tenir l’InVS dans la
coordination nationale des dispositifs de surveillance complexes associant de nombreux partenaires.
Dans la même perspective, des recommandations sont émises à trois reprises sur l’optimisation des
interfaces entre surveillance régionale assurée par le réseau des cellules de l’InVS en région (Cire) et le
siège de l’InVS afin d’obtenir pour l’ensemble des dispositifs de surveillance des estimations régionales
fiables et robustes.

Sur la rétro-information et la lisibilité des productions de l’InVS, si les comités d’évaluation ont reconnu
la qualité des données produites, ils ont cependant souligné l’importance de valoriser ces données dans
deux dimensions, dont l’une est régionale et qui peut être optimisée par une meilleure articulation
organisationnelle comme évoquée plus haut. Il est également recommandé dans trois évaluations sur
quatre de mieux valoriser les travaux de surveillance de l’InVS dans des publications internationales.

Enfin, les comités d’évaluation indiquent des pistes d’amélioration pour une meilleure efficience de la
surveillance proposant ainsi une évolution vers la transmission électronique des déclarations, la mise en
place de systèmes d’information partagés par l’ensemble des acteurs au sein d’un même dispositif, la
mutualisation des ressources en élargissant le champ des indicateurs couverts par les systèmes mis en
place. Des propositions sont également faites pour que l’InVS s’associe avec d’autres partenaires
institutionnels ou universitaires dans le cadre de la mise en place de grandes enquêtes
épidémiologiques ou d’études d’impact de certaines interventions en santé publique afin d’utiliser au
mieux les ressources existantes.

112
Tableau 4 : Principales recommandations spécifiques pour les systèmes et dispositifs de surveillance évalués
[14-17]

Système de Partenaires Utilisateurs/ Points forts Principales recommandations

surveillance ayant Participants
participé à interrogés
l’évaluation
Réseau de CCLIN Paris 48 Utilité pour la prise de décision en Mieux définir les objectifs de
surveillance Nord santé publique surveillance
des bactéries Simplicité du système
multi- Très bonne acceptabilité Apporter des précisions au protocole
résistantes* national

Système de 41 Qualité des estimations d’incidence Etendre la couverture géographique

surveillance Pérennité et robustesse du système aux départements d’outre-mer
des infections instauré en 1982
invasives Simplicité et bonne acceptabilité Création d’un comité de pilotage
bactériennes
dénommé Etendre la surveillance à d’autres
Epibac† bactéries d’intérêt
Dispositif de Réseau 142 Dispositif de surveillance clinico- Unification de la surveillance
surveillance de Sentinelles, virologique complet communautaire au sein d’un seul
la grippe réseau des réseau et d’une seule définition de
saisonnière et GROG, Dispositif associant des champs cas
pandémique ǂ Centre disciplinaires multiples
nationaux de Etendre le plus rapidement possible
référence Objectifs de surveillance pertinents la surveillance en temps réel de la
Grippe Nord et essentiels en termes de santé mortalité
et Sud publique
Privilégier l’adaptation des systèmes
de surveillance de grippe saisonnière
aux besoins de la surveillance des
situations de pandémie, par rapport
à la mise en œuvre de nouveaux
systèmes spécifiques à la pandémie

Dispositif de 13£ Dispositif de surveillance vaste et Revoir en profondeur la déclaration

surveillance extensif qui prend en compte la obligatoire de l’infection aigüe par le
des hépatites B diversité épidémiologique des VHB
et C¶ hépatites B et C
Dispositif réactif et en lien avec les Inscrire les enquêtes portant sur les
plans de prévention des hépatites groupes à risque élevé dans une
Des interactions et des partenariats logique de surveillance
nombreux et réactifs pluriannuelles.

Explorer plus en avant les

possibilités de modélisation pour
estimer la prévalence et la mortalité
des hépatites B et C au niveau
national
* : réseau de surveillance des bactéries multi-résistantes coordonné au niveau national par le Cclin Paris Nord Ce réseau de surveillance constitue l’un des
cinq programmes du Réseau d’Alerte d’Investigation et de Surveillance des Infections Nosocomiales de surveillance (RAISIN) coordonné par l’InVS.

† : système de surveillance volontaire collectant des informations sur 6 infections invasives bactériennes (Haemophilus Influenzae, ListeriaMonocytogenes,
Neisseria meningitidis, Streptococcus agalactiae , pyogenes et pneumoniae) à partir de laboratoires hospitaliers.

ǂ : dispositif comprenant 6 systèmes de surveillance pour la grippe saisonnière (réseau Sentinelles, réseau des GROG (incluant une partie surveillance
virologique), réseau unifié, réseau des urgences hospitalières et réseau SOS médecins, surveillance virologique par le CNR et 4 systèmes de surveillance
grippe pandémique (surveillance des cas individuels, surveillance des cas groupés, surveillance des cas hospitalisés et surveillance virologique) soit 10
systèmes de surveillance
¶ : dispositif comprenant la déclaration obligatoire de l’infection aigüe par le VHB B, l’activité de dépistage du VHB et du VHC par enquête triennale, le suivi
des patients nouvellement pris en charge pour une hépatite chronique B ou C, des enquêtes de prévalence en population générale et dans des populations
à risque et des analyses de bases médico-administratives soit 13 systèmes de surveillance
£: Utilisateurs uniquement

113
3. Discussion

Initiée en 2009, la démarche standardisée d’évaluation des systèmes de surveillance selon un protocole
qui inclut l’ensemble des étapes indiquées dans les recommandations internationales est une pratique
encore peu répandue. L’approche institutionnelle systématique engagée par l’InVS est aussi rarement
rapportée dans la littérature. A notre connaissance, seul l’ECDC a mis en place en 2006-2007 une
évaluation systématique des réseaux de surveillance européens qui existaient avant sa création. Cette
évaluation systématique reposait sur une approche similaire à celle que nous avons utilisée et devait
permettre de définir les ajustements en vue de la reprise opérationnelle de ces réseaux de surveillance
par l’ECDC1
Notre approche a privilégié l’aspect qualitatif en se tournant vers les déclarants et les utilisateurs
potentiels des résultats issus des systèmes de surveillance afin d’obtenir une vision globale des
résultats produits plutôt que de s’intéresser à un attribut particulier. Ces évaluations n’ont pas cherché à
estimer directement certains attributs quantitatifs comme la représentativité ou la sensibilité qui
demandent des analyses ou des études spécifiques et qui nécessitent de faire appel à d’autres sources
de données ou de surveillance. Une récente revue de la littérature sur l’évaluation des systèmes de
surveillance a montré, par ailleurs, que les évaluations publiées portaient, le plus souvent, sur un ou
deux attributs seulement et a pointé, la nécessité d’adapter les recommandations internationales des
CDC à chaque surveillance évaluée car il est difficile de prendre en compte l’ensemble des critères
d’évaluation décrits dans ces recommandations dans un protocole unique [18].
L’expérience rapportée dans cet article indique la faisabilité du développement d’un protocole générique
et de son adaptation à différents systèmes ou dispositifs de surveillance dont les objectifs et les
fonctionnements diffèrent. L’évaluation technique de chacune des évaluations est globalement positive
et les recommandations issues ont été mises progressivement en place. L’acceptabilité du dispositif par
l’ensemble des acteurs a grandement facilité sa mise en place. Il a apporté aux épidémiologistes et
leurs partenaires, un regard extérieur. Il a engendré des réflexions et des discussions enrichissantes
sur des aspects stratégiques de la surveillance, aspects le plus souvent négligés ou peu considérés par
manque de temps et parce que les épidémiologistes sont principalement investis dans les activités
opérationnelles quotidiennes.
Plus globalement pour l’InVS, ce processus est à l’origine de la mise en place progressive d’une
démarche qualité pilotée par un groupe de travail transversal associant une approche de maitrise des
risques, une instance de priorisation de nouveaux projets et le processus d’évaluation qui depuis 2009
a été élargi à d’autres champs de surveillance (maladies chroniques, santé environnement et santé au
travail).
Cette démarche a cependant montré certaines limites. Ces évaluations sont longues (1 an en moyenne)
et demandent la participation de nombreux experts. A titre d’exemple, le département des maladies
infectieuses animait ou coordonnait en 2009, 72 systèmes de surveillance [8]. L’évaluation de
l’ensemble de ces systèmes, à raison d’un par an demanderait plusieurs décennies. Pour pallier à cette
difficulté, l’InVS développé un nouveau protocole (dit d’auto-évaluation)3 plus simple et plus court qui
représente une alternative au processus d’évaluation plus formelle. Des critères sont mis en place pour
assigner un type d’évaluation à chaque système. Ainsi, dans le futur, les évaluations décrites ici seront
réservées aux dispositifs de surveillance complexe associant plusieurs types de systèmes de
surveillance.

Par ailleurs, afin de garantir une sélection plus rigoureuse et objective des experts évaluateurs, l’InVS a
lancé un appel à candidatures. De même, une réflexion est engagée sur la sélection des utilisateurs
potentiels (jusque-là fournie par les équipes du système de surveillance évalué) afin de limiter un biais
de sélection (favorable) de ces utilisateurs. L’expérience d’une des quatre évaluations a montré, par
ailleurs, qu’un certain nombre d’experts considérés comme utilisateurs potentiels ne l’étaient pas
réellement [19]. Concernant le nombre de participants et d’utilisateurs, les effectifs initialement définis

3 Données personnelles InVS

114
dans le protocole (respectivement 30 et 20) sont dorénavant discutés pour chacun des systèmes ou
dispositifs évalués.

Enfin, ces évaluations montrent de grandes limites voire sont insuffisantes pour apprécier l’aspect
médico-économique, que l’on ne peut aujourd’hui ignorer dans la situation budgétaire contrainte à
laquelle tous les opérateurs publics de l’Etat font face. Les tentatives d’estimation des coûts faites dans
deux évaluations sont une première étape. Cependant, les coûts engendrés doivent être mis en
balance avec les bénéfices chiffrés de la surveillance [1,2]. La revue de la littérature évoquée plus haut
a trouvé peu d’évaluations des coûts ou de coût-bénéfice des systèmes de surveillance en santé
publique du fait de nombreuses questions méthodologiques inhérentes à l’estimation des bénéfices
d’une surveillance [18]. Dans le cadre de ses activités liées aux évaluations des systèmes de
surveillance qu’il coordonne, l’InVS a initié une réflexion sur les méthodes d’évaluation des bénéfices de
la surveillance en santé publique

4. Conclusion

Fondé sur un processus incluant de nombreuses dimensions, la démarche d’évaluation d’un système
de surveillance est utile et nécessaire afin d’optimiser la qualité des informations produites par la
surveillance. L’évaluation d’un système de surveillance doit rester cependant souple et pouvoir être
adaptée à toutes modalités de surveillance. L’InVS s’est engagé, depuis 2009, dans une politique
d’évaluation formelle et standardisée et a depuis optimisé certains de ces processus de décision en
termes de programmation et de procédure qualité. Au-delà de ces améliorations institutionnelles, cette
démarche est à l’origine de nouveau travaux scientifiques en lien avec les méthodes d’évaluation des
systèmes de surveillance. Une réflexion est engagée sur l’estimation des bénéfices engendrés par
certains systèmes de surveillance.

Remerciements

Les auteurs remercient chaleureusement l’ensemble des experts des comités d’évaluation, les
épidémiologistes de l’InVS et leurs partenaires de surveillance qui ont participé et contribué aux succès
de ces évaluations.

Les auteurs remercient également le Docteur Benoît Dervaux pour sa relecture attentive et constructive
d’une version antérieure de cet article.

115
Références

1- Thacker SB, Berkelman R. Public Health surveillance in the United States. Epidemiol Rev 1988;
10:164-90
2- Desenclos JC. Surveillance et veille: concepts, définition et organisation. In Dabis F, Desenclos JC
editors. Epidémiologie de terrain. Paris : John Libbey ; 2012. p 76-89
3- Hubert B, Haury B. Orientations pour la révision des modalités de surveillance des maladies
transmissibles en France. Bull Epidemiol Hebd 1996 ; 26 :115-17
4- Pascal M. Impacts sanitaires du changement climatique en France- Quels enjeux pour l’InVS ?
Synthèse. Saint-Maurice : Institut de veille sanitaire ; 2010. p.81
5- Groseclose SL, German RR, Nsubuga P. Evaluating public health surveillance. In Lee LM, Teusch
SM, Thacker SB, St-Louis ME editors. Principles and practice of public health surveillance- 3rd
edition. New-York: Oxford University Press; 2010. p166-97
6- Centers for Disease Control and Prevention. Updated guidelines for evaluating public health
surveillance systems: recommendations from the guidelines working group. MMWR 2001; 50 (RR-
N°13) : 1-35
7- Eilstein D, Salines G, Desenclos JC. Veille sanitaire : outils, fonctions, processus. Rev Epidemiol
Sante Publique 2012 ; 60 : 401-411
8- Herida M, Saura S. Maladies infectieuses. In P Astagneau, T Ancelle editors. Surveillance
épidémiologique. Paris. Lavoisier ; 2011. p 115-30
9- Nardone A, Decludt B, Jarraud S, Etienne E, Hubert B, Infuso A et al. Repeat capture-recapture
studies as part of the evaluation of Legionnaires’ disease in France. Epidemiol Infect 2003; 131:
647-54
10- Gallay A, Vaillant V, Bouvet P et al. How many foodborne outbreaks of Salmonella infections
occurred in France in 1995? Am J Epidemiol, 2000; 152: 171-7
11- Berger F, Parent du Châlelet I, Bernillon P. Surveillance des infections à méningocoques en
France métropolitaine en 2005. Evaluation quantitative par la méthode de capture-recapture à 3
sources. Saint Maurice: Institut de veille sanitaire, 2010, 54 pages
12- Spaccaferri G, Cazein F, Lièvre L, Geffard S, Gallay A, Pillonel J. Estimation de l’exhaustivité de la
surveillance du sida par la méthode capture-recapture, France, 2004-2006. Saint Maurice: Institut
de veille sanitaire, 2010, 36 pages
13- Herida M, Desenclos JC – Evaluer un système de surveillance. In Dabis F, Desenclos JC editors.
Epidémiologie de terrain. Paris : John Libbey ; 2012. p 76-89
14- Frenette C, Blanchon T, Grout E ; Evaluation du réseau BMR- Raisin, 2009, 42
p.http://www.invs.sante.fr/content/download/85348/313482/version/1/file/rapport_evaluation_bmr_r
aisin.pdf consulté le 29/07/2014
15- Denis F, Nardone A, Bellali H. Rapport d’évaluation du système de surveillance Epibac, 2010, 24
p.
http://www.invs.sante.fr/publications/2011/rapport_eval_epibac.pdf consulté le 29/07/2014
16- Drucker F, Krause G, Pozzetto B, Dedet G, Terrien E. Evaluation du dispositif de surveillance de la
grippe, 2011, 79 p.
http://www.invs.sante.fr/content/download/49127/210958/version/1/file/Rapport_evaluation_disposit
if_surveillance_Grippe_2012.pdf consulté le 29/07/2014
17- Czernichow P, Abergel A, Audureau E avec la collaboration de Durand J ; Surveillance des
hépatites B et C en France. Evaluation du dispositif de l’InVS. 2013, 103p

116
 http://www.invs.sante.fr/content/download/92387/335978/version/1/file/Rapport_Evaluation_surveill
ance_hepatites_B_et_C_2013.pdf consulté le 29/07/2014
18- Drewe JA, Hoinville LJ, Cook AJC et al. Evaluation of animal and public health surveillance
systems: a systematic review. Epidemiol Infect 2012; 140: 575-590
19- Grout E Frenette C, Blanchon T. Evaluation du réseau de surveillance des bactéries multi-
résistantes dans les établissements de santé en France : le réseau BMR –Raisin en 2009. Bull
Epidemiol Hebdo 2011; 15-16-17 :190-193

117
Annexe 1.2 : Protocole d’évaluation des systèmes de surveillance des maladies
infectieuses de l’Institut de veille sanitaire
1-Contexte

Pour répondre à ses missions d’alerte et de surveillance, l’Institut de veille sanitaire (InVS) a mis en
place depuis 10 ans, de nombreux systèmes de surveillance des maladies infectieuses de différents
types (réseaux volontaires de biologistes et/ou de cliniciens, déclaration obligatoire….) impliquant divers
professionnels de santé (cliniciens, microbiologistes, hygiénistes, vétérinaires…) et partenaires
institutionnels (Ddass, DGS, Cclin, Inserm, CNR, HAS, INPES…). Au moment où l’InVS modernise ses
systèmes d’information avec le développement de nouveaux outils visant à améliorer la retro-
information et le partage des données de manière plus réactive, cette évaluation répond à une
démarche scientifique d’analyse du fonctionnement et de la qualité des données issues des systèmes
de surveillance dans le but d’améliorer la surveillance. Ce processus d’évaluation répond, par ailleurs, à
une recommandation du conseil scientifique de l’InVS.

2-Objectifs

Les objectifs principaux de cette évaluation sont :

Pour le système évalué :
- Identifier les points forts et les points faibles du réseau de surveillance au regard de son utilité
pour la santé publique et de sa performance technique en utilisant certains des indicateurs
d’évaluation des systèmes de surveillance selon les recommandations du CDC Atlanta (1)
- Elaborer des recommandations pour améliorer le fonctionnement et la qualité des données
issues du système évalué
Pour l’Institut de veille sanitaire
- Améliorer la qualité de la surveillance des maladies infectieuses
- Ajuster la stratégie de surveillance de l’InVS

3-Méthodologie

Les méthodes de cette évaluation suivent les recommandations publiées par le CDC (1) et celles
publiées par un groupe de travail européen sur l’évaluation des systèmes de surveillance (2). Le
schéma de réalisation est celui ayant servi à l’évaluation des réseaux de surveillance européens menée
par l’ECDC depuis 2006 (3).
L’évaluation est qualitative sur la base d’un protocole générique à tous les systèmes de surveillance de
l’InVS. Elle vise à déterminer l’utilité du système, son mode de fonctionnement, ses performances
techniques et l’atteinte des objectifs.

A- Les acteurs impliqués dans l’évaluation

- Pour l’ensemble des évaluations

- La coordination scientifique et logistique
Cette coordination est assurée à l’InVS par la coordination de programme des systèmes de surveillance
du département des maladies infectieuses
Elle a la charge de développer le protocole d’évaluation, d’identifier les acteurs qui participeront aux
évaluations et de s’assurer du bon déroulement logistique des évaluations.

118
Elle procède parmi une liste d’experts extérieurs, au choix et à la constitution des équipes
d’évaluateurs. Ces propositions sont transmises pour validation à la direction scientifique de l’InVS.
Elle s’assure de la planification des recommandations issues de l’évaluation.

- Pour chaque système de surveillance évalué, 4 types d’acteurs seront impliqués

L’équipe d’évaluation : Elle est composée de 3 experts extérieurs à l’InVs

- Deux experts seniors en Santé Publique francophones dont un sera désigné « Responsable
d’équipe »
- Un épidémiologiste junior de type « Profet » ou « Epiet » accompagnera les 2 experts
seniors.

Les utilisateurs : Il s’agit des professionnels de santé et des principaux partenaires institutionnels ou
universitaires de l’InVS qui utilisent les données issues du système de surveillance mais ne participant
pas au système (i.e. : ils ne fournissent aucune donnée).

Les participants : Il s’agit des professionnels de santé qui fournissent des données au système de
surveillance évalué4.

L’équipe du système de surveillance évalué (ESS) : Elle est composée de l’ensemble des
épidémiologistes et assistantes d’information en charge du projet de surveillance et du responsable
d’unité InVS dans laquelle est « hébergé » le système de surveillance5.

B- les critères d’évaluation

1-L’utilité du système :
Les indicateurs utilisés sont :
- Utilité pour la surveillance : estimation de l’incidence de la maladie sous surveillance,
caractérisation des personnes concernées, identification d’alerte, détection des émergences

- Utilité en Santé Publique : utilisation des données de surveillance pour la prise de décision,
mise en place de recommandations ou de bonnes pratiques, mise en place de stratégie de
prévention et de contrôle de la maladie, identification de nouvelles pistes de recherche.
- Utilité pour les partenaires de la surveillance : qualité et fréquence des informations
produites, échange d’information et animation du réseau

2-Le fonctionnement du système

L’évaluation vise à décrire le système et à déterminer si son fonctionnement suit les bonnes pratiques :
- Schéma du circuit des données
- Existence d’un comité de pilotage (existence et activité, fréquence des réunions…)
- Existence d’un protocole de surveillance
- Existence de définitions de cas

1Un participant peut également utiliser les données analysées issues du système de surveillance et donc être considéré comme

utilisateur.

Dans ce protocole, un professionnel de santé à la fois participant et utilisateur est défini par défaut comme participant

5Dans le cas où le système est coordonné à l’échelon interrégional et national, deux ESS seront à considérer. Le cas échéant, la visite sur
site (voir paragraphe C : outils d’évaluation) se fera aux 2 endroits.

119
 - Procédures de gestion des données y compris la sécurité informatique
- Procédures d’analyse (plan et contrôle de la qualité de ces analyses)
- Contrôle qualité des données au niveau du recueil, de la validation
- Fréquence et mode de dissémination des données analysées
- Respect de la protection des personnes

3-La performance technique du système :

Les indicateurs utilisés sont :
- La simplicité
- La stabilité
- La qualité des données (complétude, validation, analyse)
- L’acceptabilité
- La réactivité
- La retro-information (dissémination des données)

Les indicateurs quantitatifs : sensibilité, valeur prédictive positive, représentativité ne seront pas estimés
directement par l’équipe d’évaluateurs. Cependant, il sera demandé à l’équipe en charge du système si
elle a cherché à estimer certains de ces indicateurs. Dans l’affirmative il sera demandé les résultats
obtenus et les modifications apportées au système de surveillance suite à ces estimations.

4-Les objectifs
- L’atteinte des 3 principaux objectifs sera évaluée à l’aide d’une échelle d’appréciation-
- Il sera demandé, par ailleurs, aux participants et aux utilisateurs s’ils connaissent l’objectif principal du
réseau.

C- Les outils d’évaluation

- Des documents concernant le fonctionnement du système seront fournis par l’ESS à l’équipe
d’évaluateurs (Annexe 1)

- Deux questionnaires standardisés seront utilisés pour interroger les utilisateurs et les
participants (Annexes 2-3). Il est prévu d’interroger 20 utilisateurs et 30 participants.

- Une évaluation des documents fournis et l’analyse à l’aide d’un score des réponses des
utilisateurs et des participants est faite par l’épidémiologiste junior afin de préparer la visite
sur site (Annexes 4-5)

- Une visite sur site de 2 jours sera effectuée par l’équipe d’évaluateurs pour s’entretenir avec
l’ESS. Les entretiens seront guidés par un questionnaire fourni à l’équipe d’évaluateurs
(Annexe 6)

- Une synthèse de l’évaluation (Annexe 7) reprenant l’ensemble des réponses aux

questionnaires et entretiens permettront à l’équipe d’évaluateurs de rédiger leur rapport
d’évaluation (modèle en Annexe 8)

D- Critères évalués par chacun des acteurs

- les Utilisateurs jugeront l’utilité et l’atteinte des objectifs du système

120
 - Les Participants jugeront l’utilité, le fonctionnement et les performances du système. La
connaissance par les participants de l’objectif principal du système de surveillance sera
également évaluée.
- L’ESS s’auto-évaluera sur l’atteinte des objectifs- Si les objectifs ne sont pas atteints, l’ESS
pourra en fournir les raisons.
- L’équipe d’évaluation fera une synthèse de l’ensemble des réponses des différents acteurs,
de l’analyse des documents fournis et des entretiens qu’elle aura menés avec l’ESS et
répondra sur l’ensemble des critères : utilité, performances techniques, fonctionnement du
système et atteinte des objectifs.

E- Réalisation pratique
L’évaluation se déroule en plusieurs étapes :

Rôle de la coordination scientifique et logistique

Etape 1-Sélection de l’équipe d’évaluation
Une liste d’experts dans le domaine de la surveillance épidémiologique sera constituée pour l’ensemble
des évaluations. Pour chaque évaluation, une équipe d’évaluateurs sera constituée par la coordination
scientifique et logistique et sera adressée pour validation à la direction scientifique de l’InVS.
La cellule formation de l’InVS en charge du programme « Profet » sélectionne les épidémiologistes
juniors.

Etape 2-Information de l’équipe d’évaluation

Ce protocole d’évaluation et les questionnaires administrés aux utilisateurs et aux participants seront
envoyés à l’équipe d’évaluation. Si besoin, une téléconférence pourra être organisée pour préciser
certains aspects du protocole.

Etape 3-Identification des utilisateurs

Une liste de 20 utilisateurs du système de surveillance sera identifiée par l’ESS en collaboration avec la
coordination scientifique et logistique.

Etape 4-Sélection des participants interrogés

Un échantillon de 30 participants sera tiré au sort parmi la liste des participants du réseau qui sera
remis par l’ESS à la coordination scientifique. Ces 30 participants seront invités à répondre à l’enquête.
En cas de non réponse ou refus, un échantillon supplémentaire (dont le nombre sera déterminé en
fonction du taux de refus du premier échantillon) sera retiré afin d’obtenir un total de 30 questionnaires

Rôle de l’équipe en charge du système (ESS)

Etape 5- Remise des documents
-L’ESS fournit les documents relatifs au protocole, au schéma de collecte des données, au dernier
rapport annuel, au compte-rendu de la dernière réunion du comité de pilotage et à la production de
documents de retro-information imprimés ou en ligne sur le site InVS (Annexe 1).
- L’ESS s’auto-évalue au regard des objectifs du système de surveillance

Rôle de l’équipe d’évaluation

Etape 6- Interviews des utilisateurs et des participants par l’épidémiologiste junior.
Les interviews se font par téléphone. Les questionnaires (Annexes 2 et 3) seront envoyés aux
participants et utilisateurs sélectionnés quelques jours avant l’interview.

Etape 7-Analyse des informations par l’équipe d’évaluation

121
Les résultats des enquêtes menées auprès des participants et des utilisateurs, l’ensemble des
documents remis et l’auto-évaluation remis par l’ESS sont analysées par l’équipe d’évaluation dans le
cadre de la préparation de la visite (Annexes 4 et 5)

Etape 8-Visite de l’équipe d’évaluation

Elle débute par une présentation par l’ESS du programme des activités de surveillance.
L’équipe d’évaluation discute avec les personnes en charge du système de surveillance sur la base des
documents analysés et à partir du guide d’entretien fourni en Annexe 6.
Elle fait une synthèse de l’ensemble des évaluations (utilisateurs, participants et sa propre évaluation) à
partir d’un document de synthèse fourni en Annexe 7.
En fin de visite, l’équipe d’évaluation fait part à l’ESS de ses premières impressions.

Etape 9-Rédaction du rapport d’évaluation et de recommandations

L’équipe d’évaluation rédige un rapport (modèle en Annexe 8) qui sera remis aux responsables du
département et de l’unité hébergeant le système de surveillance évalué. Celui-ci doit répondre aux
questions suivantes :
- Les objectifs du système de surveillance sont-ils atteints ?
- Les moyens mis en œuvre pour atteindre ces objectifs sont-ils adéquats ?
- Quels sont les points forts de ce système de surveillance ?
- Quels sont les points faibles de ce système de surveillance ?
- Toutes les activités du système sont-elles utiles et pertinentes?
- Si non, quelles sont celles qui doivent être revues?
- Existe-t-il un impact de ce système sur des activités de surveillance et de recherche, au-delà
des objectifs initiaux ?
Le rapport sera accompagné de recommandations pour l’évolution du système de surveillance et en
particulier devra répondre aux questions suivantes
- Quelles sont les modifications à mettre en place pour améliorer le fonctionnement du
système, à court et moyen terme ?
- Le système doit-il adapter sa surveillance?

Rôle des responsables du département, de l’ESS et de la coordination scientifique

10-Mise en place des recommandations issues de l’évaluation
Une réunion sera organisée avec les responsables du département et de l’unité hébergeant le système
et l’ESS pour discuter des conclusions de l’évaluation et la planification de la mise en œuvre des
recommandations issues du rapport dans un délai approprié.

11-Résumé de l’évaluation
Ce résumé reprenant les principales conclusions et les principales recommandations sera diffusé aux
partenaires et aux participants du réseau.
La méthode et les résultats de l’évaluation pourront également faire l’objet d’une publication ou d’une
présentation à une conférence scientifique. La liste des auteurs inclut l’équipe d’évaluation et au moins
un membre de l’ESS.
E- Calendrier prévisionnel
L’ensemble du processus d’évaluation est planifié sur 6 mois, la planification de la mise en oeuvre des
recommandations et le résumé rendu public sur 12 mois

Mois 1 Etapes 1-4 :

Sélection et information de l’équipe d’évaluation
Sélection des participants et des utilisateurs
Mois 2- Mois 3 Etapes 5-6
Réalisation des interviews Utilisateurs et Participants
Remise des documents et de l’auto-évaluation fournis par l’ESS à

122
 l’équipe d’évaluation
Mois 4 Etape 7
Analyse des informations recueillies dans les étapes 5-6
Mois 5 Etape 8
Visite sur site
Mois 6 Etape 9
Remise du rapport d’évaluation
Mois 7-12 Etapes 10-11
Résumé de l’évaluation rendu public
Planification de la mise en œuvre des recommandations effectuée

F. Schéma pratique de l’évaluation

Direction scientifique Coordination Epidémiologiste

Scientifique Junior

Mois 1 Mois 2-4

Nomination Envoi du Collecte Sélection Enquête Analyse documents fournis

Equipe protocole documents téléphonique par ESS et enquêtes
Evaluation utiles auprès de téléphoniques
Information 30 Participants
l’ESS
Participants 20 Utilisateurs
Rédaction pré-rapport
Equipe

Comité d’évaluation Direction scientifique

Coordination scientifique
ESS

Mois 5-6
Mois 7-12

Visite sur Rapport et Planifier la mise en

site œuvre des
Recommandations Recommandations
Entretiens Résumé public rapport
d’évaluation
avec l’ESS

Références

1- Centers or Diseases Prevention and Control: Updated guidelines for evaluating public health
surveillance systems. MMWR 2001 ; 50 (RR13) : 1-35
2- Ruutu P, Breuer T, Desenclos JC et al: A framework and recommendations for evaluating
surveillance system within the community network for communicable diseases. European
Commission: Directorate General Health and Consumer Protection. 21.02.2001
3- European Center for Disease Prevention and Control. Framework for the evaluation and
assessment of EU-wide surveillance networks in 2006-2008. 21.08.2006
http://ecdc.europa.eu/Activities/surveillance/EU_evaluation.html

123
Abréviations

Afssaps : Agence française de sécurité sanitaire des produits de santé

Cclin : Centre de coordination de lutte contre les infections nosocomiales

CDC: Centers for Diseases Control and Prevention

Cire: Cellule interrégionale d’épidémiologie

CNR : Centre national de référence

Ddass : Direction départementale des affaires sanitaires et sociales

DGS : Direction Générale de la Santé

ECDC: European Centre for Disease Prevention and Control

EPIET: European programme for Intervention Epidemiology Training

ESS: Equipe en charge du système évalué

HAS : Haute autorité de santé

Inpes: Institut de prévention et d’éducation pour la santé

Inserm : Institut national de la santé et de la recherche médicale

InVS : Institut de veille sanitaire

Profet : Programme de formation à l’épidémiologie de terrain

124
Annexe 1.3 : Questionnaire A utilisateurs pratiqué par téléphone par
l’épidémiologiste junior.
Questionnaire fourni, au préalable, aux utilisateurs sauf les questions relatives aux objectifs
Questionnaire posé à : Cliniciens, microbiologistes, Cire, DGS, Ministère de la santé, HAS, Ddass,
Drass, associations, Cclin, Afssaps, Inpes
Pour émettre votre avis, vous disposer d’une échelle pour quantifier votre approbation de 1=pas du tout
d’accord à 10 = tout à fait d’accord-
Si vous n’avez pas d’opinion ou si la question est sans objet– coder SO

Indicateur Question Score Commentaires

Utilité A1 : Les données issues du système X sont
surveillance utiles pour mesurer les tendances au cours du
temps des X
A2 : Les données issues du système X sont un
bon indicateur de la morbidité liée à X
A3 : Les données issues du système X
permettent de caractériser les sujets à risque de
X
A4 : Les données issues du système X
permettent de détecter précocement l’apparition
de cas groupés ou l’émergence de forme
nouvelle de X
A5 : Les données issues du système X
contribuent à la surveillance Européenne des X
A6 : Les données issues du système X
contribuent à la surveillance régionale des X
A7 : Les données issues du système X
permettent d’estimer précisément la situation
épidémiologique des X
Score moyen UU1 : Total/ nombre de scores
attribués

Utilité A8 : Les données issues du système X ont mené

santé publique à la mise en place d’investigation
A9 : Les données issues du système X ont
permis de limiter l’apparition de cas secondaires
A10 : Les données issues du système X ont
montré que les infections X sont un problème de
Santé Publique
A11 : Les données issues du système X ont
contribué à l’élaboration de recommandations
utiles à la prévention et au contrôle de X
A12 : Les données issues du système X ont
amélioré les pratiques professionnelles dans la
prise en charge des X
A13: Les données issues du système X ont
généré des questions et des hypothèses de
recherche
A14: Les données issues du système X sont
utiles pour l’attribution de budgets pour lutter
contre les infections X

125
 A15 : Les données issues du système X
contribuent à estimer le « fardeau en santé
publique » (burden of disease) de X
Score moyen UU2 : Total/ nombre de scores
attribués

Utilité A16 : Si j’ai besoin d’information sur les X, je

Information consulte les données issues du système X
Animation du
réseau
A17 : Le réseau de surveillance X produit des
informations qui font référence
A18 : Les informations produites par le système
X sont utiles dans ma pratique professionnelle
A19 : Le réseau de surveillance X est utile pour la
collaboration et l’échange ente experts travaillant
dans le domaine des X
A20 : Le réseau de surveillance X favorise les
échanges et les collaborations Européennes
A21: Le réseau de surveillance X est à l’origine
de collaborations régionales entre différents
acteurs impliqués dans la prise en charge des X

Score moyen UU3 : Total/ nombre de scores

attribués
Score final utilité UU=: UU1+UU2+UU3/3
A22 : selon vous, quel est l’objectif du réseau de ouvert Score UO0 attribué
surveillance X ? par évaluateurs
Objectifs A23 : L’objectif 1 du système de surveillance x UO1
est atteint
A24 : L’objectif 2 du système de surveillance x UO2
est atteint
A25: L’objectif 3 du système de surveillance x est UO3
atteint
Total Score objectif :
UO=UO0+UO1+UO2+UO3

Performances
techniques
Qualité des A26 : Les informations issues du système X sont
données de bonne qualité
A27 : Les informations issues du système X sont
complètes
Accessibilité A28 : En cas de besoin, je trouve facilement les
informations issues du système X
Réactivité A29: Les informations issues du système X sont
toujours actualisées
Réactivité A30 : Les informations issues de X sont
disponibles rapidement
Total score performance UT= A26-A30 /5

126
Annexe 1.4 : Questionnaire B participants
Questionnaire fourni, au préalable, aux participants sauf la question relative aux objectifs
30 participants tirés au sort dans la liste fournie par l’ESS
Si vous émettez un avis, vous disposer d’une échelle pour quantifier votre approbation de 1=pas du tout
d’accord à 10 = tout à fait d’accord-
Si la question est sans objet ou si vous n’avez pas d’opinion – Coder SO

Indicateur Question Score Commentaires

Utilité surveillance
B1 : Les données issues du système X sont
utiles pour mesurer les tendances au cours du
temps des X
B2 : Les données issues du système X sont un
bon indicateur de la morbidité liée à X
B3 : Les données issues du système X
permettent de caractériser les sujets à risque de
X
B4: Les données issues du système X
permettent de détecter précocement l’apparition
de cas groupés ou l’émergence de forme
nouvelle de X
B5 : Les données issues du système X
contribuent à la surveillance Européenne des X
B6 : Les données issues du système X
contribuent à la surveillance régionale des X
B7 : Les données issues du système X
permettent d’estimer la situation épidémiologique
des X

Score UP1 : Total/ Nombre de réponses avec un

score
Utilité B8 : Les données issues du système X ont mené
Santé Publique à la mise en place d’investigation
B9 : Les données issues du système X ont
permis de limiter l’apparition de cas secondaires
B10 : Les données issues du système X ont
confirmé que les infections X sont un problème
de Santé Publique
B11 : Les données issues du système X ont
contribué à l’élaboration de recommandations
utiles à la prévention et au contrôle de X
B12 : Les données issues du système X ont
contribué à l’amélioration des pratiques
professionnelles dans la prise en charge des X
B13 : Les données issues du système X ont
généré des questions et des hypothèses de
recherche
B14 : Les données issues du système X
contribuent à estimer le « poids en santé
publique » (burden of disease) de X
Score UP2 : Total/ Nombre de réponses avec un

127
 score

Utilité B15 : Si j’ai besoin d’information sur les X, je

Information consulte les données issues du système X
Animation du
réseau
B16 : Le réseau de surveillance X produit des
informations qui font référence
B17 : Les informations produites par le système
X sont utiles dans ma pratique professionnelle
B18 : Le réseau de surveillance X est utile pour
la collaboration et l’échange entre experts
travaillant dans le domaine des X
B19 : Le réseau de surveillance X favorise les
échanges et les collaborations Européennes
B20 : Le réseau de surveillance X favorise les
échanges et les collaborations régionales entre
différents acteurs impliqués dans la prise en
charge des X
Score moyen UP3: Total/ Nombre de réponses
avec un score
Score final utilité :UP=UP1+UP2+UP3/3

Fonctionnement ▲Certaines questions entrainent des notes

du réseau négatives
B21 : Je connais la procédure d’envoi des
données
B22 : J’ai reçu une note d’information ou une
formation avant de participer au réseau de
surveillance X
B23 : J’ai reçu un document écrit détaillant la
procédure d’envoi
B24 : Si besoin, je sais comment contacter
l’équipe à qui j’envoie les données
B25 : Je participe au système X sur la base du
volontariat

B26 : Je participe au système X par obligation

légale (MDO)
Score PF : Total/Nb de réponses avec un
score
Performances
techniques
Simplicité B27 : Les définitions de cas sont claires
B28 : La fiche de déclaration est simple à remplir
B29 : La procédure d’envoi des données est
simple
B30 : En cas de besoin, je trouve facilement des
fiches de déclaration
Score PT1: Total/Nb de réponses avec un score

128
Acceptabilité B31 : Le temps consacré à remplir une fiche est
acceptable
B32 : Les variables demandées sont trop ▲
nombreuses
B33: Je suis souvent dérangé par l’équipe du ▲
système de surveillance pour des précisions ou
des questions quand je déclare un cas
B34 : Je ne remplis pas toutes les informations ▲
demandées car cela me prendrait trop de temps
B35 : j’oublie parfois d’envoyer mes déclarations ▲
au système de surveillance
Score PT2 Total/Nb de réponses avec un score
Réactivité B36 : Dès que je diagnostique un cas, je le
déclare rapidement
B37 : La procédure d’envoi des données repose
sur des technologies modernes (envoi
électronique)
B38: Les analyses issues du système de ▲
surveillance sont intéressantes mais sont
produites très tardivement par rapport au délai
de survenue de l’évènement
Score PT3 : Total/Nb de réponses avec un score

Qualité des B39 : Je retrouve l’ensemble des informations

données demandées à la lecture des analyses produites
par X
B40 : Les analyses des données issues du
système X sont bien détaillées
B41 : L’anonymat des personnes est respecté
B42 : Il y a souvent des informations ▲
manquantes dans les analyses produites par
l’équipe du système
B43 : La définition des cas devrait être modifiée ▲
pour mieux répondre à la surveillance de X
B44 : La fiche de notification devrait être ▲
modifiée pour mieux répondre à la surveillance
de X
B45 : Les données produites par le système de
surveillance sont de bonne qualité
Score PT4 : Total/Nb de réponses avec un score
Stabilité- fiabilité B46 : Il y a toujours quelqu’un qui me répond
quand je cherche à joindre l’ESS (l’équipe à qui
j’envoie les données)
B47 : J’ai déjà été confronté à des problèmes ▲
techniques (informatiques, transmission fax..)
lors de l’envoi des données
B48 : La réception de rapports ou d’analyse ▲
produits par l’équipe a déjà été retardée par
rapport au calendrier prévu
B49 : Il m’est déjà arrivé d’être obligé de déclarer ▲

129
 à nouveau des cas déjà notifiés à la demande de
l’ESS
Score PT5 : Total/Nb de réponses avec un score
Rétro-information
B50 : Je reçois régulièrement des rapports ou
des notes de synthèse sur les données du
système X
B51 : Le système de surveillance X a mis en
place un site internet d’informations issues des
données fournies
B52 : les données issues du système de
surveillance X ont fait l’objet de publications dans
des revues spécialisées
B53 : Le retour d’information du système de ▲
surveillance me semble insuffisant au regard des
efforts de collecte des données demandés aux
participants
B54 : Je n’ai jamais eu connaissance des ▲
analyses et des résultats du système de
surveillance X auquel je participe
Score PT6 : Total/Nb de réponses avec un score
Score final = PT1+PT2+PT3+PT4+PT5+PT6/6
Objectifs B55 : Selon vous, quel est l’objectif principal du ouvert Score
réseau de surveillance X PO0attribué par
évaluateurs
Score objectif PO=PO0

130
Annexe 1.5 : Analyse par l’épidémiologiste junior des réponses des participants et
des utilisateurs
Utilité
Utilité Score moyen Utilisateurs Score moyen Participants
Surveillance UU1 UP1
Santé Publique UU2 UP2
Animation réseau UU3 UP3
Total UU=UU1+UU2+UU3/3 UP= UP1+UP2+UP3/3

2- Fonctionnement du réseau
Fonctionnement Score moyen Utilisateurs Score moyen Participant
NA PF

3- Performances techniques
Attributs Score moyen Score moyen participants
Utilisateurs
Simplicité NA PT1
Acceptabilité NA PT2
Réactivité NA PT3
Qualité des données NA PT4
Stabilité NA PT5
Rétro-information NA PT6
Score global performance UT
technique
Total UT PT= PT1+PT2+PT3+PT4+PT5+PT6/6

4- Objectifs
Score moyen Utilisateurs Score moyen
participants
Connaissance Objectif principal UO0 PO0
Objectif 1 atteint UO1 NA
Objectif 2 atteint UO2 NA
Objectif 3 atteint UO3 NA
Score moyen UO=UO0+UO+UO2+UO3/3 PO=PO0

131
Annexe 1.6 : Documents à fournir par l’équipe du réseau de surveillance
Description du système
A- L’évènement sous surveillance

1- Quelle est la maladie ou l’évènement surveillé par le système ?

2- Quelle est la fréquence de la maladie ou de l’évènement surveillé ?
3- Quelle est la sévérité de la maladie en termes de morbidité et de mortalité ?
4- Avez-vous une idée du coût pour la société de cette maladie (jours d’hospitalisations, budget
alloué à sa prévention ou son traitement, QALYs gagnées par sa prévention)
5- Existe-t-il une prévention de cette maladie ?
(si Oui, laquelle ?)

B- Le Fonctionnement du système de surveillance

1- Equipe réseau : Nombre de personnes travaillant pour le système- Charge de travail ETP /an
2- Nombre de participants au réseau (moyenne annuelle sur 3 dernières années)
3- Fournir un protocole de surveillance qui devrait inclure
a. un schéma du circuit de surveillance
b. une fiche de déclaration
c. une procédure d’envoi des données
Si les 3 éléments ne sont pas inclus dans le protocole mais existent par ailleurs les fournir
3- Fournir une fiche de déclaration (version papier)
4- Fournir le compte-rendu du dernier comité de pilotage
5- Fournir le dernier bilan de surveillance
6- Fournir le dossier CNIL
7- Fournir une documentation relative à la sécurité des données
8- Fournir tous documents relatifs à la rétro-information, en dehors du rapport annuel de surveillance,
effectuée auprès des participants lors des 12 derniers mois (documents imprimés ou en ligne sur le site
de l’InVS)

C : Les objectifs

Pour les 3 principaux objectifs de la surveillance, donner sur une échelle de 1 (pas du tout atteint) à 10
(tout à fait atteint) votre opinion quant à l’atteinte de ses objectifs.
Vous pouvez commenter votre estimation, en particulier si les notes attribuées sont inférieures à 5.

132
Annexe 1.7 : Analyse par l’épidémiologiste junior de la documentation fournie

Organisation du réseau Oui : 10 Oui= +5

Non : -10 Non= -5

Protocole de surveillance existant A

Ce protocole
contient
Des objectifs définis
Des définitions de cas
Schéma du circuit de
données
Procédures d’analyse
et de validation des
données (assurance
qualité)
Procédure de
protection des
données
Total /5 B
Total protocole SD1=A+B
Comité de pilotage existant, réunions SD2
régulières, compte rendus rédigés
Dossier CNIL effectué et autorisation obtenue SD3
Dernier rapport annuel disponible SD4
Envoi au moins une fois par an de retro- SD5
information aux participants (rapport, Tableaux
de bord, articles)
Score documents : Total/5 SD=SD1+SD2+SD3+SD4+SD5/5

Objectifs
Objectif 1 atteint SO1
Objectif 2 atteint SO2
Objectif 3 atteint SO3
Total SO=SO1+ SO2+ SO3

133
Annexe 1.8: Guide d’entretien pour l’équipe d’évaluation lors la visite sur site
Les questions sur le fonctionnement du système (1) et sur les objectifs sont à renseigner
Les questions portant sur les performances techniques servent de grille d’entretien lors de la visite sur
site

1- Fonctionnement du système

Appréciations évaluateurs (Score/10) Score Commentaires

Score documents fournis annexe 2 SD
Appréciation générale qualité des de 0 à 10
documents et respect des bonnes
pratiques de surveillance
Appréciation générale respect des de 0 à 10
obligations de l’anonymat et de la
protection des personnes
Appréciation générale organisation de de 0 à 10
travail de l’équipe
Score Moyen appréciation EF= Total /4

2-Performance Technique
En fonction des réponses fournies, mettre une note de 1 (pas du tout) à 10 (tout à fait). Indiquer SO si la
question n’est pas pertinente. Certaines indications sont données (- ou + en fonction des réponses)

Indicateurs Indications en fonction Score Commentaires

des réponses fournies
Simplicité
C1 : Simplicité du circuit des Oui=+
données selon le schéma fourni
et la description des taches lors
la visite sur site
C2 : Simplicité de la définition Oui=+
des cas
C3 : Simplicité de la fiche de Oui=+
notification
C4 : La confirmation d’un cas Oui=-
nécessite-il la fusion de fiches
issues de plusieurs déclarants ?
C5 : Le processus de validation Oui=-
des données requiert-il des
manipulations importantes de
des fichiers?
C6 : La validation des données Oui=+
peut-elle être effectuée par
plusieurs membres de l’équipe
Score ET1= Total/Nb de
réponses avec un score

134
Acceptabilité
C7 : Quel est le taux de Faible=-
participation ?
C8 : Ce pourcentage a-t-il Non=-
augmenté au cours du temps ?
C9 : Quel est le pourcentage de Elevé=-
fiches reçues incomplètes ?
C10 : Existe-t-il des variables Elevé= -
jamais ou très peu renseignées ?
Score ET2=Total/Nb de
réponses avec un score
Réactivité
C11 : Quel est le délai moyen
entre le diagnostic de
l’évènement et la réception de la
fiche de surveillance ?
C12 : Ce délai a-t-il diminué au Oui=+
cours du temps?
C13 : Quel est le délai moyen de
validation d’une fiche ?
C14 : Ce délai a-t-il diminué au Oui=+
cours du temps?
C15 : Quel est le délai entre
l’évènement déclaré et la
production d’information ?
C16 : La procédure d’envoi des Non=-
données est-elle électronique ?
C17 : Si non, quel est le moyen
utilisé pour envoyer des données
(courrier, fax..) ?
C18 : A quel mois de l’année
N+1 est disponible le rapport de
l’année N ?
C19 : Le système a-t-il permis de Oui=+
détecter précocement une alerte
de type cas groupés ou une
problématique émergente (ex :
apparition de variant)
Score ET3=Total/Nb de
réponses avec un score
Qualité des données
C20 : Quel est le pourcentage de Demander à ESS si
données manquantes pour statistiques
chaque variable sur 1 an? disponibles
C21 : Y-a-t-il eu une amélioration Oui=+
au cours du temps ?
C22 : Les variables demandées Oui=+
sont-elles en rapport avec les
objectifs ?
C23 : Existe-t-il des programmes Oui=+
automatiques de contrôle de

135
cohérence ?
C24 : Existe-t-il une étape de Oui=+
validation scientifique des
données?
C25 : Est-ce que toutes les Oui=+
variables collectées sont utilisées
dans les analyses ?
C26: Les données ont-elles été Oui=+
utilisées pour des analyses multi
variées (régression
logistique…) ?
C27 : Les données ont-elles été Oui=+
utilisées dans des modèles
prédictifs ou dans des analyses
économiques ?
C28 : Les données stockées Oui=+
sont-elles anonymes ?
C29 : L’accès aux bases de Oui=+
données est-il verrouillé par un
mot de passe ?
Score ET4=Total/Nb de
réponses avec un score
Stabilité
C30 : Le système a-t-il été l’objet Oui=-
d’une violation informatique ?
C31 : Le système a-t-il été l’objet Oui=-
de panne informatique de plus
de 12h ?
C32 : Existe-t-il une base de Oui=+
sauvegarde physiquement
distincte de la base de
données ?
C33 : Est-ce que les tâches des Oui=+
uns peuvent être faites par
d’autres en cas d’incapacité ?
C34: Le système est-il Oui=+
opérationnel toute l’année (jours
ouvrables) ?
C35 : Les ressources humaines Oui=+
nécessaires au fonctionnement
du système sont -elles
suffisantes ?
C36 : Existe-t-il une procédure Oui=+
de remplacement écrite en cas
d’incapacité du chef de projet ?
Score ET5=Total/Nb de
réponses avec un score
Rétro-information
C37 : le système produit-il un Non=--
rapport de surveillance?
C38: Quelle est la fréquence de Annuel=+

136
publication de ce rapport ?
C39 : Le rapport est-il Oui=+
accompagné de
recommandations ?
C40 : A qui est envoyé ce Partenaires,
rapport annuel ? participants=+
C41 : Ce rapport est-il disponible Oui=+
en ligne ?
C42 : Le système a-t-il mis en Oui=+
place un retour d’information sur
un site internet ?
C43 : Quand ce site internet a-t-il
été actualisé la dernière fois ou
fréquence de la mise à jour ?
C44 : Existe-t-il un retour Oui=+
d’information personnalisé au
déclarant ?
C45 : Si oui, quel type ? Quelle
fréquence ?
C46 : Existe-t-il des retours Oui=+
d’information personnalisés aux
partenaires ?
C47 : Si oui, quel type ? Quelle
fréquence ?
C48 : Au cours des 3 dernières Si zero =--
années, combien d’articles issus
des données du système sont
parus dans le BEH ?
C49: Au cours des 3 dernières Si zero =--
années, combien d’articles issus
des données du système sont
parus dans des revues
françaises (hors BEH) ?
C50 : Au cours des 3 dernières Si au moins 1=+
années, combien d’articles issus
des données du système sont
parus dans des revues
internationales?
C51 : Impression évaluateurs sur
la qualité du rapport de
surveillance fourni
Score ET6=Total/Nb de
réponses avec un score
Autres attributs
C52 : La représentativité du Oui=+
système a-t-elle été déjà estimée
ou évaluée ?
C53 : Si oui, type d’analyse,
résultat
C54 : La sensibilité de la Oui=+
définition des cas a-t-elle été

137
évaluée ?
C55 : Si oui, type d’analyse,
résultat
C57 : pour les systèmes Si oui +
volontaires Appréciation par les
- estimation de évaluateurs de
l’exhaustivité l’exhaustivité
-
C58 : pour les systèmes Si oui +
volontaires
méthodes de redressement pour
estimation nationale
Score ET7==Total/Nb de
réponses avec un score
Score ET total=ET1+ET2+ET3+ET4+ET5+ET6+ET7/7

3- Objectifs
Au terme de l’évaluation, l’équipe d’évaluateurs donne une appréciation sur les objectifs (1 à 10)

Score Evaluateurs
Objectif 1 atteint EO1
Objectif 2 atteint EO2
Objectif 3 atteint EO3
Total objectifs EO=EO1+EO2+EO3/3

138
Annexe 1.9: Synthèse de l’ensemble des évaluations effectuée par l’équipe
d’évaluation
1- Utilité
Utilité Score moyen Score moyen Score moyen global
Utilisateurs Participants
Surveillance UU1 UP1
Santé Publique UU2 UP2
Animation réseau UU3 UP3
Score moyen UU UP UU+UP/2

2- Fonctionnement du réseau
Fonctionnement Score moyen Score Moyen Score moyen
Participants Evaluateurs global
Score moyen PF EF PF+EF/2

3- Performances techniques
Attributs Score moyen Score moyen Score Score moyen
Utilisateurs participants Evaluateurs global
Simplicité NA PT1 ET1
Acceptabilité NA PT2 ET2
Réactivité NA PT3 ET3
Qualité des données NA PT4 ET4
Stabilité NA PT5 ET5
Rétro-information NA PT6 ET6
Autres attributs NA ET7
Score global performance technique UT NA
Score moyen UT PT ET UT+PT+ET/3

4- Objectifs
Score Score Score Score Score moyen
Utilisateurs participants ESS Evaluateurs global
Connaissance UU0 PO0 NA NA
objectif principal
Objectif 1 atteint UO1 NA SO1 EO1
Objectif 2 atteint UO2 NA SO2 EO2
Objectif 3 atteint UO3 NA SO3 EO3
Score moyen UO PO SO EO UO+PO+SO+EO/4

139
Annexe 1.10 : Rapport d’évaluation (modèle)
Rapport d’évaluation du système de surveillance X

Composition de l’équipe d’évaluation

-
-
-

Date de l’évaluation :

Proposition de plan du Rapport

1- Description du système de surveillance
a. Evènement ou maladie surveillée
b. Type de système
c. Date de début
d. Type de déclarants
e. Nombre moyen de déclarants
f. Description brève de l’équipe en charge du système de surveillance

2- Utilité du système
a. Points forts
b. Points faibles
3- Fonctionnement du système
a. Points forts
b. Points faibles
4- Performance techniques
a. Points forts
b. Points faibles
5- Atteinte des objectifs
a. Si non atteints – raisons
6- Conclusions générales
7- Recommandations pour le système de surveillance évalué
a. A court terme
b. A moyen terme

140
Annexe 2.1 : Article paru dans la revue « European Journal of Public Health »

Seule la page de garde l’article est inséré. L’article provient du document word final.

141
 The European Journal of Public Health Advance Access published February 5, 2016
European Journal of Public Health , 1 – 7
© The Author 2016. Published by Oxford University Press on behalf of the European Public Health Association. All rights reserve d.
doi:10.1093/eurpub/ckv250

E
conomic Evaluations of Public Health Surveillance
Systems: a Systematic Review
Magid Herida 1 , Benoit Dervaux 2 , Jean-Claude Desenclos 1

1 Institut de veille sanitaire, 12 rue du val d’Osne 94415 Saint -Maurice Cedex, France
2 UniversitéLille, CHU Lille, EA2694- SantéPublique : épidémiologie et qualitédes soins. F59000 Lille, France

Correspondence: Magid Herida, Institut de veille sanitaire, 12 rue du val d’Osne, 94415 Saint -Maurice Cedex, France,
T
e
l
: +33 (0) 141796852, Fax: +33 (0) 141796865, e-mail: m.herida@invs.sante.fr

Introduction
‘ Public Health surveillance is the ongoing systematic design developed by the European Center for Diseases Prevention
and Control (protocol provided by Dr A. Ammon, personal
collection, communication). Four surveillance systems for infectious diseases
analysis and interpretation of health data, closely integrated were assessed between 2009 and 2013.13 Given the current
with the timely dissemination of these data both to those economic context, this assessment process was less than
providing the data and to those who can apply the data to comprehensive as it did not consider the increasingly important
control and prevention programs’.1 Public health surveillance is question of the costs and the benefits of surveillance systems.
therefore, closely linked to action as it provides accurate and The CDC guidelines12 indicate that costs should not be
by guest on February 8, 2016

http://eurpub.oxfordjournals.org/

Downloaded from

validated information to local and national health authorities in estimated alone but be judged relative to benefits or at
order that these same authorities can implement appropriate least relative to the effects of the surveillance system on
prevention and control measures and health promotion prevention, care, research or decision-making. The guidelines
strategies.2 This definition was set up several decades ago. state also that ‘a more realistic approach would be to judge
Since then, the adoption of the revised International Health costs on the objectives and usefulness of the system’. However,
Regulations in 2005 has implemented new regulations such as the CDC guidelines do not clearly define methods to do so. A
national obligations to guarantee a set of core surveillance and WHO report issued in 2005 underlined that the evaluation of
response capacities to prevent international spread of disease the costs and the benefits of national surveillance and
irrespective of its origin (biological but also chemical or radio- response systems was an area of great importance. In the
nuclear sources).3 Furthermore, new diseases have emerged report, the authors indicated that little related work has been
(H1N1pdm09, Middle East Coronavirus), some others have spread carried out to that point and highlighted a number of
dramatically such Ebola virus disease in West Africa.4 In the methodological difficulties in evaluating benefits of a
context of globalisation, the concept of public health surveillance surveillance and response system such as implementing the
has evolved to include public health security.5,6 Politicians and appropriate study design, defining the scope of
stakeholders rely upon their public health agencies to be informed thesurveillance or assigning a monetary value to health
in a timely fashion and to be able to respond promptly to all outcomes averted.14
potential health treats that may arise as populations need To assess the current development of economic evaluations
protection whatever the risk. For public health surveillance, this in the field of public health surveillance, we performed a
implies the need to monitor a very large spectrum of all hazards systematic review of the literature. In this review, we also
health threats. At the same time, as many public agencies are assessed the methods used in the selected studies to evaluate
currently facing budgetary constraints, they must allocate theirs the benefits of public health surveillance.
resources as efficiently as possible, as surveillance systems cannot
be implemented for all known health threats. The priorities for
diseases surveillance need to be reviewed regularly in order to Methods
guarantee that the most topical public health issues are
consistently tackled and to ensure quality and effectiveness of For this systematic review, we followed PRISMA
surveillance. Furthermore, best practice recommends periodic methodology PRISMA checklist for this review is available as
evaluation of public health surveillance systems (PHSS). 7 Like supplementary material on line. 15 The search was performed
other national public health agencies, 8 the French National in two major databases for health interventions Medline and
Institute of Public Health (InVS) has implemented several priori- Scopus. In each database, two search strategies were performed.
tization exercises to guide its own surveillance strategy. 9–11 It has The first search strategy used in each of the database was to
also implemented an external and formal evaluation process of its employ a structured thesaurus in order to focus the search. The
surveillance systems, based on a generic evaluation protocol second search strategy in each database use text words (in the
drawn up in accordance with the United States Centers for title and in the abstract
Disease Control and Prevention (CDC) guidelines,12 and using a

142
 Introduction

”Public Health surveillance is the ongoing systematic collection, analysis and interpretation of health data,
closely integrated with the timely dissemination of these data both to those providing the data and to those who can
apply the data to control and prevention programs” (1). Public health surveillance is therefore, closely linked to action
as it provides accurate and validated information to local and national health authorities in order that these same
authorities can implement appropriate prevention and control measures and health promotion strategies (2). This
definition was set up several decades ago. Since then, the adoption of the revised International Health Regulations in
2005 has implemented new regulations such as national obligation to achieve a set of core surveillance and response
capacities to prevent international spread of disease regardless of origin (biological but also chemical or radio-nuclear
sources) (3). Furthermore, new diseases have emerged (H1N1pdm09, Middle East Coronavirus), some others have
spread dramatically such Ebola virus disease in West Africa (4). In the context of globalisation, the concept of public
health surveillance has moved to a wider application that is public health security (5;6). Politicians and stakeholders
rely upon their public health agencies to be timely informed and to be able to respond promptly to all potential health
treats that may arise as they need to protect their population whatever the risk is. This implies for public health
surveillance to monitor a very large spectrum of all hazards health threats. At the same time, many public agencies
have to face the budgetary constraints leading to allocate theirs resources efficiently as surveillance systems cannot
be implemented for all known health threats. The priorities for diseases surveillance need to be reviewed regularly in
order to guarantee that the most topical public health issues are consistently tackled and to ensure quality and
effectiveness of surveillance. Furthermore, best practice recommends periodic evaluation of public health surveillance
systems (PHSS) (7). Like other national public health agencies (8), the French National Institute of Public Health
(InVS) has implemented several prioritization exercises to guide its own surveillance strategy (9-11) and has also
implemented an external and formal evaluation process of its surveillance systems. Based on a generic evaluation
protocol drawn up in accordance with the United States Centers for Disease Control and Prevention (CDC) guidelines
(12), and using a design developed by the European Center for Diseases Prevention and Control (protocol provided by
Dr A. Ammon, personal communication). Four surveillance systems for infectious diseases were assessed between
2009 and 2013 (13). However, in the current economic context, this evaluation process did not consider the
increasingly important question of the costs and the benefits of surveillance systems. Referring to the CDC guidelines
(12), they indicate that costs should not be estimated alone but be judged relative to benefits or at least relative to the
effects of the surveillance system on prevention, care, research or decision-making. The guidelines state also that “a
more realistic approach would be to judge costs on the objectives and usefulness of the system”. However, methods
to do so are not clearly defined. A WHO report issued in 2005 underlined that the evaluation of the costs and the
benefits of national surveillance and response systems was an area of great importance. However, the authors
indicated that little related work has been carried out to that point and highlighted a number of methodological

143
difficulties in evaluating benefits of a surveillance and response system such as implementing the appropriate study
design, defining the scope of the surveillance or assigning a monetary value to health outcomes averted (14).

In order to learn more from previous experiences assessing the benefits of surveillance systems, we performed a
systematic review of the literature to assess the development of economic evaluations in the field of public health
surveillance and to investigate the methods used in these studies to evaluate the benefits of surveillance.
.
Methods

For this systematic review, we followed PRISMA methodology (15). The search was performed in two major databases
for health interventions Medline and Scopus. In each database, two search strategies were performed. The first search
strategy in each of the database uses a structured thesaurus in order to focus the search. The second search strategy
in each database use text-words (in the title and in the abstract for Medline and in the title for Scopus) in order to catch
articles not yet or incorrectly indexed. We focus on two major topics: public health surveillance and full economic
evaluations. Public Health surveillance is included in the MESH term ‘population surveillance’ and full economic
evaluations (cost-benefit analysis (CB), cost-effectiveness analysis (CE) and cost-utility analysis (CU)) were included
in the MESH term ‘cost-benefit analysis’.

Additionally, a search using terms “Public Health surveillance” AND (“CB analysis” or “CE analysis” or “CU analysis”)
was conducted in the CRD’s NHS Economic Evaluation Database (NHS EED).

The 4 search strategies are displayed in Appendix 1.

Inclusion criteria:
Only studies published in peer-reviewed literature which performed a full economic evaluation of the PHSS in question
were included in the present review. A full economic evaluation is defined as ‘the comparative analysis of alternative
course of actions in terms of both their costs and consequences” (16). Three main types of full economic evaluation
were considered eligible: cost-effectiveness analyses, cost-utility analyses and cost-benefit analyses. The research
was conducted on relevant articles published in English or French written articles until December 2013, and no time
period was specified.

Exclusion criteria
Cost-minimization analyses were excluded as the consequences or the benefits of compared surveillance systems are
required to be equivalent and only relative costs are compared
PHSS evaluations on technical attributes other than costs and benefits (sensitivity, timeliness, data quality…), cost
evaluations of a PHSS, comparison of costs between two types of PHSS, comparison of performance indicators
between two types of PHSS were excluded of the analysis as they don’t provide any evaluation of the benefits of the

144
surveillance. Besides, in order to get insights in a reproducible methodology for public health surveillance, evaluations
of surveillance systems in the field of veterinary surveillance were excluded of this review. Neither finally, articles nor
written in French nor in English were excluded.

A first review on the title and the abstract was performed to identify articles written nor in English nor in French and
those related to veterinary surveillance. The remaining retrieved papers were eligible for a full text-review. The first
author selected the studies which met the inclusion criteria. When there was any doubt about whether to include or not
the article, the latter was reviewed by the second author and discussed with all the authors to reach a decision.

Results

Studies selection The two search strategies on Medline provided 407 articles of which 5 were duplicates leading finally
to 402 papers selected in this first database. The research on the second database (Scopus database) identified 556
articles. Overall, the searches in the two databases produced 958 articles, of which 343 were duplicates and therefore
removed. Finally, the four search strategies in the two databases led to 615 original articles (figure 1).

After a first review on the title and abstract of the 615 articles, 21 papers written neither in English nor in French and 27
other articles related to veterinary surveillance were removed. Finally, 567 papers were eligible for a full text review.

Among the 567 papers selected, 461 were not full economic evaluations and were therefore excluded and 106
included full economic evaluations. Among these 106 full economic evaluations, the majority of these assessed
medical screening treatments (including vaccination strategies) (n=80). Among the 26 remaining articles, 17
addressed public health interventions and finally only 9 full economic evaluations of a surveillance system were
retrieved and therefore selected according our review’s eligibility criteria (17-25).

The query performed in the NHS EED identified 2 articles already identified from the two above mentioned databases.

Among these selected studies, 8 were identified in the two databases and one (17) was only identified in the Scopus
database. The references of the selected studies were also checked and no additional study was found. Two studies
(21;25) have referenced one of the seven remaining selected studies (19;22).

145
Figure 1: Flow diagram of studies selection

Summary of the selected studies

Most of the items listed in the CHEERS checklist were used to assess the method and the results of each of these
studies looking at target population, setting and location, study perspective, time horizon, discount rate, choice of
model, choice of health outcomes, estimation of costs and resources, currency and conversion and incremental cost
and outcomes (26) (Tables1 and 2).

The 9 selected studies accounted for only 1.5% of the 567 references initially identified. They were published between
1986 and 2010. Five of the 9 topics studied infectious diseases surveillance (HIV infection, salmonella outbreak,
meningitis, hepatitis A and Escherichia coli (EC O157:H7) infection). Three addressed environmental exposure (heat
waves, professional asthma and anthrax exposure) and one described the benefits of the implementation of an
electronic surveillance system. These evaluations were conducted in the United States (n=5), in the United Kingdom
(n=3) and in the Burkina Faso (n=1). There were 3 cost-effectiveness, 1 cost-utility and 5 cost-benefit analyses.

146
Target populations vary among the studies from a whole country or a federal state (22;25) to a single county or to a
city (17;18). Two studies were performed on theoretical exposed populations from 100 to 1 million person- exposure
(23;24). Time period was mentioned for four studies and costs were adjusted to the study period (22-25). Three of the
studies were based on retrospective events lasting from 22 weeks to three years (17-19). The two remaining studies
were based on one year surveillance period (20;21).

Regarding the study design, two cost-effectiveness and the one cost-utility analysis, compared two surveillance
strategies (active case finding versus passive surveillance or surveillance and response versus no surveillance) (23-
25). A Markov model was used for two of these studies (23;24). An experimental design was set up for the third one
where the authors used the surveillance data from the previous 7 years data for 5 years after the implementation of the
surveillance and response program in order to assess the net costs for each health outcome prevented (25). Health
outcomes were expressed in number of cases or death prevented for two studies and in number of Qalys saved for
one. These three studies have estimated an incremental cost-effectiveness (or cost-utility) ratio of the more efficient
strategy. The remaining cost-effectiveness study focused on HIV surveillance. The authors were not able to estimate
the number of cases prevented by the HIV surveillance activities alone (which constituted only a part of the entire HIV
prevention program). To overcome this methodological issue, the authors defined a level of cost-effectiveness based
on a median value of ratios of 116 cost-effectiveness published studies. Based on this ratio, they estimated the
number of HIV infections (and consequently the number of life-years saved assuming an HIV infected person loses 35
life-years) the surveillance would need to prevent in order for it to be considered cost-effective (21).

With respect to the 5 cost-benefit- studies, two were based on a comparison of two surveillance systems (active versus
passive and electronic reporting versus manual reporting). Benefits were estimated as the costs saved for the cases
prevented for one study and by the time gained in employing electronically captured surveillance data for the
other(18;20). A third study described the surveillance and response activities implemented to control an outbreak of
salmonella. Benefits were estimated by the costs avoided of resulting potential cases and associated deaths if the
outbreak had not been controlled by surveillance and response. In the fourth study, the authors estimated the
threshold number of cases of Escherichia Coli O157:H7 (EC O157:H7) that the system would need to prevent in order
for this system to be considered cost-beneficial (22). The fifth and final study modeled, over a 3-year period, the
number of deaths prevented among persons aged 65 years and over during the days when a heat wave surveillance
system had issued a warning (17).

147
 Table 1: Cost-benefit analyses: a systematic review of economic evaluations of surveillance systems
Country-Year of Methods
publication
Hinds M.W USA-1985 Active versus Passive surveillance
(17) for hepatitis A
Roberts J.A. UK- 1989 Early intervention for an outbreak of
(19) salmonellosis versus no intervention
Payne J.N. UK-1992 Comparison of working hours spent
(20) in data management between a
computerized system and manual
entry data
Elbasha E.H. USA-2000 Estimation of threshold number of
(22) cases, a subtype-specific system for
identifying EC* O157/H7 outbreaks
need to avert for the costs to be
equal to the benefits under two
scenarios: a constant number of
case averted every year and a
given number the first year and no
cases in subsequent years
Ebi K.L. USA-2005 Estimation by multiple linear
(17) regression of excess mortality
during 45 days of heat waves which
led to a warning from an early alert
system and to the implementation of
actions to reduce mortality risk
Benefits
Costs of averted HVA cases
among contacts of reported
cases through the active
surveillance
Costs avoided by the
intervention (secondary
prevention)
Costs potentially avoidable if
the outbreak had been
prevented (primary
prevention)
Evaluation of the time saved
after the introduction of the
computerized system
Estimation of an average
social cost of EC 0157/H7
according to 9 severity
categories. Costs included
were medical costs,
productivity losses and lost
lifetime earnings
Each warning issued by the
system saved 2.6 lives
assuming no mortality
displacement.
A monetary value was
assigned for each life saved
Costs
No perspective mentioned
No discount rate applied*
costs linked to surveillance and tracing
contacts: personnel, travel and cost linked
to prophylaxis (Personnel, IG* treatment)
Societal perspective
No discount rate applied*
Costs linked to surveillance: personnel
and laboratory
Costs linked to health care: primary care
and hospitalization
Costs to family and society: loos of
productivity, pain, loss of life, recalled and
destroyed product
No perspective mentioned
No discount rate applied*
Capitals costs, costs of operating the
system, staff training
Societal perspective
Discount rate applied
Costs of installing and operating the
surveillance system: equipment,
personnel, laboratory and costs of
investigation for an outbreak (laboratory,
personnel, telephone, data management,
meetings)
No perspective mentioned
No discount rate applied
Costs linked to extra-wages (costs link to
personnel mobilized during the alert)
Main Results
A 2.8-fold increase in reported HVA cases
observed with the active surveillance
compared to the passive one.
The benefit: cost ratio active versus passive
surveillance is estimated at 2.5:1
The benefit: cost ratio of the intervention
implemented to investigate and to limit the
outbreak is estimated at 3.5:1 for the public
sector and at 23.3:1 for the society
The time saved in managing data was
estimated at 400 h per year. Other benefits
were difficult to quantify and refer to a higher
data quality (accuracy, reactivity) or
personnel satisfaction
Under the first scenario, the costs of the
system are equal to the benefits if 5 cases
are averted each year during 5 year. Under
the second scenario, 14 cases averted the
first year will be enough for the costs to be
equal to the benefits.
As comparison, 90 EC cases were reported
in year 1998 in the state where the study
was conducted
The warning was issued 45 days during a 3
years period leading to an estimation of 117
live saved
Assuming that the 117 lives saved occurred
on people aged 65 years of older and giving
monetary value of 4$ million for one live, the
system allows to save $468 millions
148
Table 2 : Cost-effectiveness analyses

First Author Country-Date of Methods Effectiveness Costs Main results (Base case scenario)
(Ref. number) publication
Morris S UK-1996 Estimation of costs and benefits Estimation of the Public health perspective Reference cost-effectiveness (C/E) ratio defined by
(21) of HIV /AIDS surveillance and number of lives Discount rate applied the authors equals
prevention program prevented by the HIV Capital costs, salary costs and costs of 1994 £14 721
surveillance and consumed goods for 6 components of the To be cost-effective, the HIV surveillance and
program prevention HIV and AID surveillance program prevention program must prevent at least 333 new
cases each year
In 1993-94, 2514 newly HIV infected cases were
reported. The number of cases to be prevented is
equivalent to 0.4% of the number of new infections
reported

Wild D.M. USA-2005 Markov model to compare
(23) annual surveillance and passive
case finding for isocyanate
asthma among a cohort of
100 000 exposed workers
Number of Qaly saved Societal perspective and employer
perspective
Discount rate applied
Costs linked to screening and diagnosis
Cost of productivity loss and absenteeism
Costs linked to health care: primary care
and hospitals
For 100 000 workers exposed during 10 years, the
incremental C/E ratio for surveillance was estimated
at $24000/Qaly saved
Surveillance was cost-saving from the employer
perspective

Brathwaite, R.S. USA-2006 Cohort model to simulate the
(24) effects of aerosolize anthrax
spores among 100
or 100 000 persons-single
exposure. Comparison of
different mitigation strategies
including an emergency
surveillance and response
system (ESR)
Somda Z.C. Burkina Faso Estimation of the impact of an
(25) 2010 integrated disease surveillance
and response program for
meningitis.
Surveillance data were
compared before and after the
implementation of the program
Number of live saved No perspective
No discount rate applied
Costs of installing and operating the
system
Costs of drugs, and vaccination
Costs of outpatient and inpatients
medical care for inhalational anthrax
Number of case Public health care perspective
prevented Discount rate applied
Number of death Costs for each activity of the program
prevented (personnel, transportation items, office
Number of sequelae consumable goods, public awareness
prevented campaigns, laboratory, response
materials as supplies, capital items)
Medical costs (local and regional level)
If the attack is certain (p=1.0), the cost-effectiveness
(C/E) of an emergency and surveillance system is
equal to $73/life saved for 100 000 person -exposure
and increases up to $1680000/life saved for 100-
person exposure
If the attack is uncertain (p=0.001), C/E=142 000/life
saved per 100 000- person exposure.; C/E > 1
billion/life saved for 100-person exposure
The C/E ratio was estimated at $23/ per case
averted and at $98/ meningitis -related death averted
Both C/E ratios were cost-saving

149
Costs linked to surveillance activities varied between these 9 studies. The perspective used for the cost analysis
was mentioned in five of them (19;21;23-25). The four remaining in which the perspective was not stated, have
used a government-funded public health perspective as they included only the costs linked to the surveillance
system (17;18;20;24). The type of costs included was also heterogeneous between the studies and depended on
the scope of surveillance and response activities considered and the perspective used. Accordingly, some authors
included only the direct costs for operating the surveillance system (capital costs, salaries or training costs,
recurrent costs) (20;21) while others also included indirect costs linked to treatment and care or those linked to
biological testing (18;22;24;25). Some authors also included indirect costs related to loss of productivity or pain and
suffering as they use a societal perspective (19;23)

Among the cost-benefit studies, four concluded to a positive benefit: cost ratio of active surveillance versus passive
or versus no surveillance in term of money or time spent (17-20). In the latter study, the authors considered that the
surveillance system was cost-beneficial if 5 infections were averted per year. This estimate is largely inferior to the
90 cases of EC O157 that have been reported to the surveillance system the year of the study(22).

Among the four cost-effectiveness and cost-utility studies, two have considered that the implemented surveillance
was cost-saving (23;25). The third one found different cost-effectiveness ratios under different assumptions of
anthrax exposure (probability and number of persons exposed). In one over the four considered situations, the
surveillance and emergency response was cost-effective (24). For the fourth study focusing on HIV surveillance,
the surveillance was estimated to be cost-effective if at least 333 new cases of infections were averted each year
which represents 13% of the new diagnosis reported the year of the study (21).

Discussion

Although the efficiency of public health surveillance has been under the scrutiny by governments for many years,
this systematic review clearly indicates that, to date, very few economic evaluations of PHSS have been performed
worldwide. This observation was already pointed out in 2005 in the above mentioned WHO report (14) and was
reconfirmed in a review on surveillance system evaluations published 7 years later in 2012. Of the 99 evaluations
of animal and PHSS performed in this review, the authors found only 5 (2 veterinary, 3 PHSS) studies aimed at
assessing the cost-effectiveness of surveillance programs (27). Veterinary surveillance systems evaluations were
beyond the scope of the present review. Of the 3 PHSS evaluations studies, one is selected in this review (21).
Each of the other two articles compares, costs and costs and performance indicators, respectively among two

150
surveillance systems and therefore didn’t evaluate any benefit of the surveillance (28;29). For this reason, these
two studies did not meet our eligibility criteria. The current review didn’t find any published studies on this subject
from 2010 onwards.

Three main approaches, -cost-effectiveness, cost-utility and cost-benefit analysis- are used for economics
evaluations of PHSS in the studies selected in this review. Studies focusing on surveillance system’s cost-
effectiveness or cost-utility provide valuable information for comparing several surveillance strategies and ranking
these same strategies among other medical or public health interventions (30). However, the benefit measured in
these studies was limited to the number of health outcomes prevented by one surveillance strategy compared with
another one.

The cost-benefit analysis studies reviewed here, all evaluated the benefits of surveillance by assessing the number
of cases or deaths the particular system prevented, assigning a monetary value per case prevented or life saved.
Classically, if the expenditures for installing and operating the surveillance system were equal to or less than those
for treating patients then the system was considered cost-beneficial (31). This approach implies not only knowledge
of the costs of the disease in both its acute phase and for chronic disease over the long term, but also a
consideration of all the clinical presentations from the mildest to most severe. Besides, assigning a monetary value
to a live saved implies obtaining this information from the literature or implementing an ad hoc study.

Estimating the costs of a health intervention requires a standardized approach and implies the need to follow
certain methodological steps such as defining the perspective, including direct and indirect costs, discounting
future costs and health outcomes, describing all the resources used and assigning a monetary value to these
resources (32). In this review, discrepancies were found between the different studies examined with respects to
the type of costs included and with the definition of scope of the surveillance and/or response activities they
considered. This highlights the practical obstacles to making standardized costs estimations of PHSS. The above
mentioned WHO report (14) suggests including both the costs of surveillance and response as the ultimate
purpose of surveillance information is to inform public health decision-making and to guide response and control
activities. Some authors have developed a conceptual framework of public health surveillance and action
comprising six surveillance core activities such as detection, confirmation or analyses and two public health actions
(acute and planned responses) and four support activities such as communication and training. This framework
aims at assessing the performances of PHSS and could also be useful for conducting cost analysis in a
standardized way (33).

In this review, several of the studies examined included surveillance and response activities where the authors
estimated the benefits of surveillance through the number of cases or deaths prevented by the response activities.
Nevertheless, this approach cannot be applied when the primary objective of the surveillance activities is not linked

151
to immediate response as illustrated in the study of HIV cost-effectiveness. Even through information coming from
surveillance is crucial to guide prevention activities and to allocate funds, in that study the authors underlined their
difficulties in quantifying the surveillance-specific benefits of the surveillance from all the benefits provided by the a
wide range of prevention activities implemented in the specific public health HIV program(21).

With respect to the CDC guidelines mentioned above for evaluating PHSS (12), costs and benefits of a surveillance
system should be estimated in the light of many other criteria including the objectives and the utility as well as
several technical performance attributes. The methods used in the selected studies did not take into account all
these parameters and could therefore have led to an underestimation or an overestimation of the benefits of the
surveillance if, for example, the objectives were not been reached or if some technical attributes such as timeliness
did not meet the quality standards. Finally, assuming that benefits can be defined solely in term of the costs of the
health outcomes prevented may constitute a limited approach to evaluation as public health surveillance also has
positive non- monetary effects like the perception of health security or social benefit where the general public is
aware of the fact that health threats are regularly monitored and are controlled in a timely and efficiently manner.
There are also economic benefits in preventing diseases or large outbreaks allowing people to continue to work
and to be productive, at least for persons under the age of retirement.

These methodological drawbacks and difficulties listed above may to some extend explain why so little work has
been carried out to date in the field of economic evaluation of surveillance systems. In the light of the limitations of
commonly used approaches, other methods of economic approaches may be useful. Among these, conjoint
analysis (CA) could overcome to some extent the limitations and methodological issues discussed above. The
theory behind this approach is that any product or good or service can be described by a set of characteristics and
that the extent to which an individual places value on a product is determined by the level of these characteristics
(34). CA asks individuals to state a preference by presenting competing scenarios with both desirable and
undesirable characteristics of a product or a service. CA has been applied to health care and public health
interventions such as HIV vaccine and cancer control strategies (35;36). More recently, a CA was performed to
prioritize zoonotic diseases of public health concern (37). CA has been also used to derive utility weight for QALY
or to estimate willingness to pay for CB analysis (38).To our knowledge, the method has not been used yet for a
PHSS and may be worth exploring to evaluate PHSS. Indeed, this type of economic evaluation could help policy
makers and health professionals elicit preferences and help estimate their willingness to pay for a surveillance
system according to different levels of attributes. This technique may also be useful for estimating non-use value of
a surveillance program (39) and could show how decision makers are willing to trade between characteristics of a
PHSS. This information could be useful to public health agencies and could help them to prioritize surveillance in a
context of limited resources.

152
This review has several limitations. First, because ‘Public Health surveillance’ is a specific term in Medline, we had
to use the generic MESH term ‘Population surveillance’. Consequently, many articles were related to medical
interventions rather than to public health surveillance and the selected studies accounted for a very small
percentage of the identified articles. Conversely, had we used a query with the term ‘Public health surveillance’ we
would have identified only 7 references, none of which being one of those finally selected. Additionally, focusing on
public health surveillance evaluation and displaying the different types of studies (economic versus non-economic)
led to a much higher number of articles (over 1200 articles) and did not retrieve the selected studies. However, the
fact that this review is extensive and that the majority of the selected studies (8/9) were identified in both databases
proves that few economic evaluations of a PHSS have been performed to date and that the risk of having missed
an article is most probably very low.

Second, the line between public health surveillance and medical intervention or control intervention is often a very
thin one and initially some of the studies finally selected (23-25) were the subject of discussion between the
authors of this present review in order to decide whether or not they did in fact deal with surveillance. Third, this
article did not aim to critically review the quality of the selected studies. Certain methodological issues are pointed
out in this article to underline how difficult it is sometimes to perform a full economic analysis in the field of public
health surveillance. Finally, our primary objective was to look at the methods used in the economic evaluation of a
PHSS. We did not focus on the results of these economic analyses despite the fact that in most of these studies,
the authors considered the surveillance system in question either cost-effective or cost-beneficial.

In conclusion, this review demonstrates that few studies have been performed to evaluate the benefits, a PHSS
can bring. The most frequent approach employed to assess these benefits is to value the health outcomes
prevented by the surveillance and response activities or to estimate the costs per number of health outcomes
avoided by comparing two surveillance strategies. By using these approaches, other dimensions are overlooked.
As an alternative, using other economic methods such as conjoint analysis could show promise for future
development.

153
Appendix 1

Search strategy 1 (Medline database): Population surveillance [Mesh] AND Cost-benefit analysis [Mesh]

Search strategy 2 (Medline database): ("Public health Surveillance"[tiab] OR watch [tiab]) AND ((cost*[ti] OR
economic*[ti] OR financ*[ti]) AND (effective*[ti] OR effic*[ti] OR benefi*[ti] OR utilit*[ti]))

Search strategy 3 (Scopus database): (population surveillance (keywords) AND cost-benefit analysis (Keywords)

Search strategy 4 (Scopus database): TITLE("Public health surveillance") OR TITLE(watch)) AND TITLE(cost OR
costs OR economic* OR financ*) AND TITLE(effective* OR effic* OR benefi* OR utilit*))

Acknowledgements

The authors are very grateful to Ms. F. Biton for her help in the bibliographic search.

Conflicts of interest: None declared

Key points

 Economic evaluations of public health surveillance systems have been little

studied so far.
 This systematic review has retrieved only nine full economic evaluations regarding
public health surveillance. In costbenefits analyses, benefits are estimated
mainly by the costs of the health outcomes prevented. In cost-effectiveness
analyses, different surveillance strategies are compared and benefits are estimated
by the number of the health outcomes prevented by one strategy compared with
another one.
 These approaches cannot take into account other positive non-monetary
effects of public health surveillance.
 In the context of budgetary constraints, looking at efficiency of public health
surveillance becomes increasingly necessary. There is a need in developing
more research and studies in this field.

154
References

(1) Thacker SB, Berkelman RL, troup DF. The science of public health surveillance. Journal of Public Health
Policy 1989;10(2 (summer 1989)):187-203.

(2) Desenclos JC. Surveillance et veille: concepts, défintions et organisation. In: Dabis F, Desenclos JC,
editors. Epidémiologie de terrain.Montrouge, France: John Libbey Eurotext; 2012. p. 76-89.

(3) World Health Organization. International health regulations (2005). 2008. Report 2nd Edition.
http://whqlibdoc.who.int/publications/2008/9789241580410_eng.pdf?ua=1. Accessed 7 July 2015

(4) Piot P, Muyembe J, Edmunds W. Ebola in West Africa: from disease outbreak to humanitarian crisis.
Lancet Infectious Diseases 2014;14(11):1034-5.

(5) Calain P. Exploring the international arena of global public health surveillance. Health Policy and
Planning 2007;(22):2-12.

(6) Mc Nabb S. Comprehensive effective and efficient global public health surveillance. BMC Public Health
2010;10(Suppl 1):S3.

(7) Teutsch SM. Considerations in planning a surveillance system. In: Lee LM, Teutsch SM, Thacker SB, St
Louis ME, editors. Principles & Practice of Public Health Surveillance. 3rd ed. New-York: Oxford
University Press; 2010. p. 18-31.

(8) Gilsdorf A, Krause G. Prioritisation of infectious diseases in public health: feedback on the prioritisation
methodology, 15 July 2008 to 15 January 2009. Euro Surveill 2011;16(18).

(9) Hubert B, Haury B. Orientations pour la révision des modalités de surveillance des maladies
transmissibles en France (Orientations for revising infectious diseases surveillance systems in France).
Bull Epidemiol Hebd 1996;(26):115-7.

(10) Vaillant V, de VH, Baron A. Morbidité et mortalité dues aux maladies infectieuses d'origine alimentaire en
France (Morbidity and mortality related to infectious disesases in France). Saint-Maurice: Institut de
veille sanitaire; 2004 Mar.

(11) Pascal M. Impacts sanitaires du changement climatique en France. Quels enjeux pour l'InVS ? (Health
impacts of climate change in France. What are the challenges for the InVS?). Saint-Maurice: Institut de
veille sanitaire; 2010.

(12) Centers for Disease Prevention and Control. Updated guidelines for evaluating public health surveillance
systems: recommendations from the guidelines wrorking group. MMWR Morb Mortal Wkly Rep
2001;50(RR-13):1-35.

(13) Herida M, Desenclos JC. Evaluation de différents systèmes de surveillance à partir d'un protocole
générique (Evaluation of various public health infectious diseases surveillance systems based on a
generic protocol). Revue d'Epidémiologie et de santé publique 2015 Jan 29;63 (2015):35-42.

(14) World Health Organization. Evaluating the costs and benefits of national surveillance and response
systems: methodologies and options. Geneva: World Health Organization; 2005.

155
(15) Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche P, Ioannidis JPA, et al. The PRISMA statement
for reporting systematic reviwes and meta-analyses of studies that evaluate heatlh care interventions:
explanation and elaboration. BMJ (Online) 2009;339(b2700):doi: 10.1136/bmj.b2700.

(16) Drummond MF, O'Brien B, Stoddart G, Torrance G. Les principaux types d'évaluation économique. In:
Carrere MO, Chaperon J, editors. Méthodes d'évaluation économique des programmes de santé. 2nd
ed. Paris: Economica (French version); 1998. p. 11-31.

(17) Ebi KL, Teisberg TJ, Kalkstein LS, Robinson L, Weiher RF. Heat watch/warning systems save lives:
Estimated costs and benefits for Philadelphia 1995-98. Bulletin of the American Meteorological Society
2004;85(8):1067-73.

(18) Hinds MW, Skaggs JW, Bergeisen GH. Benefit-cost analysis of active surveillance of primary care
physicians for hepatitis A. Am J Public Health 1985 Feb;75(2):176-7.

(19) Roberts JA, Sockett PN, Gill ON. Economic impact of a nationwide outbreak of salmonellosis: cost-
benefit of early intervention. BMJ 1989 May 6;298(6682):1227-30.

(20) Payne JN. The introduction of a computerized system for notification and improved analysis of infectious
diseases in Sheffield. J Public Health Med 1992 Mar;14(1):62-7.

(21) Morris S, Gray A, Noone A, Wiseman M, Jathanna S. The costs and effectiveness of surveillance of
communicable disease: a case study of HIV and AIDS in England and Wales. J Public Health Med 1996
Dec;18(4):415-22.

(22) Elbasha EH, Fitzsimmons TD, Meltzer MI. Costs and benefits of a subtype-specific surveillance system
for identifying Escherichia coli O157:H7 outbreaks. Emerg Infect Dis 2000 May;6(3):293-7.

(23) Wild DM, Redlich CA, Paltiel AD. Surveillance for isocyanate asthma: a model based cost effectiveness
analysis. Occup Environ Med 2005 Nov;62(11):743-9.

(24) Braithwaite RS, Fridsma D, Roberts MS. The cost-effectiveness of strategies to reduce mortality from an
intentional release of aerosolized anthrax spores. Med Decis Making 2006 Mar;26(2):182-93.

(25) Somda ZC, Perry HN, Messonnier NR, Djingarey MH, Ki SO, Meltzer MI. Modeling the cost-
effectiveness of the integrated disease surveillance and response (IDSR) system: meningitis in Burkina
Faso. PLoS One 2010;5(9).

(26) Huserau D, Drummond M, Petrou S, Carswell C, Moher D, Greenber D, et al. Consolidated health
economic evaluation reporting standards (CHEERS) statement. BMC Medicine 2013 Mar 25;(11:80).

(27) Drewe JA, Hoinville LJ, Cook AJ, Floyd T, Stark KD. Evaluation of animal and public health surveillance
systems: a systematic review. Epidemiol Infect 2012 Apr;140(4):575-90.

(28) Phillips VL, Teweldemedhin B, Ahmedov S, Cobb J, McNabb SJ. Evaluation of program performance
and expenditures in a report of performance measures (RPM) via a case study of two Florida county
tuberculosis programs.Eval Program Plann 2010 Nov;33(4):373-8.

(29) Betanzos-Reyes AF, Rodriguez MH, Duran-Arenas LG, Hernandez-Avila JE, Mendez-Galvan JF,
Monroy OJ, et al. Comparative analysis of two alternative models for epidemiological surveillance in the
Mexican Malaria Control Program. Health Policy 2007 Mar;80(3):465-82.

156
(30) Russell LB, Siegel JE, Daniels N, Gold MR, Luce BR, Mandelblatt JS. Cost-effectiveness analysis as a
guide to resource allocation in Health : role and limitations. In: Gold MR, Siegel JE, Russell LB,
Weinstein MC, editors. Cost-effectiveness in health and medicine.New York: Oxford University Press;
1996. p. 3-24.

(31) Nsubuga S, hite ME, hacker SB, Anderson MA, Blount SB, Broome CV, et al. Public health surveillance:
a tool for targeting and monitoring interventions. In: Jamison DT, Breman JG, Measham AR, Alleyne G,
Claeson M, Evans DB, et al., editors. Disease control priorities in developing countries. 2nd edition ed.
Washington/New-York: The World Bank/Oxford University Press; 2006. p. 997-1015.

(32) Drummond MF, O'Brien B, Stoddart G, Torrance G. Analyse des coûts. In: Carrere MO, Chaperon J,
editors. Méthodes d'évaluation économique des programmes de santé.2nd ed. Paris: Economica
(French version); 1998. p. 60-101.

(33) McNabb SJ, Chungong S, Ryan M, Wuhib T, Nsubuga P, Alemu W, et al. Conceptual framework of
public health surviellance and action and its application in health sector reform. BMC Public Health 2002
Jan 29;(2:2).

(34) Ryan M, Farrar S. Using conjoint analysis to elicit preferences for health care. Brtish Medical Journal
2000;320(7248):1530-3.

(35) Joy SM, Blauvelt BM, Tuncer MA, Beaugrand M, Sangro B, Colombo M, et al. Stakeholder perspectives
on European priorities for comprehensive liver cancer control: a conjoint analysis. Eur J Public Health
2013 Dec;23(6):951-7.

(36) Newman PA, Duan N, Lee SJ, Rudy ET, Seiden DS, Kakinami L, et al. HIV vaccine acceptability among
communities at risk: the impact of vaccine characteristics. Vaccine 2006 Mar 15;24(12):2094-101.

(37) Ng V, Sargeant JM. A quantitative and novel approach to the prioritization of zoonotic diseases in North
America: a public perspective. PLoS One 2012;7(11):e48519.

(38) Lanscar E, Louviere J. Conducting discrete choice experiments to inform healthcare decision making.
Pharmacoeconomics 2008;26(8):661-7.

(39) Le Gall-Ely F, Robert-Demontrond R. Comparaison de l'évaluation contingente et de l'analyse conjointe:

une application à la mesure du consentement à payer pour un concept de service innovant (comparison
of contingent valuation and conjoint analysis: an application to measure the willingness to pay for an
innovative service concept). In: Le Gall-Ely F, Robert-Demontrond R, editors. Méthodes d'évaluation
contingente et d'analyse conjointe.Rennes: Editions Apogée; 2005. p. 147-80.

157
Annexe 2.2 : Grille d’analyse des critères PRISMA pour les revues de la littérature

Les numéros de pages indiqués correspondent aux pages de l’article publié (Annexe 2.1)

Reported
Section/topic # Checklist item
on page #
TITLE
Title 1 Identify the report as a systematic review, meta-analysis, or both. Page 1
ABSTRACT
Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility Page 2
criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and
implications of key findings; systematic review registration number.
Review not
registered
INTRODUCTION
Rationale 3 Describe the rationale for the review in the context of what is already known. Introduction
Page 1
Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, Introduction
comparisons, outcomes, and study design (PICOS).
Page 1
METHODS
Protocol and registration 5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide No protocol
registration information including registration number.
Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics (e.g., years considered, Methods
language, publication status) used as criteria for eligibility, giving rationale.
Pages 2

158
Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify Methods
additional studies) in the search and date last searched.
Pages 2
Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be Appendix
repeated.
Page 7

Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable, Studies
included in the meta-analysis). selection
Page 2
Figures 1
Page 2
Data collection process 10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any Not
processes for obtaining and confirming data from investigators. applicable
Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and Studies
simplifications made. selection
Pages 5-6
Tables 1-2
Risk of bias in individual 12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was Not
studies done at the study or outcome level), and how this information is to be used in any data synthesis. applicable
Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means). Not
applicable
Synthesis of results 14 Describe the methods of handling data and combining results of studies, if done, including measures of Not
2
consistency (e.g., I ) for each meta-analysis. applicable

159
 Reported
Section/topic # Checklist item
on page #
Risk of bias across studies 15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective Not
reporting within studies). applicable
Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, Not
indicating which were pre-specified. applicable
RESULTS
Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at Inclusion
each stage, ideally with a flow diagram. and
exclusion
criteria
Pages 1-2
Figure 1
Page 2
Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) Summary
and provide the citations. of selected
studies
Pages 2,5
Tables 1-2
Pages 3-4
Risk of bias within studies 19 Present data on risk of bias of each study and, if available, any outcome level assessment (see item 12). Not
applicable
Results of individual studies 20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each Summary
intervention group (b) effect estimates and confidence intervals, ideally with a forest plot. of selected
studies
Pages 2,5
Tables 1-2
Pages 3-4

160
Synthesis of results 21 Present results of each meta-analysis done, including confidence intervals and measures of consistency. Not
applicable
Risk of bias across studies 22 Present results of any assessment of risk of bias across studies (see Item 15). Not
applicable
Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]). Not
applicable
DISCUSSION
Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to Discussion
key groups (e.g., healthcare providers, users, and policy makers).
Pages 5-6
Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review-level (e.g., incomplete retrieval of Discussion
identified research, reporting bias).
Pagers 5-6
Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research. Conclusion
Page 6
FUNDING
Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the Not
systematic review. applicable

161
Annexe 3.1 : Article soumis à « Eurosurveillance » Exploring the benefits of public health
surveillance systems in infectious diseases: a novel use of the discrete choice experiments

162
Exploring the benefits of public health surveillance systems in infectious diseases: a novel use
of the discrete choice experiments

Magid Herida1, Jean-Claude Desenclos1, Benoît Dervaux2

1- Santé publique France. The French national public health agency

12, rue du Val d'Osne 94 415 Saint-Maurice cedex- France

2- Université "Droit et Santé" - Lille 2

Faculté de Médecine- Maison Régionale de la Recherche Clinique Hospitalière et Universitaire
CHRU LILLE- 6 rue du Professeur Laguesse - 59037 Lille Cedex- France

Words: 3972

Abstract: 197

References: 42

Tables: 3

Figures: 1

163
Abstract

Background: In order to explore the benefits, a public health surveillance system (PHSS) of infectious
disease can provide beyond the number of cases prevented by the control and prevention measures,
we applied a discrete choice experiments (DCE).

Objective: To identify the relative importance of criteria when implementing a public health surveillance
system in emerging infectious diseases and to estimate marginal willingness to pay for the more
important criteria

Method: We conducted a survey using the discrete choice experiments method among a convenient
sample of 50 targeted experts and decision-makers in public health. Six attributes with four levels each
were defined. A 20 pair-wised comparisons questionnaire was set up and we applied a mixed logit
model to analyze the data

Results: A high prevalence, a high case fatality ratio and a low detection threshold at the beginning of
an epidemic are the most important criteria according to the respondents. Marginal willingness to pay
was obtained for these criteria.

Conclusion: This is, to our knowledge, the first attempt to apply a DCE method to a PHSS in infectious
disease. This study indicates the potential interest of this method to evaluate benefits a PHSS can
provide. The results of this study need to be confirmed on a larger scale.

164
Introduction

”Public Health surveillance is the ongoing systematic collection, analysis and interpretation of health
data, closely integrated with the timely dissemination of these data both to those providing the data and
to those who can apply the data to control and prevention programs” [1].Public health surveillance is
therefore, closely linked to action as it provides accurate and validated information to local and national
health authorities in order that these same authorities can implement appropriate prevention and control
measures and health promotion strategies [2].This definition was set up several decades ago. Since
then, the adoption of the revised International Health Regulations in 2005 has implemented new
regulations such as national obligations to guarantee a set of core surveillance and response capacities
to prevent international spread of disease irrespective of its origin (biological but also chemical or radio-
nuclear sources) [3]. Furthermore, new infection have emerged (H1N1pdm09, Middle East
Coronavirus), some others have spread dramatically such Ebola virus disease in West Africa [4] and
more recently Zika virus infections [5]. In the context of globalization, the concept of public health
surveillance has evolved to include public health security [6, 7]. Politicians and stakeholders rely upon
their public health agencies to be informed in a timely fashion and to be able to respond promptly to all
potential health treats that may arise as populations need protection whatever the risk. For public health
surveillance this implies the need to monitor a very large spectrum of all hazards health threats. At the
same time, as many public agencies are currently facing budgetary constraints, they must allocate theirs
resources as efficiently as possible, as surveillance systems cannot be implemented for all known
health threats. Consequently, the question of the costs and the benefits to the society of surveillance
systems becomes increasingly important and cannot be avoided anymore. A recent systematic literature
review on economic evaluations of public health surveillance systems (PHSS) has shown that few
studies have been performed to evaluate the benefits, a PHSS can bring. Additionally, the most
frequent approach employed to assess these benefits is to value the health outcomes prevented by the
surveillance and response activities or to estimate the costs per number of health outcomes avoided by
comparing two surveillance strategies. These approaches don’t take into account all the consequences
on health; a PHSS can provide [8]. Public health surveillance and by extend health security have a
direct use value for the society as it produces unique and useful information for decision making and for
implementing prevention and control measures in a timely fashion. Public health surveillance has inderct
value by providing other benefits such as altruism or perception of health security as people are aware
that everything is done to monitor health threats whatever their origins and are informed of the
prevention and control measures in advance. These benefits are, however, very difficult to estimate. To
explore further the complexity of benefits of a PHSS, we performed a study using the discrete choice
experiments (DCE) technique. The DCE can elicit preferences and values for goods or services for

165
which markets do not exist. It does enable to quantify individual’s preferences by asking them to choose
between two or more options in a number of hypothetical scenarios whereas each of these scenario
describes a good or a service consisting of a fixed number of characteristics (or attributes).The values
that respondents place on this good or this service depends on the level of each of their characteristics.
In expressing their preferences individuals provide information on the relative importance of the
characteristics [9-11]. A PHSS can be described by a set of technical attributes such as simplicity or
acceptability and also by the characteristics of the pathogen/disease for which a surveillance system is
implemented. The objectives of our study are to quantify the relative importance accorded by the
respondents to certain criteria (or attributes) of a PHSS in infectious diseases and to estimate marginal
willingness to pay (MWTP) for these criteria.

Methods

Undertaking a DCE involves several steps including the selection of the relevant attributes and
attributes levels, the definition of the levels for each attribute, the development of the experimental
design and of alternative scenarios, the elicitation format, the constitution of the study sample, the data
collection and the choice of the model for statistical analysis [11-13].

Defining the attributes (Table 1)

Discussed and validated among a small group of public health experts with a strong background on
infectious diseases surveillance and a health economist, six attributes were defined. Three are related
to the pathogen characteristics: the case fatality ratio (CFR), the prevalence at the end of the epidemic
(prevalence) and the reproduction number (R0). The other attributes are related to the surveillance
system considered: the predictive positive value of the case definition (PPV), the detection threshold of
the individual cases at the beginning of the epidemic (detection threshold) and the costs of the de
surveillance systems (costs).

Defining the levels of the attributes (Table 2)

To define these levels, surveillance data of previous emerging infectious diseases or of a seasonal
influenza epidemic monitored in our agency “Santé publique France, the French national public health
agency”, were used. The surveillances considered in our study are the A(H1N1)pdm09 epidemic (April
2009-March 2010), the surveillance of chikungunya cases in the French West Indies (December 2013-
Avril 2014), the enhanced surveillance of Ebola virus imported cases (July 2014-April 2015) and the
2014-2015 seasonal influenza epidemic (October 2014-April 2015). The levels of attributes linked to the

166
pathogens were retrieved from the scientific literature and those of the attributes linked to surveillance
from the surveillance reports issued by the Agency.

The A(H1N1)pdm09 epidemic surveillance

According the literature review, the median value of R0 was estimated at 1.46 [1.3-1.7] and we retain the
value of 1.5 [14]. The CRF issued from a meta-analysis of data from 19 countries was estimated at 0.02
[15]. The prevalence at the end of the epidemic was estimated using the results of a seroprevalence
survey among blood donors which have concluded to a rate of seroconversion equal to 12.2% [6.9-20.5]
and the results of survey among people who have consulted a medical doctor (MD) for a flu syndrome.
This survey has estimated that between 13% and 24% of the population went to their MD. The final
value retained for our study was 16% leading to roughly 10 million persons infected at the end of the
epidemic [16, 17]. The surveillance of individual cases the proportion of confirmed cases among the
clinical suspect cases was estimated at 7.3% (retained value for PPV: 10%)[18]. The costs of the
surveillance were estimated at 11 300 000 €.

The enhanced surveillance of imported cases of Ebola virus disease

R0 and CRF values are those estimated by the World Health Organization after the 9 first months of the
epidemic in West Africa, and in particular in Guinea as it is a French speaking country and the risk of
imported cases from this country to France was higher than from the other affected countries. The value
of R0 was 1.75 [1.44-2.01] and the CRF was estimated at 50.9% [19]. During the surveillance period, no
case was detected, so the prevalence and the PPV were equal to 0. The costs of the surveillance were
estimated at 988 000 €.

The surveillance of chikungunya cases in the French West Indies

The R0 estimated on the first detected cases in the Caribbean region varied between 2 and 4 [20]. We
retain the value of 3. The CFR value and the prevalence have been estimated after the Chikungunya
outbreak at Reunion Island in 2006. The CFR value was estimated around 0.1% [21]. A seroprevalence
survey in the general population found a prevalence rate at 38.2% [22]. Applying this rate to the French
West Indies population, we ended up with 323 465 infected persons that we rounded up at 350 000.
The PPV during the individual cases surveillance was equal to 80% 15. The costs of surveillance
amounted 1 200 000 €.

15 Unpublished data (French national public health agency)

167
The 2014-2015 seasonal influenza epidemic surveillance

The R0 value was retrieved in the literature (median value: 1.28 [1.19-1.37]). We retained a value of 1.2
for the study [14]. According to the number of cases of flu syndrome estimated by the surveillance
(n=2 900 000 consultations) and the proportion of people who visit a MD when they get a flu (57%), we
end up to roughly 5 000 000 infected persons. The proportion of positives samples that was testes for
influenza was 55.5% (final value: 50%). The CFR was obtained by dividing the number of excess deaths
(n= 18000) over the total number of infected persons leading to a rate 0.36%. As the number of excess
deaths was not solely due to the influenza epidemic, we lowered this rate at 0.3% [23, 24]. The costs of
surveillance amounted 2 300 000 €.

The range of the values of the different attributes gathered through the literature and in the surveillance
reports was discussed with the same panel of experts. Some changes have been made in order to get
an appropriate range of values for each attribute and to ensure the plausibility of the scenarios. First, as
zero case was reported in France for Ebola virus disease surveillance, we used surveillance data from
another emerging infectious disease; the Middle East respiratory syndrome coronavirus (MERS-CoV)
infection for which two cases have been reported in France among an hundred possible cases that have
been tested between October 2012 and November 2013 [25]. Second, as some costs of surveillance
were similar, we evenly distributed these costs between the minimum and the maximum amount. Third,
we rounded up Ebola R0 to 2. Finally, the detection threshold of the surveillance at the early stage of the
epidemic tends ideally to reach 100%, we distributed the values of this attribute from 10% to 100%. The
final values of the different levels attributes are displayed in table 3.

168
Experimental design

With 6 attributes and 4 levels for each of them, the full factorial design will lead to 4096 possible
combinations. We used a fractional factorial design to reduce the number of paired comparisons to the
smallest number necessary and to maximize the four properties of efficient design (level balance,
orthogonality, minimum overlap and utility balance)[26, 27]. Xlstat® software choice-based conjoint
module (Addinsoft, Paris France) was used to generate 20 scenarios and 20 paired comparisons of
these scenarios. A questionnaire consisting of the full set of the 20 pair-wise scenarios was developed.
The order of the attributes was the same in each scenario while the order of the presentation of the 20
pair-wise scenarios was randomly distributed in the questionnaire assigned to the each of the
respondent.

Sample selection

A convenient sample of targeted experts and decision makers in public health was constructed. The
respondents were selected according to their professional background. Policy makers including
directors of public health agencies at national or regional levels, health professionals involved in
surveillance, prevention or care in infectious diseases and health economists were the targeted
professionals. A first list of 50 professionals was defined according to the abovementioned occupations.
A reserve list of 10 additional persons was also prepared in case of a refusal of those of the initial list.

Data collection

An information letter describing the objectives and the method, including a definition of the attributes, of
the survey was sent to the participant. After acceptance, a face-to-face or a phone interview was
performed. All the interviews were conducted by the same person (MH). For each presented pairs
comparison of two fictitious surveillance systems in infectious diseases, the respondent had to answer
the following question: ‘Which of these two surveillance systems, would you implement in priority,
system 1 or system 2’? An opt-out option was allowed if the respondent didn’t want to choose between
the two surveillance systems. No information was provided regarding this opt-out option. Additionally, it
was specified that the epidemics were occurring in France and that the control and prevention measures
were in place. An example choice set is displayed in Figure 1.

169
Model estimation

A mixed logistic model was used to estimate the coefficients of the different attributes. This model is
flexible enough to take into account the panel nature of DCE by allowing correlation within subjects over
repeated choice and to allow the potential heterogeneity in respondents’ preferences. It does not require
the independence of irrelevant alternatives assumption[13]. In the model, the dependent variable is the
surveillance system choice and the explanatory variables are the attributes presented in Table 1. The
attributes were specified as continuous variables. The parameter estimate for each of the attributes
represents the relative preference for 1-unit change in the numeric value of the attribute level. A
marginal willingness to pay for the relevant attributes is, theoretically, estimated by dividing the
regression coefficients of the attribute considered by the negative of the estimated coefficient of the
costs of the surveillance system [11, 13, 28]. The statistical analyses were undertaken with the software
Stata® version 12 (Stata Corp, College station, TX, USA). The model was fitted using the maximum
simulated likehood method (command mixlogit). To estimate the marginal willingness to pay in this
study, we used a specific procedure (mixlogit in wtp space) [29].

Results

Among the first list of 50 experts, 43 (86%) accepted to participate. The first 7 experts of the reserve list
were then solicited and accepted to participate. The final sample of respondents was constituted of 18
decision makers at the national or local level including Directors of public health agencies, 22 health
professionals including infectious diseases specialists and epidemiologists and 10 health economists.
All were working in France except two health economists working respectively in Belgium and in
Canada.

Table 4 shows the results of the model analysis. The final model is a mixed logit model with correlation
(log likehood-ratio: -592.29) in which the coefficients of four attributes (CFR, prevalence, costs and
detection threshold) are treated as random and the coefficients of the remaining two attributes (R0 and
PPV of the case definition) are treated as non-random There were significant correlations between the
coefficient of the CFR and the one of the prevalence (p=0.001) and between the coefficient of the costs
and of the detection threshold (p=0.028).

The positive significant values of the CFR and of the prevalence attributes indicate that these two
attribute are the most important criteria, according to the respondents ‘study. They prefer implementing
a surveillance system for infectious disease with a high CFR and a high prevalence. Conversely, the
negative significant values of the costs of surveillance and of the detection threshold indicate that

170
respondents prefer a less costly surveillance system and low level of the detection threshold. The
coefficients of the attributes R0 and PVP are statistically non-significant.

Table 5 displays the results of the marginal willingness to pay for the three significant attributes (CFR,
prevalence and detection threshold). On average, respondents are willing to pay 2.36 million euros (M€)
for an increase of 1 million infected person and 895 570 € for an increase of 1% of the CFR. As they
prefer a surveillance system with a low detection threshold during the surveillance of the individual
cases, they are willing to pay 122 840 € for 1% decrease.

The value of the coefficient of the constant term (36 M€) is far higher than the usual costs of
surveillance systems selected in this study. Thus, we were not able to estimate a willingness to pay for
the entire surveillance system.

171
Discussion

DCE have become an increasingly used technique in health economics. A literature review on this
method published in 2012 has shown that 114 studies using this technique have been performed during
the years 2001-2008 against only 34 during the previous decennia The areas of applications of this
technique in the field of health include mainly patients or practitioners’ elicitation preferences for
treatment or screening options. Fewer studies have been performed in the public health domain [30]. To
our knowledge; none have been performed to assess the importance of the criterion for the
implementation of a PHSS.

According to our results, the respondents are more inclined to opt for PHSS of emerging infectious
diseases with high CFR and prevalence of infected persons at the end of the epidemic. One could
interpret this finding in different ways. A low prevalence could be the result of an effective surveillance in
which all the first cases were early detected allowing a timely control of the spread of the emerging
disease. At the opposite, one can consider that a low prevalence does not represent a major health
threat and doesn’t necessitate a dedicated surveillance system. We believe that the second hypothesis
is the most likely explanation of the respondents’ replies. When an emerging infectious disease
appears, the CFR is not known precisely and it is roughly estimated based on the first detected cases.
This initial value of CFR most often overestimates the true value of CFR. This was observed during the
first phase of the A(H1N1)pdm09 pandemic for which the first estimate of the CFR was found to be much
higher (CFR varies from 0.3 to 1.8%) than the final value used in this study that was obtained through a
meta-analysis of data from 19 countries (CFR=0.02%) [15, 31]. However, the initial CFR obtained for
the A(H1N1)pdm09 pandemic has led to implement an enhanced surveillance of individual cases and
very restrictive control and prevention measures in most countries worldwide including France.
Retrospectively, with an current much lower CFR than the one expected and a much higher proportion
of mild or asymptomatic clinical forms and despite the final size of the pandemic (estimated in France at
10 million persons affected); the health professionals and the general public have perceived this
emerging disease as a benign epidemic [32]. Conversely, in August 2014, the World health organization
stated the conditions for a Public Health Emergency of International Concern have been met for Ebola
virus disease [33].The high level of the observed CFR in West-Africa (more than 11 000 dead in
December 2015) [34] and the fact that Ebola cases were diagnosed outside of Africa fort the first time
have made the importation of Ebola cases in France as a probable event. The fact that no case of Ebola
resulting of a local transmission occurred in France, could be an argument of the effectiveness of the
enhanced surveillance implemented.

172
A prioritization exercise based on experts’ opinion aiming at defining a surveillance strategy of infectious
diseases has in France, already in 1996, identified a high CFR and a high incidence as main criterions
[35]. A German survey in 2008, in the same subject, has also found that a high CFR and a high
incidence rate were at the most importance for the prioritization of infectious diseases [36]. More
recently, in 2013 and 2016 respectively, two studies on diseases surveillance prioritization based on a
DCE technique have found similar results. CFR stated as ‘Severity of the disease of human’ or ‘CFR’
and incidence rate labelled as ‘incidence of the disease in humans’ or ‘incidence trend in the last five
years’ were ranked over 8 at the 1st and the 4th rank for one and ranked over 21 at the two first ranks for
the other. Mean utility value increased as the value of these two criterions raised [37, 38].

The coefficient of the attribute detection threshold of the surveillance system at the beginning of the
epidemic has a negative value. Different interpretation can be proposed for this finding. Respondents
have considered that a surveillance system able to limit the spread of an emerging infectious disease
with a low detection threshold is more effective than one that needs to catch all the fist cases. It could
also exist among some respondents a certain distrust in a surveillance system in which the stated
objective is to detect 100% of the first cases of an emerging infectious disease. Nonetheless, this result
is apparently in contradiction with the current surveillance and control strategy of emerging infectious
disease with an international dissemination potentiel. Indeed, in France but also in many western
countries, classically, the surveillance starts with a containment phase aiming at limiting the spread of
an emerging pathogen in a susceptible population. This approach is based on the reporting at the
earliest of all the suspect cases fulfilling the case definition criterions. An epidemiological and clinical
appraisal of this case allows to confirm or infirm the diagnosis. Furthermore, by identifying in a timely
manner all the first cases, an active follow-up of all those who have been in contact with an infected
person is implemented promptly. This surveillance strategy which relies on a high detection threshold
(and ideally up to 100%) of the first cases of an emerging pathogen is a part of the prevention and
control plan against pandemic flu for example and has been applied during the (A1N1) pdm09 surveillance
and the enhanced surveillance of acquired Ebola virus diseases cases in France[18, 39, 40]

The coefficient of two of the evaluated attributes (R0 and PPV) was not statistically significant. The R0
reflects the infectiousness of the pathogen and the PPV is one of the technical criteria calculated to
assess the data quality of a PHSS according to international guidelines [41]. These attribute may have
been perceived too technical and not enough explicit to some of the respondents who were not familiar
enough with infectious disease surveillance operational aspects.

We estimated ‘marginal willingness to pay’ estimations for the criteria identified as the most predictive in
our study. This, indeed, gives a first indication and information for policy makers but need, however, to

173
be confirmed and refined in additional studies. Finally we end up with very high value of the coefficient
of the constant parameter (36 M€) which didn’t allow us to go further in the analysis and to estimate a
willingness to pay for an entire surveillance system with the 6 attributes considered. The coefficient of
the constant parameter reflects, partly, the result of the choice of the opt-out option made by some
respondents. The opt-out option is chosen when the choice task is difficult or when no scenario is
clearly superior [42, 43] . In our study, between 2% (1 respondent) and 14% (7 respondents) have out-
opted in one the 20 paired-wise scenarios presented. Furthermore, as mentioned earlier, no indication
was given about the out-opt option in the presented scenarios. Classically in the DCE method, the out-
opt option is the situation that already exists before the proposal of a new services or goods. It’s difficult
to apply this concept in our situation where two fictitious PHSS were presented. The out-opt option
could have been “no surveillance” or the surveillance systems already existing before a new emerging
pathogen appears, such as the mandatory notification system.

We have shown that a high CFR, a high prevalence and a low detection threshold are the most
important criteria to take into account in order to implement a PHSS for emerging infectious disease or
for a seasonal influenza epidemic. Our study was performed after several emerging infections have
occurred. However, as mentioned earlier, it’s noteworthy to note that some of these criterions and their
values were unknown at the beginning of the surveillance. Modelling and anticipated scenarios are
developed in order to forecast the magnitude of the forthcoming epidemic according to different
hypothesis more and less pessimistic. In a public health perspective, the worst scenarios are, a priori,
preferred for the decision making and for the development of the control strategy. As time passes and
as knowledges on the emerging infection accumulate, it remains of most importance to be able to
regularly question the initial strategy and to keep maintain a good level of flexibility to adapt this
strategy. This requires some ability to step back and to look at the whole picture. However, this is not an
easy task in practice, especially in the context of a health crisis with a very strong social and political
demand.

This study has several limits. First, it was targeted towards professionals with a certain background that
limits the number of potential respondents and the extrapolation of findings. The sample size was 50.
This is far less than the average number of 259 respondents found in a literature review of surveys
using a DCE technique. A number of respondents less than 200 could have an impact on the precisions
of the estimations. However, the size of our sample remains in the limits accepted in the literature [12,
13, 44]. Second, we have made the choice to present the 20 pairs-wise scenarios to all the respondents
who were not familiar with the technique. As there are no clear rules about the number of comparisons
to present, their numbers is often between 8 and 16. Beyond, some authors suggest that the interview
process could be too burdensome for respondents and may alter the quality of their replies. Some

174
others didn’t found major differences on the response rate or on the difficulty to answer whether they
present 5, 9 or 17 comparisons to the respondents [12, 45]. Third, the DCE technique relies on a trade-
off between attributes considered as independent. The correlations we found, especially between the
CFR and the prevalence and between the costs and the detection threshold indicate that the property of
independence between attributes was not completely met. Fourth, some authors have shown that some
respondents base their choice on the attribute they consider the most important [46]. We didn’t have
demonstrated this fact statically. However, it seems that some respondent tend to choose systematically
the scenario with the highest CFR. Besides, the different levels of this attribute varied widely with a
maximum level (50%) much higher than the three others (less than 1%). Finally, due to a high value of
the coefficient of the constant term, we were not able to estimate a willingness to pay for the entire
surveillance system as initially planned.

Beyond this limits, this study that one may consider as a pilot indicates a potential interest in using a
DCE technique to estimate the importance of criteria to prioritize PHSS and to estimate monetary values
attached to the most predictive criteria. The results found in this study are consistent with those found in
studies that used classical prioritization approaches. The results of our pioneered investigation need,
however, to be confirmed on a larger scale. A European study using DCE technique and involving
experts from all the Members States would be worth conducting to explore further the benefits of PHSS.

175
Acknowledgments

The authors are very grateful to all the professionals who agreed to participate in the study and thank all
the experts (I. Bonmarin, H. de Valk, B. Hubert, Y Le Strat, D. Levy-Bruhl) who provide inputs at the
early stage of the study when defining the attributes and their levels.

176
Table 1: Attributes: definition
Attributes
Case Fatality Ratio (%)
Prevalence (Ind)
Basic reproduction number
Costs of the surveillance (M€)
Predictive positive value of the case
definition (%)
Detection Threshold (%)
%: percent; Ind: individuals; M€: million Euros
Definition
Proportion of deaths among the cases during the
course of the epidemic
Number of infected persons at the end of the
epidemic
Expected number of secondary cases produced
by a single infection in a completely susceptible
population.
The overall costs include :
Costs of the human resources needed to operate
the system, Grants provided to the partners of
the surveillance
Costs of laboratory to confirm the firsts cases
during the surveillance of individual cases
Overhead costs
Proportion of confirmed cases among the
suspects cases according to the clinical case
definition who underwent a laboratory test during
the surveillance of individual cases
Proportion of cases detected by the surveillance
system at the start of the epidemic in order to
limit a wide spread of the disease in the
population
177
Table 2: level of the attributes according to the literature review and the surveillance reports

Prevalence
Infection R0 CFR (%) PPV (%) Costs (€)
(Ind)
A(H1N1)pdm09
1.5 0.02 10 000 000 10 11 300 000
epidemic
Ebola virus
1.75 50 0 0 988 8000
disease
Chikungunya 3 0.1 350 000 80* 1 200 000
2014-2015
seasonal 1.2 0.3 5 000 000 50 2 3 000 000
influenza
%: percent ; Ind : individuals, CFR: case fatality ratio; PPV: predictive positive value; € : euro; *unpublished data

178
Table 3: Final values for the levels of the six attributes

Prevalence
Level R0 CFR (%) PPV (%) Costs (€)
(Ind)
1 1.2 0.02 less than 10 2 1 000 0000
2 1.5 0.1 350 000 10 2 500 000
3 2 0.3 5 000 000 50 6 000 000
4 3 50 10 000 000 80 12 000 000
%: percent ; Ind : individuals, CFR: case fatality ratio; PPV: predictive positive value; € : euro

179
Figure 1: Example choice set

In case of an emerging infectious disease or a seasonal epidemic, which of these two surveillance system will
you implement in priority? You can also choose neither of them.

Choice n°1 Choice n° 2

The number of secondary cases
directly infected by an infectious 1.5 1.2
person is :
In order to avoid a widespread
100% of the cases in the 75% of the cases in the
of the disease, the surveillance
population population
must detect at least:
The proportion of confirmed
cases among the suspect cases 80% 80%
is:
At the end of the epidemic, the
10 millions 5 millions
number of infected persons is
The proportion of the infected 3 for 1 000 1 for 1 000
persons who decease is : (0.3%) (0.1%)
The costs of the surveillance are
12 millions € 2,5 millions €
equal to :

180
Table 4: Attribute estimates (standard error) for the coefficients varying at random and coefficient values
(standard error) for the attributes with fixed effect- Mixed logit model with correlations.

Attributes Mean value Standard deviation

(Standard error) (Standard error)
Constant -3.123* 1.436
(0.419) (0.417)
Costs (M€) -0.087* 0.074
(0.017) (0.022)
Detection threshold (%) -0.008* 0.009
(0.002). (0.018)
CFR (%) 0.063* 0.090
(0.017) (0.018)
Prevalence (Mind) 0.154* 0.245
(0.034) (0.033)
Value of coefficient
with fixed effects
(standard error)
PPV (%) 0.003**
(0.002)
R0 0.102**
(0.096)
M€: millions Euros, %: percent; CFR: case fatality ratio; Mind: millions individuals
*: significant at p<0.0001 **: non-significant at p> 0.05.

181
Table 5: Marginal willingness to pay for significant attributes using the specific procedure*: mixlogit in wtp space (

Attributes MWTP CI95%

Constant -36.23 [-53.55 - -18.91]
Detection threshold (%) -0.1228 [-0.2020 - -0.043]
CFR (%) 0.8955 [0.3350-1.4561]
Prevalence (Mind) 2.3574 [1.1486-3.5565]
%: percent; CFR: case fatality
ratio; Mind: millions individuals.*’mixlogit in wtp space” (reference:29)

182
References

1. Thacker SB, Berkelman RL, troup DF. The science of public health surveillance. Journal of Public Health
Policy. 1989;10(2 (summer 1989)):187-203.
2. Desenclos JC. Surveillance et veille: concepts, défintions et organisation. In: Dabis F, Desenclos JC,
(dir.).Epidémiologie de terrain. Montrouge, France : John Libbey Eurotext; 2012. p. 76-89.
3. World Health Organization. International health regulations. Geneva : World Health Organization; 2008.
[consulté le 15/10/2015]. Disponible: http://whqlibdoc.who.int/publications/2008/9789241580410_eng.pdf
4. Piot P, Muyembe J, Edmunds W. Ebola in West Africa: from disease outbreak to humanitarian crisis. Lancet
Infectious Diseases. 2014;14(11):1034-5.
5. Boeuf P, Drummer HE, Richards JS, Scoullar MJ, Beeson JG. The global threat of Zika virus to pregnancy:
epidemiology, clinical perspectives, mechanisms, and impact. BMC Med. 2016;14(1):112.
6. Calain P. Exploring the international arena of global public health surveillance. Health Policy and Planning.
2007(22):2-12.
7. Mc Nabb S. Comprehensive effective and efficient global public health surveillance. BMC Public Health.
2010;10(Suppl 1):S3.
8. Herida M, Dervaux B, Desenclos JC. Economic evaluations of public health surveillance systems: a
systematic review. Eur J Public Health. 2016;Feb 5, pii: ckv250.
9. Amaya-Amaya M, Ryan M, Gerard K. Discrete choice experiments in a nutshell. In: Ryan M, Gerard K,
Amaya-Amaya M, (dir.).Using discrete choice experiments to value health and health care. The Netherlands
: Springer; 2008. p. 13-46.
10. Louviere JJ, Hensher DA, Swait JD. State Choice Methods: analysis and applications. New-York :
Cambridge University Press; 2000.
11. Ryan M, Farrar S. Using conjoint analysis to elicit preferences for health care. Brtish Medical Journal.
2000;320(7248):1530-3.
12. Bridges JFP, Hauber AB, Marshall D, Lloyd A, Prosser LA, Regier DA, et al. Conjoint analysis applications
in health - A checklist: A report of the ISPOR Good Research Practices for Conjoint Analysis Task Force.
Value in Health. 2011;14(4):403-13.
13. Lancsar E, Louviere J. Conducting discrete choice experiments to inform healthcare desicion making: a
user's guide. Pharmocoeconomics. 2008;26(8):661-7.
14. Biggerstaff M, Cauchemez S, Reed C, Gambhir M, Finelli L. Estimates of the reproduction number for
seasonal, pandemic, and zoonotic influenza: a systematic review of the literature. BMC infectious diseases.
2014;14:480.
15. Van Kerkhove MD, Hirve S, Koukounari A, Mounts AW. Estimating age-specific cumulative incidence for the
2009 influenza pandemic: a meta-analysis of A(H1N1)pdm09 serological studies from 19 countries.
Influenza and other respiratory viruses. 2013;7(5):872-86.
16. Bone A, Guthmann JP, Assal A, Rousset D, Degeorges A, Morel P, et al. Incidence of H1N1 2009 virus
infection through the analysis of paired plasma specimens among blood donors, France. PLoS One.
2012;7(3):e33056.
17. Van Cauteren D, Vaux S, de Valk H, Le Strat Y, Vaillant V, Levy-Bruhl D. Burden of influenza, healthcare
seeking behaviour and hygiene measures during the A(H1N1)2009 pandemic in France: a population based
study. BMC Public Health. 2012;12:947.
18. Vaux S, Brouard C, Fuhrman C, Turbelin C, Cohen JM, Valette M, et al. Dynamique et impact de l'épidémie
A(H1N1)2009 en France métropolitaine. Bulletin Epidemiologique hebdomadaire [En ligne]. 2010 [consulté
le 15/12/2015]; (24-25-26):259-64. Disponible:
http://www.invs.sante.fr/beh/2010/24_25_26/beh_24_25_26_2010.pdf

183
19. WHO Ebola response team. Ebola virus disease in West Africa--the first 9 months of the epidemic and
forward projections. The New England journal of medicine. 2014;371(16):1481-95.
20. Cauchemez S, Ledrans M, Poletto C, Quenel P, de Valk H, Colizza V, et al. Local and regional spread of
chikungunya fever in the Americas. Euro surveillance : bulletin Europeen sur les maladies transmissibles =
European communicable disease bulletin. 2014;19(28):20854.
21. Gerardin P, Guernier V, Perrau J, Fianu A, Le Roux K, Grivard P, et al. Estimating Chikungunya prevalence
in La Reunion Island outbreak by serosurveys: two methods for two critical times of the epidemic. BMC
infectious diseases. 2008;8:99.
22. Josseran L, Paquet C, Zehgnoun A, Caillere N, Le Tertre A, Solet JL, et al. Chikungunya disease outbreak,
Reunion Island. Emerg Infect Dis. 2006;12(12):1994-5.
23. Carrat F, Sahler C, Rogez S, Leruez-Ville M, Freymuth F, Le Gales C, et al. Influenza burden of illness:
estimates from a national prospective survey of household contacts in France. Archives of internal medicine.
2002;162(16):1842-8.
24. Équipes de surveillance de la grippe. Surveillance épidémiologique et virologique de la grippe en France
métropolitaine. Saison 2014-2015. Bulletin épidémiologique hebdomadaire [En ligne]. 2015 ; 32-33:593-8.
25. Agence nationale de sante publique. Surveillance des infections liées au nouveau coronavirus (MERS-
CoV). Point au 5 novembre 2013.: Agence nationale de sante publique; 2013. Disponible:
http://www.invs.sante.fr/Dossiers-thematiques/Maladies-infectieuses/Infections-respiratoires/Infection-a-
coronavirus/Infection-a-nouveau-coronavirus-MERS-CoV/Surveillance-des-infections-liees-au-nouveau-
coronavirus-MERS-CoV-.-Point-au-5-novembre-2013
26. Huber J, Zwerina K. The importance of utility balance in efficient choice designs. Journal of Marketing
Research. 1996;33(3):307-17.
27. Reed Johnson F, Lancsar E, Marshall D, Kilambi V, Muhlbacher A, Regier DA, et al. Constructing
experimental designs for discrete-choice experiments: report of the ISPOR Conjoint Analysis Experimental
Design Good Research Practices Task Force. Value in health : the journal of the International Society for
Pharmacoeconomics and Outcomes Research. 2013;16(1):3-13.
28. McFadden D, Train K. Mixed MNL models for discrete response. Journal of Applied Econometrics.
2000;15(5):447-70.
29. Hole AR. Fitting mixed logit models by using maximum simulated likelihood. Stata Journal. 2007;7(3):388-
401.
30. De Bekker-Grob EW, Ryan M, Gerard K. Discrete choice experiments in health economics: A review of the
literature. Health Economics. 2012;21(2):145-72.
31. Fraser C, Donnelly CA, Cauchemez S, Hanage WP, Van Kerkhove MD, Hollingsworth TD, et al. Pandemic
potential of a strain of influenza A (H1N1): early findings. Science. 2009;324(5934):1557-61.
32. Weber F. Editorial. Bull Epidemiol Hebd. 2010;24-25-26:257-58.
33. World Health Organization. Statement on the 1st meeting of the IHR Emergency Committee on the 2014
Ebola outbreak in West Africa. Geneva2014. Disponible:
http://www.who.int/mediacentre/news/statements/2014/ebola-20140808/en/ (accessed march 2016)
34. World Health Organization. Ebola situation report. Geneva ; 30 December 2015. Disponible:
http://apps.who.int/ebola/sites/default/files/atoms/files//who_ebola_situation_report_30-12-
2015.pdf?ua=1&ua=1 (accessed March 2016)
35. Hubert B, Haury B. Orientations pour la révision des modalités de surveillance des maladies transmissibles
en France (Orientations for revising infectious diseases surveillance systems in France). Bull Epidemiol
Hebd. 1996(26):115-7.
36. Krause G. Prioritisation of infectious diseases in public health--call for comments. Euro surveillance : bulletin
Europeen sur les maladies transmissibles = European communicable disease bulletin. 2008;13(40).
37. Ng V, Sargeant JM. A quantitative approach to the prioritization of zoonotic diseases in North America: a
health professionals' perspective. PLoS One. 2013;8(8):e72172.

184
38. Stebler N, Schuepbach-Regula G, Braam P, Falzon LC. Weighting of Criteria for Disease Prioritization
Using Conjoint Analysis and Based on Health Professional and Student Opinion. PLoS One.
2016;11(3):e0151394.
39. Bruyand M., Tourdjman M., Noel H., Mailles A, Vaux S, Lucas E, et al. Maladie à virus Ebola : dispositif de
surveillance renforcée en France et caractéristiques des signalements reçus, mars-décembre 2014. Bull
Epidémiol Hebd [En ligne]. 2014 ; 36:584-91. Disponible:
http://www.invs.sante.fr/beh/2014/36/2014_36_1.html (consulté le 10 mars 2016)
40. Secrétariat général de la défense et de la sécurite nationale. Plan national de lutte et de prévention
"Pandémie grippale"2011 ; :78. Disponible: http://social-
sante.gouv.fr/IMG/pdf/Plan_Pandemie_Grippale_2011.pdf (consulté le 10 mars 2016)
41. Centers for Disease Control and Prevention. Updated guidelines for evaluating public health surveillance
systems: recommendations from the guidelines wrorking group. MMWR Morb Mortal Wkly Rep [En ligne].
2001 [consulté le 15/10/2015]; 50(RR-13):35. Disponible:
http://www.cdc.gov/mmwr/preview/mmwrhtml/rr5013a1.htm
42. Ryan M, Skatun D. Modelling non-demanders in choice experiments. Health Econ. 2004;13(4):397-402.
43. Veldwijk J, Lambooij MS, de Bekker-Grob EW, Smit HA, de Wit GA. The effect of including an opt-out option
in discrete choice experiments. PLoS One. 2014;9(11):e111805.
44. Chang J.B., L.J. L. Mixed logit model: accuracy and software choice. Journal of Applied Econometrics.
2011;26:167-72.
45. Bech M, Kjaer T, Lauridsen J. Does the number of choice sets matter? Results from a web survey applying
a discrete choice experiment. Health Econ. 2011;20(3):273-86.
46. Lancsar E, Louviere J. Deleting 'irrational' responses from discrete choice experiments: A case of
investigating or imposing preferences? Health Economics. 2006;15(8):797-811.

185
Annexe 3.2 : Liste des profils (scénarios)

Tableau 3.10 : Liste des profils (scénarios)

Seuil de
Coûts détection VPP Létalité R0 Prévalence
(M€) (%) (%) (%) (Ind)
Profil1 12 100 80 0,3 1,5 10 000 000
Profil2 2.5 75 80 0,1 1,2 5 000 000
Profil3 6 100 80 0,1 2 350 000
Profil4 2.5 10 10 0,3 2 5 000 000
Profil5 6 10 80 0,3 3 Moins de 10
Profil6 2.5 10 2 0,5 1,2 350 000
Profil7 6 100 10 0,5 1,2 Moins de 10
Profil8 1 10 80 0,5 2 10 000 000
Profil9 1 100 2 0,3 1,2 Moins de 10
Profil10 12 10 10 0,02 1,2 10 000 000
Profil11 6 75 2 0,02 1,5 5 000 000
Profil12 12 100 50 0,02 1,2 5 00 0000
Profil13 1 75 10 0,3 3 350 000
Profil14 1 10 50 0,1 1,5 350 000
Profil15 6 50 50 0,3 1,2 10 000 000
Profil16 2.5 100 2 0,1 3 10 000 000
Profil17 12 50 2 0,1 2 Moins de 10
Profil18 2.5 50 80 0,02 1,5 350 000
Profil19 1 50 50 0,5 3 5 000 000
Profil20 2.5 75 50 0,02 2 10 000 000
M€ : millions d’euros ; % : pourcentage ; VPP : valeur prédictive de la définition de cas ; Ind : nombre
d’individus

186
Annexe 3.3 : Liste des comparaisons

Tableau 3.11 : Liste des comparaisons

Comparaisons Choix 1 Choix 2
Comparaison 1 20 1
Comparaison 2 2 3
Comparaison 3 4 5
Comparaison 4 6 7
Comparaison 5 8 9
Comparaison 6 10 11
Comparaison 7 12 13
Comparaison 8 14 15
Comparaison 9 16 17
Comparaison 10 18 19
Comparaison 11 1 2
Comparaison 12 3 4
Comparaison 13 5 6
Comparaison 14 7 8
Comparaison 15 9 10
Comparaison 16 11 12
Comparaison 17 13 14
Comparaison 18 15 16
Comparaison 19 17 18
Comparaison 20 19 20

187
Annexe 3.4 : Estimation du nombre de répondants

Concernant le nombre de personnes de répondants nécessaires, nous avons appliqué l’équation

suivante [81] :

𝑛𝑡𝑎
≥ 500
𝐶

n : nombre de répondants
t= nombre de comparaisons
a= nombre de réponses possibles par comparaison
c= nombre maximum de niveaux quel que soit l’attribut considéré

En appliquant l’équation ci-dessus dans notre plan d’expérience à 20 profils et 20 comparaisons le

nombre de répondants nécessaires est de 33 en incluant l’option de non et de 50 sans l’option de non-
choix
Bien que nous ayons retenu l’option de non choix, nous avons privilégié le nombre le plus grand (n=50).

188
Annexe 3.5 : Lettre d’information de l’étude

Pour répondre à ses missions de veille sanitaire et de surveillance de l’état de santé des populations,
l’InVS a mis en place de nombreux systèmes de surveillance. Des évaluations régulières de ces
systèmes de surveillance sont menées afin de s’assurer que ces surveillances répondent bien aux
objectifs initialement assignés et contribuent utilement à la prévention et au contrôle des maladies.Dans
le cadre d’un travail de doctorat sur les évaluations médico-économiques des systèmes de surveillance
en santé publique, nous menons une étude pilote visant à déterminer les éléments pris en compte par
des décideurs, des épidémiologistes et des économistes pour juger de l’utilité de certains critères de
surveillance mise en place pour des infections émergentes ou des épidémies saisonnières de sévérité
importante. Nous allons vous présenter des situations hypothétiques où des systèmes de surveillances
sont mis en place. Ces systèmes de surveillance sont caractérisés par 6 critères discutés et validés au
sein d’un groupe d’experts. Les valeurs attribuées à ces critères sont issues de données de la littérature
et des données de certaines surveillances de l’InVS. En l’absence de données dans les deux sources
précédemment citées, nous avons fait appel au jugement d’experts.

Trois critères concernent le pathogène pour lequel est mis en place la surveillance :

-Le taux de reproduction de base du pathogène : Il représente le nombre de cas secondaires

directement infectés par un sujet contagieux dans une population totalement susceptible

-La létalité : elle représente la proportion de personnes décédées parmi les malades

- Le nombre de personnes infectées à la fin de l’épidémie qu’elles aient été symptomatiques ou pas

Trois autres critères concernent la surveillance :

-Le seuil minimum de la proportion de cas que le système de surveillance doit capter afin d’éviter une
diffusion large du pathogène dans la population

-La proportion de confirmés par la surveillance par rapport au nombre de cas suspects

- Le coût de la surveillance : elle représente le cout des ETP dédiés dans la surveillance, le coût des
subventions aux partenaires de la surveillance et le coût en frais généraux. Les coûts liés aux mesures
de dépistage, de prévention et celles liées aux soins des malades ne sont pas pris en compte.

Les critères présentés sont indépendants les uns des autres.

Cette étude est une analyse conjointe basée sur le choix : les systèmes de surveillance décrits par les
critères listés ci-dessus sont présentés 2 par 2. Nous considérons que les mesures de contrôle et de
prévention sont en place.

Pour chaque paire, nous vous demandons d’indiquer quel système de surveillance devrait être mis en
place en priorité. Il vous est également possible de ne pas choisir entre les 2 options présentées si vous
estimez que les deux systèmes sont utiles mais équivalents ou si vous jugez qu’ils sont non pertinents.

Nous vous remercions par avance de votre participation à cette étude. Nous estimons que la durée de
l’entretien est comprise entre trente et quarante-cinq minutes.

189
Annexe 3.6 : Présentation d’une comparaison de profil

Quel système de surveillance mettriez-vous en place en priorité ?

Choix 1 ou Choix 2. Si vous ne souhaitez pas choisir entre ces 2 options, indiquer 0

Tableau 3.12 : Présentation d’une comparaison de profil

Choix 1 Choix 2
Le nombre de cas
secondaires directement
1,5 1,2
infectés par un sujet
contagieux est de :
Pour permettre d’éviter
une diffusion large de la
100% des cas dans 75% des cas dans la
maladie, la surveillance
la population population
doit détecter au
minimum :
La proportion de cas
confirmés parmi les cas
80% 80%
suspects est de :

A la fin de l’épidémie, le
nombre de personnes 10 millions 5 millions
infectées est de :
1 pour 1000
3 pour 1000
La proportion de malades (0,1%)
(0,3%)
qui décède est de :
5 000 DC
30 000 DC attendus
attendus
Le coût de la surveillance
s’élève à : 12 millions € 2,5 millions €

190
 Annexe 3.7 : Tests d’hypothèse de la propriété d’indépendance par rapport aux
alternatives non pertinentes

1- Afin de tester l’hypothèse de distribution identique des erreurs aléatoires (variance constante) nous
avons intégré des variables en lien avec les caractéristiques des individus. La seule information dont
nous disposons concernent concerne le groupe d’appartenance du répondant (décideurs,
professionnels de santé et économistes de la santé). Cette variable groupe a été considérée comme
une variable indicatrice (Tableau 3.13).
Tableau 3.13 : Estimation des coefficients des attributs et des groupes de répondants par estimation avec un
modèle logistique hétéroscédastique
Borne Borne
Variable Coefficient inférieure supérieure p
IC95 IC95

Variables Constante - 2.9057 - 3.884 - 1.9272 0.000*

Coût (M€) - 0.0685 - 0.1058 - 0.0311 0.000*

Seuil (%) - 0.0070 - 0.0104 - 0.0035 0.000*

VPP (%) 0.0002 - 0.0032 0.0035 0.927

Let (%) 0.0228 0.0084 0.0372 0.002*

R0 0.0051 - 0.1094 0.1196 0.931

Prev (Ind) 0.1024 0.0468 0.1581 0.000*

Variables Groupe 1 - 0.4908 - 0.9962 0.0147 0.057

caractéristiques
des individus

Groupe 2 0.2417 - 0.2984 0.7819 0.380

M€ : millions d’Euros ; Seuil : seuil de détection ; % : pourcentage ;VPP : valeur prédictive de la

définition de cas ; let : létalité ; Prev : prévalence ; Ind : nombre d’individus ; IC95 : intervalle de
confiance à 95% ; * : valeur significative avec degré de significativité inférieur à 5%.

LR Chi 2 : 29.61 p :0.0000

Avec une valeur de significativité inférieure à 10-4, le test nous indique que nous ne pouvons pas
accepter l’hypothèse de variance constante des erreurs aléatoires entre les différents groupes de
répondants.

2-Nous envisageons un modèle logistique emboîté à 2 niveaux dont le schéma figure ci-dessous. Le
répondant peut ne pas choisir de système de surveillance pour chacune des comparaisons proposées.

191
Si le répondant décide de choisir un système, 2 scénarios sont proposés comme indiqué dans la figure
3.3:
Figure 3.3 : schéma de l’étude selon un modèle emboîté

Présentation des deux systèmes de

surveillance

Décision de choix Décision de non choix Niveau 2

Système de Système de Niveau 1

surveillance 1 surveillance 2

Dans le modèle présenté, la décision de non choix ne mène à aucune autre option (modèle
partiellement dégénéré). Le paramètre λ est contraint à la valeur 1. L’hypothèse d’indépendance par
rapport aux alternatives non pertinentes est testée avec ce modèle en posant l’hypothèse nulle que le
paramètre spécifique λ du groupe ‘décision de choix’ est égal à 1 (indiquant ainsi l’absence de
corrélation entre les termes d’erreur des utilités de chaque groupe). Les résultats du test sont indiqués
dans le Tableau 3.14

Tableau 3.14 : Estimation du test d’indépendance par rapport aux alternatives non retenues par un modèle
logistique emboîté
Borne Borne
Coefficient inférieure supérieure

IC95 IC95

Paramètre λ Décision de non choix 1 (valeur

contrainte)

Décision d’un choix de 0.2735852 - 0.32707 0.8742

surveillance

Test du rapport de vraisemblance (λ=1) Chi 2 : 29.61 p : 0.0000

Les résultats des deux précédents tests indiquent que la propriété d’indépendance par rapport aux
alternatives non retenues n’est pas vérifiée pour les données de cette étude et que les estimations
issues d’un modèle logistique multinomial sont biaisées.

192
Annexe 3.8 : Valeur des coefficients des différents niveaux des attributs
significatifs par un modèle logistique multinomial avec effets aléatoires

Tableau 3.15. Valeur des coefficients des différents niveaux des attributs significatifs par un modèle logistique
multinomial avec effets aléatoires
Variable Borne inférieure Borne Valeur
Coefficient IC95 supérieure du p
IC95

Constante - 4.0360 - 5.0632 - 3.0140 0.000

Coût (M€)
1 - 0.1835 - 0.7419 0.2850 0.520
2,5 0.5217 0.1301 0.9103 0.009*
6 0.4487 0.1309 0.7665 0.006*
12 - 0.7870 - 1.2435 - 0.3304 0.001*
Seuil(%)
10 0.7022 0.2697 1.1347 0.001*
50 0.1747 - 0.3233 0.6277 0.492
75 - 0.4113 - 0.7993 - 0.0232 0.038*
100 - 0.46570 - 0.7722 - 0.1592 0.003*
Let (%)
0.002 - 1.1430 - 1.7205 -0.5655 0.000*
0.1 - 0.5986 - 1.1795 - 0.0176 0.043*
0.3 0.2955 -0.0284 0.6195 0.074
50 1.4460 0.6567 2.2354 0.000*
Prev ( Ind)
<10 - 0.9728 - 1.4607 - 0.4848 0.000*
350 000 0.1328 - 0.1906 0.4562 0.421
5 000 000 0.5480 0.2323 0.8638 0.001*
10 000 000 0.2919 - 0.1610 0.7450 0.206
M€ : millions d’euros ; Seuil : seuil de détection ; % : pourcentage ; VPP : valeur prédictive de la définition de cas ; let : létalité ; Prev :
prévalence ; Ind : nombre d’individus ; DC : nombre de décès évités ; IC95 : intervalle de confiance à 95% ; * : valeur significative avec
degré de significativité au moins inférieur à 5%

193
Annexe 3.9 : Représentation graphique des différents niveaux des attributs
significatifs (amplitude : valeur maximale – valeur minimale)

Figure 3.4 : représentation graphique des différents niveaux des attributs significatifs (amplitude : valeur maximale
– valeur minimale)

1,5

1
moyenne des coefficients IC95

0,5

-0,5

-1

-1,5
1M€ 2,5 M€ 6 M€ 12M€
niveaux du critère coût ( amplitude= 1,23)

2,5

2
moyenne des coefficients IC95

1,5

0,5

-0,5

-1

-1,5

-2
0,02% 0,1% 0,3% 50%
Niveaux du critère létalité (amplitude= 2,58)

194
 1,5

moyenne des coefficients IC95

0,5

-0,5

-1
10% 50% 75% 100%
-1,5

-2
Niveaux du critère seuil de détection, (amplitude=1,06)

1,5
moyenne des coefficients IC95

0,5

-0,5

-1

-1,5

-2
<10 350000 5 millions 10 millions
Niveaux du critères prévalence ( amplitude=1,34)

195
196
Résumé
Méthodes d’évaluation des systèmes de surveillance en santé publique
Mots clés : surveillance en santé publique, évaluation, méthode des choix discrets.
Dans un contexte d’apparition de nouvelles menaces
infectieuses pour la santé des populations, la surveillance
en santé publique et la veille sanitaire, en lien direct avec la
décision publique, doivent disposer d’une capacité
d’adaptation et de priorisation. L’évaluation des systèmes
de surveillance en santé publique est préconisée depuis
plusieurs décennies. La question de l’efficience de ces
systèmes de surveillance est plus récente et prend une
dimension particulière au regard des ressources
disponibles limitées et d’une demande sociale forte en
matière de santé publique. Ce travail montre l’intérêt d’une
démarche standardisée d’évaluation des systèmes de
surveillance en maladies infectieuses au sein d’une agence
nationale de santé publique. Elle a enrichi la stratégie de
surveillance de l’institution et a permis d’initier de nouveaux
travaux portant sur la valorisation des bénéfices. Une
revue systématique de la littérature scientifique a permis de
dresser un état des connaissances sur l’évaluation des
bénéfices de la surveillance en santé publique. Elle montre
que les bénéfices engendrés par la surveillance sont le
plus souvent estimés par le coût des cas épargnés ou des
vies sauvées grâce aux actions de contrôle et de réponse.
Methods in public health surveillance systems evaluation
Key-words: public health surveillance, evaluation, discrete choice experiments
In a context of emerging infectious diseases and of new
health threats occurring, priorities for public health
surveillance, which is closely linked to action and decision
making, need to be reviewed and adapted regularly.
Assessing the usefulness and the technical performance of
surveillance systems been are the main objectives of public
health surveillance system evaluations and this has been
recognized for many years. The efficiency of a surveillance
system is a more recent question and takes a particular
dimension in the context of limited resources and of an
increasing social demand of health security. This work
shows the interest of an external and formal evaluation
process of surveillance systems in a national public health
agency. This process has improved the surveillance
strategy of the institution and has brought new questions up
about the estimations of benefits of surveillance systems. A
systematic literature review has drawn a clear picture of the
state of the art and the knowledges in the field of public
health surveillance system benefits estimation. This
systematic review indicates that, to date, very few
economic evaluations of public health surveillance systems
have been performed worldwide. It also shows that the
benefits of surveillance are mainly assessed by the costs of
Cette approche est difficilement applicable pour les
systèmes de surveillance ne nécessitant pas des mesures
de contrôle immédiates. Elle ne prend pas en compte les
valeurs d’existence en lien avec les effets non monétaires
induits par la surveillance en santé publique. Afin de
prendre en compte toutes les dimensions de la
surveillance, nous avons mené une étude exploratoire
faisant appel à la méthode des choix discrets appliquée à
des systèmes de surveillance de maladies infectieuses
émergentes. Cette étude, montre l’importance de certains
critères comme la prévalence ou la létalité. Des
consentements à payer marginaux pour ces critères sont
estimés pour la première fois et constituent une première
indication. L’approche médico-économique dans les
évaluations des systèmes de surveillance reste un domaine
peu exploré. L’actualisation des recommandations
internationales sur ces évaluations serait utile et devrait
intégrer une approche médico-économique. L’intérêt
potentiel de la méthode des choix discrets pour la
valorisation des bénéfices induits par les systèmes de
surveillance initié dans ce travail devrait être évalué sur
une plus grande échelle.
the number of cases or deaths prevented by the response
and control measures. This approach has certain limits. It
cannot be applied when the primary objective of the
surveillance activities is not linked to immediate response.
It does not take into account the existence value of a Public
health surveillance system. In order to take the dimensions
of a public health surveillance system, we have conducted
a pilot study using discrete choice experiments applied to
different emerging infectious diseases surveillance
systems.This study shows the importance of certain criteria
such as the prevalence and the case fatality ratio. For the
first time, marginal willingness to pay for these criteria have
been estimated and these results give some insights into
the question of the benefits, a public health surveillance
system can bring. Economic evaluations of public health
surveillance system remain an area where little has been
carried out to date. Updating international
recommendations for public health surveillance systems
would be useful and should include an economic approach.
The potential interest of the discrete choice experiments for
valuing benefits of a public health system used in this study
needs to be confirmed in a larger sc
197
198