Principe
d’évaluation des tests
diagnostiques
Plan
Objectif et contexte de ces études visant à
évaluer un test diagnostique
Rappel LCA
Principe d’un test diagnostique
Performance diagnostique d’un test /
application pratique (EP)
Se, Sp,
rapports de vraisemblance (RV)
VPP, VPN
Nomogramme de Fagan : P(M) a priori et a postériori
Biais / précautions d’interprétation
Biais de sélection, de classement et de publication,
Exemple de calcul
Référence bibliographique
S David tchouda / Eval test diag / P2 2013/2014 2
1
14/11/2013
Objectif
et contexte de ce type d’étude
2
14/11/2013
Design d’étude
Le plus souvent, étude observationnelle
Cohorte
Cas témoins
Étude transversale
F interventionnelle si le test ne fait pas partie
de la pratique de soins courante
Plus rarement, étude interventionnelle
Essai clinique
Test rajouté à la pratique habituelle
S David tchouda / Eval test diag / P2 2013/2014 5
Contexte d’étude
Respect d’un continuum à cette recherche :
1. Mise en évidence de l’association entre le test
(biologie, imagerie, génétique, SC…) et la maladie
Recherche étiologique (étude de cohorte, cas témoins, …)
F objectif préalable
2. Intérêt de ce test pour diagnostiquer la maladie ?
Fiabilité / reproductibilité en 1er lieu
F objectif préalable
qualités diagnostiques du test (Se, Sp)
F Validité interne
3. … Si test « satisfaisant », autres objectifs :
Intérêt dans dépistage (stade pré symptomatique),
Intérêt dans le pronostic de la maladie
F Validité externe (VPP, VPN)
S David tchouda / Eval test diag / P2 2013/2014 6
3
14/11/2013
…Rappel LCA
24 objectifs pour l’ECN…
4
14/11/2013
IDENTIFIER
1. l’objet d’un article médical scientifique parmi les
suivants : évaluation d’une procédure diagnostique,
d’un traitement, d’un programme de dépistage,
estimation d’un pronostic, enquête épidémiologique
à l’exclusion des MA,
2. La question posée par les auteurs (hypothèses).
ANALYSER LA METHODOLOGIE
Population
3. Identifier les caractéristiques de la population source /
cible,
4. Analyser les modalités de sélection des sujets, critères
inclusion/exclusion
5. Analyser la technique de randomisation, le cas échéant,
6. Discuter la comparabilité des groupes soumis à la
comparaison,
7. Discuter l’évolution des effectifs étudiés et leur
cohérence dans la totalité de l’article. Calcul du nombre
de sujet fait a priori ?
5
14/11/2013
6
14/11/2013
7
14/11/2013
8
14/11/2013
Principe du raisonnement
probabiliste
Parce que:
Le signe clinique parfait pathognomonique
ou l’examen complémentaire idéal (non couteux,
non douloureux, non invasif…)
existe rarement…
ª On est rarement en situation de certitude absolu
Le vivant n’est pas un théorème
de maths démontrable…
9
14/11/2013
Application à
l’ embolie pulmonaire (EP)
S David tchouda / Eval test diag / P2 2013/2014 20
10
14/11/2013
2/ Proba d’EP
D-dimère (ELISA)
Angioscanner
Écho-doppler
des MI
11
14/11/2013
12
14/11/2013
Source d’information
Clinique ou paraclinique
13
14/11/2013
Test maladie
dg
Faux
Positifs Vrai Faux
Positifs Vrai Négatifs
S David tchouda / Eval test diag / P2 2013/2014 Négatifs 27
Calcul
de la performance d’un test
14
14/11/2013
Performance (1)
Caractéristiques « intrinsèques » : capacité
informative
propres au test (ne dépendent pas de la prévalence)
Î sensibilité, spécificité, rapports de vraisemblance
(RV+, RV-)
Caractéristiques « extrinsèques » :
caractéristiques intrinsèques + contexte utilisation
prévalence (= probabilité pré-test)
Î valeurs prédictives positive / négative (= probabilité
post-test)
15
14/11/2013
Performance (2)
Nécessite d’être «comparé» au test de
référence (gold standard) qui définit les
malades et les non malades
Elaboration d’un tableau de contingence
16
14/11/2013
Se et Sp
Sensibilité et Spécificité
Gold standard
Résultats du test
Malades (M+) Non malades (M-)
Test positif (T+) VP FP
Test négatif (T-) FN VN
Total (VP+FN) (FP+VN)
Se = P(T + / M + ) = Sp = P(T − / M − ) =
VP VN
(VP + FN ) (VN + FP )
S David tchouda / Eval test diag / P2 2013/2014 34
17
14/11/2013
EP
oui non
D-dimer ≥ 500µg/L 195 278
D-dimer < 500µg/L 1 197
Total 196 475
Se = P (T + / M + ) =
195
= 99 . 5 %
S David tchouda / Eval test diag / P2 2013/2014 (195 + 1) 35
Sp = P (T − / M − ) =
473
= 99.6%
S David tchouda / Eval test diag / P2 2013/2014 (473 + 2) 36
18
14/11/2013
Rapports de vraisemblance
Rapports de vraisemblance :
définition
19
14/11/2013
P(T + / M + ) Se P(T − / M + ) 1 − Se
LR + = = LR − = =
P(T + / M − ) 1 − Sp P(T − / M − ) Sp
S David tchouda / Eval test diag / P2 2013/2014 39
RV positif : interprétation
D-dimère ≥ 500 µg/L
P(T + / M + ) Se 0.995
LR + = = = = 1.70
P(T + / M − ) (1 − Sp ) (1 − 0.414 )
LR+ = (VP/M+) / (FP/M+)
Interprétation : les DD sont « quasi 2 fois
plus souvent positifs chez les M par rapport
aux nonM »
Le test est d’autant plus informatif que
LR+ >>1 (bon test > 5-10 selon la communauté
scientifique)
S David tchouda / Eval test diag / P2 2013/2014 40
20
14/11/2013
RV négatif : interprétation
D-dimer < 500 µg/L
P(T − / M + ) (1 − Se ) (1 − 0.995)
LR − = = = = 0.01
P(T − / M − ) Sp 0.414
Application à l’EP
pour l’utilisation des RV
21
14/11/2013
Application à l’EP
Probabilité a priori
Implicite (raisonnement non formel du
médecin par expérience)
Explicite (règle prédictive : score de Wells)
ÎPrévalence(EP) a priori
22
14/11/2013
Rappel : D DIMERE
RV- = 0.01
D-dimère (ELISA)
80%
Rapport de
Post-test probability
70%
vraisemblance
60% positif: 24.1
50%
40%
30%
20%
10%
Roy et al.
BMJ 2005
0%
10% 30% 50% 70% 90%
0% 20% 40% 60% 80% 100%
Pre-test probability
S David tchouda / Eval test diag / P2 2013/2014 46
23
14/11/2013
Diagramme
de Fagan
Synthèse interprétation RV
Coefficient multiplicateur de P(M)
24
14/11/2013
Prev (M)
et valeurs prédictives
(VPP et VPN)
dans le cas d’une cohorte
Gold standard
Résultats du Malades (M+) Non malades (M-)
test
Test positif (T+) VP FP
Test négatif (T-) FN VN
Total m1 m0
m1
Prévalence = P (M + / Total ) =
m1 + m 0
S David tchouda / Eval test diag / P2 2013/2014 50
25
14/11/2013
Ex : prévalence de l’EP
EP
oui non
VPP = P(M + / T + ) =
VP
(VP + FP )
S David tchouda / Eval test diag / P2 2013/2014 52
26
14/11/2013
Se = 0.995 et Sp = 0.414
Prévalence = 196 / 671 = 29%
VPP= 195 / 473 = 41%
S David tchouda / Eval test diag / P2 2013/2014 53
Se = 0.995 et Sp = 0.414
Prévalence = 196 / 4946 = 4%
VPP= 195 / 2975 = 6.5%
S David tchouda / Eval test diag / P2 2013/2014 54
27
14/11/2013
VPN = P(M − / T − ) =
VN
(VN + FN )
S David tchouda / Eval test diag / P2 2013/2014 55
Interprétation VP (1)
les VP impose de ne parler que de la
population concernée.
1,00
VPN augmente
0,80
0,70
diminue et
VPP
0,50
VPN
0,40
inversement 0,30
0,10
0,00
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
Prévalence
S David tchouda / Eval test diag / P2 2013/2014 56
28
14/11/2013
Interprétation VP (2)
Interprétation VP (3)
VPP
A Se égale, la VPP croit avec P(M) et décroit
avec le % de tests positifs (dénom. VPP).
ª A Se égale, la VPP d'un test est donc
d'autant plus forte que la maladie est
fréquente ET le test rarement positif.
VPN
ª A Sp égale, la VPN d'un test sera d'autant
meilleure que la maladie est rare ET que la
positivité du test est fréquente (i.e. test
rarement négatif ).
S David tchouda / Eval test diag / P2 2013/2014 58
29
14/11/2013
Gold standard
30
14/11/2013
effectif
70 PE = no
60 PE = yes
50
40
30
20
10
0
100
200
300
400
500
600
700
800
900
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
>=10000
Seuil ≥ 100 µg/L D-dimer (µg/L)
Pulmonary Embolism
Yes No
D-dimer ≥ 100µg/L 196 470
D-dimer < 100µg/L 0 5
Total 196 475
Se = 1 et Sp = 0.01
31
14/11/2013
effectif
70 PE = no
60 PE = yes
50
40
30
20
10
0
100
200
300
400
500
600
700
800
900
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
>=10000
Seuil ≥ 500 µg/L D-dimer (µg/L)
Pulmonary Embolism
Yes No
D-dimer ≥ 500µg/L 195 278
D-dimer < 500µg/L 1 197
Total 196 475
Se = 0.995 et Sp = 0.414
32
14/11/2013
Courbe ROC
(Receiver Operating Characteristics)
D-dimer ≥ Se Sp
100 100 1.1
200 100 13.7
300 100 24.8
400 99.5 34.9
500 99.5 41.4
600 95.4 49.9
… … …
S David tchouda / Eval test diag / P2 2013/2014 65
Courbe ROC
AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1)
AUC = 0,5 si test non discriminant (courbe ROC =
diagonale)
500 100
1000
1-Sp= FP
95% CI [0.84-0.90]
S David tchouda / Eval test diag / P2 2013/2014 66
33
14/11/2013
Conclusion… pratique
Moyens diagnostiques EP…
Biais / Précautions
d’interprétation
34
14/11/2013
1. Biais de sélection
Î Performance modifiée
Surestimation des propriétés « intrinsèques »
potentielles (i.e. phase symptomatique M)
Sur(sous)estimation des valeurs des VP en
fonction de la prévalence
35
14/11/2013
36
14/11/2013
3. biais de publication
37
14/11/2013
6. Exemple de calcul
Application en santé
Cancer Pas
Étude de cancer
cohorte
Test + 75 30 105
T+ si
dosage > Test - 40 210 250
8,0 mg /0,1 115 240 355
ml
S David tchouda / Eval test diag / P2 2013/2014 76
38
14/11/2013
7. Références
bibliographiques
39
14/11/2013
40