Vous êtes sur la page 1sur 97

Évaluation des méthodes

diagnostiques
Alger: 16.05.2023

Dr: BOUCHALA Ahmed


1
Introduction
Un test peut être:
• Soit la recherche d’un signe clinique
• Soit une technique paraclinique (examen biologique, cliché
d’imagerie…)
• Soit une combinaison de plusieurs signes cliniques et
paracliniques

2
Introduction

Le processus de validation d’un instrument de


mesure repose sur l’évaluation de ces qualités
métrologiques: fiabilité et validité

3
A
Validité:
situation expérimentale (Se, Sp)
situation réelle (VPP, VPN)

4
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire

Résultat quantitatif

5
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire

6
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

Test +
-
7
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP
Test +
-
8
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP
Test +
- FN

9
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP FP
Test +
- FN

10
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP FP
Test +
- FN VN

11
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP FP
Test +
- FN VN

12
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP
Test +
- FN

13
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP
Test +
- FN

Se =
14
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
.
Exemple Résultat binaire
On veut tester la sensibilité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 58
prélèvements , Présente Absente
correspondant à des
individus atteints de façon
VP
certaine. Parmi eux, le test
a été positif dans 54 cas. Test +
- FN

Se =
15
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple Résultat binaire
On veut tester la sensibilité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 58
prélèvements , Présente Absente
correspondant à des
individus atteints de façon
54
certaine. Parmi eux, le test
a été positif dans 54 cas. Test +
- 4

Se =
16
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple Résultat binaire
On veut tester la sensibilité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 58
prélèvements , Présente Absente
correspondant à des
individus atteints de façon
54
certaine. Parmi eux, le test
a été positif dans 54 cas. Test +
- 4

Se = 93,1%
17
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

FP
Test +
- VN

18
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

FP
Test +
- VN

Sp =

19
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple Résultat binaire
On veut tester la spécificité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 125
prélèvements , Présente Absente
correspondant à des
individus indemnes de
FP
façon certaine. Parmi eux,
le test a été négatif dans Test +
114 cas.
- VN

Sp =
20
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple Résultat binaire
On veut tester la spécificité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 125
prélèvements , Présente Absente
correspondant à des
individus indemnes de
11
façon certaine. Parmi eux,
le test a été négatif dans Test +
114 cas.
- 114

Sp =
21
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple Résultat binaire
On veut tester la spécificité
d’un test de dépistage de
l’hépatite virale C. On Maladie
dispose d’un groupe de 125
prélèvements , Présente Absente
correspondant à des
individus indemnes de
11
façon certaine. Parmi eux,
le test a été négatif dans Test +
114 cas.
- 114

Sp = 91,2%
22
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat binaire
Maladie
Présente Absente

VP FP
Test +
- FN VN

Se = Sp =
23
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

24
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

25
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

26
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

1,26 g/l

27
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

1,26 g/l

28
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

29
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

30
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VN

31
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VN VP

32
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VN VP

FN

33
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VN VP

FN FP

34
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FP
+
FN

- FN VN

Se = Sp =

35
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FP
+
-
FN
FN VN

Se = Sp =

36
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FP
+
-
FN
FN VN

Se = Sp =

37
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FP
+
-
FN
FN VN

Se = ↑ Sp = ↓

38
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FN
+
FP

- FN VN

Se = Sp =

39
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Cas Témoins
VN VP

VP FP
FN
+
FP

- FN VN

Se = ↓ Sp = ↑

40
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Sensibilité
ou 100%
Spécificité

41
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Sensibilité
Sensibilité
ou 100%
Spécificité
Spécificité

42
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VP

VN
FP

Sensibilité = 100%
43
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

VN
FN VP

Spécificité = 100%
44
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

Choix d’un seuil?

45
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le dépistage pré-
transfusionnel du VIH dans
les flacons de la banque de
sang, un dépistage
VN VP
faussement négatif
entrainera l’administration
du virus chez un receveur,
FN FP alors qu’un résultat
faussement positif
n’entrainera que le rejet à
tort du flacon

46
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le dépistage pré-
transfusionnel du VIH dans
les flacons de la banque de
sang, un dépistage
VN VP
faussement négatif
entrainera l’administration
du virus chez un receveur,
FN FP alors qu’un résultat
faussement positif
n’entrainera que le rejet à
tort du flacon

47
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le dépistage pré-
transfusionnel du VIH dans
les flacons de la banque de
sang, un dépistage
VN VP
faussement négatif
entrainera l’administration
du virus chez un receveur,
FN FP alors qu’un résultat
faussement positif
n’entrainera que le rejet à
tort du flacon

48
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le dépistage pré-
transfusionnel du VIH dans
les flacons de la banque de
sang, un dépistage faussement
VN VP
. négatif entrainera
l’administration du virus
chez un receveur, alors
FN FP qu’un résultat faussement
positif n’entrainera que le
rejet à tort du flacon

49
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le dépistage pré-
transfusionnel du VIH dans
les flacons de la banque de
sang, un dépistage faussement
VN VP
. négatif entrainera
l’administration du virus
chez un receveur, alors
FP qu’un résultat faussement
FN
positif n’entrainera que le
rejet à tort du flacon
Sensibilité

50
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le diagnostic du
cancer du sein, un
diagnostic faussement
positif entraine des
VN VP
conséquences très lourdes
(mastectomie). A l’inverse,
un faux résultat négatif,
FN FP
pourra être rattrapé
ultérieurement par le suivi.

51
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le diagnostic du
cancer du sein, un
diagnostic faussement
positif entraine des
VN VP
conséquences très lourdes
(mastectomie). A l’inverse,
un faux résultat négatif,
FN FP
pourra être rattrapé
ultérieurement par le suivi.

52
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le diagnostic du
cancer du sein, un
diagnostic faussement
positif entraine des
VN VP
conséquences très lourdes
(mastectomie). A l’inverse,
un faux résultat négatif,
FN FP
pourra être rattrapé
ultérieurement par le suivi.

53
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le diagnostic du
cancer du sein, un
diagnostic faussement
positif entraine des
VN VP
conséquences très lourdes
(mastectomie). A l’inverse,
un faux résultat négatif,
FN FP
pourra être rattrapé
ultérieurement par le suivi.

54
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif Exemple


Dans le diagnostic du
cancer du sein, un
diagnostic faussement
positif entraine des
VN VP
conséquences très lourdes
(mastectomie). A l’inverse,
un faux résultat négatif,
FN
FP
pourra être rattrapé
ultérieurement par le suivi.

Spécificité

55
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif

courbe ROC

56
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif: courbe ROC

• Montre l’évolution de la sensibilité en fonction de taux de


faux positifs (1-Sp) pour tous les seuils possibles

• Permettent de déterminer la valeur la plus discriminante

• L’aire sous la courbe synthétise la capacité discriminante


d’un test

• Les courbes ROC sont utilisées surtout pour comparer


plusieurs tests entre eux 57
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif: courbe ROC

C
e st
T
Sensibilité

stB
Te

A
e st
T

1-Spécificité 1 58
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Résultat quantitatif: courbe ROC

1
stD
Te
C
e st
T
Sensibilité

stB
Te

A
e st
T

1-Spécificité 1 59
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple : courbe ROC.
Performance du test d’IFI dans le dépistage
sérologique du paludisme

Dilutions Cas de paludisme Sujets sains

IFI Se (%) Sp (%)

1/10 100 40

1/20 100 50

1/40 90 80

1/80 80 90

1/160 60 95

1/320 40 99

1/640 10 100

60
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple : courbe ROC.
Performance du test d’IFI dans le dépistage Se (%)
sérologique du paludisme 100
90 1/20 1/10
Dilutions Cas de paludisme Sujets sains 1/40
80
1/80
70
IFI Se (%) Sp (%) 60 1/160
50
1/10 100 40 1/320
40
1/20 100 50 30
20
1/40 90 80
10 1/640
1/80 80 90 0
0 10 20 30 40 50 60 70 80 90 100
1/160 60 95
1-Sp (%)
1/320 40 99

1/640 10 100

61
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple : courbe ROC.
Performance du test d’IFI dans le dépistage Se (%)
sérologique du paludisme 100
90 1/20 1/10
Dilutions Cas de paludisme Sujets sains 1/40
80
1/80
70
IFI Se (%) Sp (%) 60 1/160
50
1/10 100 40 1/320
40
1/20 100 50 30
20
1/40 90 80
10 1/640
1/80 80 90 0
0 10 20 30 40 50 60 70 80 90 100
1/160 60 95
1-Sp (%)
1/320 40 99

1/640 10 100

62
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple : courbe ROC.
Performance du test d’IFI dans le dépistage Se (%)
sérologique du paludisme 100
90 1/20 1/10
Dilutions Cas de paludisme Sujets sains 1/40
80
1/80
70
IFI Se (%) Sp (%) 60 1/160
50
1/10 100 40 1/320
40
1/20 100 50 30
20
1/40 90 80
10 1/640
1/80 80 90 0
0 10 20 30 40 50 60 70 80 90 100
1/160 60 95
1-Sp (%)
1/320 40 99

1/640 10 100

63
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

64
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Si le test est positif quelle est la probabilité d’être


effectivement malade?

Si le test est négatif, quelle est la probabilité d’être


effectivement sain?

65
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

La valeur prédictive positive ou négative dépend à la fois:


• Des qualités intrinsèques du test (Se et Sp)
• De la prévalence de la maladie considérée

VPP=

VPN =

66
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 67
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 68
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 69
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 70
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 71
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 Prévalence % 100 72
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Un radiologue spécialisé en mammographie dépiste une
proportion de 20% de femmes atteintes de cancers de sein.
L’examen mammographique qu’il utilise a une sensibilité de
98% et une spécificité de 90%.
Quelles sont les valeurs prédictifs de ce test?

73
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Un radiologue spécialisé en mammographie dépiste une
proportion de 20% de femmes atteintes de cancers de sein.
L’examen mammographique qu’il utilise a une sensibilité de
98% et une spécificité de 90%.
Quelles sont les valeurs prédictifs de ce test?

VPP=

VPN =
74
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Un radiologue spécialisé en mammographie dépiste une
proportion de 20% de femmes atteintes de cancers de sein.
L’examen mammographique qu’il utilise a une sensibilité de
98% et une spécificité de 90%.
Quelles sont les valeurs prédictifs de ce test?

VPP= 71,0%
VPN= 99,4%

75
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Ce radiologue décide de consacrer son installation
exclusivement au programme de dépistage systématique du
cancer du sein. La prévalence de cette affection est de 1%
dans la population cible de ce programme. Sachant que
l’examen mammographique est strictement identique à la
situation précédente, les valeurs prédictives du test ont-elles
changé?

76
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 20 Prévalence % 100 77
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 1 20 Prévalence % 100 78
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)

Variation en fonction de la prévalence

%
100 -

-
-
-
- VPP VPN
-
-
-
-
-
-
-

-
0 1 20 Prévalence % 100 79
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:

VPP=9,0% (71,0%)
VPN=99,9% (99,4%)

80
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:

Que doit faire le radiologue afin d’améliorer la VPP de son


test?

81
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Afin d’améliorer la VPP de son test, le radiologue décide
d’acheter un nouvel appareillage, fournissant une spécificité
de 95% (au lieu de 90%) avec la même sensibilité.
Quelle est l’amélioration de la VPP?

82
A
A.
Validité
situation expérimentale (Se, Sp) situation réelle (VPP, VPN)
Exemple:
Afin d’améliorer la VPP de son test, le radiologue décide
d’acheter un nouvel appareillage, fournissant une spécificité
de 95% (au lieu de 90%) avec la même sensibilité.
Quelle est l’amélioration de la VPP?

VPP=16,5%

83
B
Fiabilité
(reproductibilité et concordance)

84
B Fiabilité
(reproductibilité et concordance)

Un test doit être reproductible d’une séance de travail


à l’autre, ou concordant d’un expérimentateur à
l’autre.

85
B Fiabilité
(reproductibilité et concordance)

Les indicateurs de la fiabilité

• Coefficient kappa

• Coefficient de corrélation intra-classe

86
B Fiabilité
(reproductibilité et concordance)

Les indicateurs de la fiabilité

• Coefficient kappa

• Coefficient de corrélation intra-classe

87
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa

A
négatif positif
négatif -- -+
B
positif +- ++

88
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa

A
négatif positif
négatif -- -+
B
positif +- ++

Cc=
Ca=

89
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa

A
négatif positif
K=
négatif -- -+
B
positif +- ++

Cc=
Ca=

90
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50
N°2
M- 9 75 84
Total 41 93 134

91
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50 K=
N°2
M- 9 75 84
Total 41 93 134

92
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50 K=
N°2
M- 9 75 84
Total 41 93 134

Cc=
Ca=

93
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50 K=
N°2
M- 9 75 84
Total 41 93 134

Cc= = 0,799
Ca= = = 0,549

94
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50 K=
N°2
M- 9 75 84
Total 41 93 134

Cc= = 0,799
Ca= = = 0,549

95
B Fiabilité
(reproductibilité et concordance)
Coefficient kappa
Exemple
N°1 Total
M+ M-
M+ 32 18 50
N°2
M- 9 75 84 K = 0,544
Total 41 93 134

96
Conclusion
Conclusion

Le choix d’un examen complémentaire doit tenir


compte:

1. Des qualités métrologiques de l’examen:


• Fiabilité et validité de l’examen
• Contexte de dépistage ou confirmation de diagnostique

2. Mais aussi du:


• Risque
• Acceptabilité
• Coût
97

Vous aimerez peut-être aussi