Les principes méthodologiques :

pour quoi faire ?

Michel Cucherat
 Problématique

 Mettre en évidence un effet thérapeutique, sans biais

 Biais

 Biais
– Le résultat observé peut provenir d’une autre cause que le traitement
– Biais = faux positif
• Le résultat est positif (en faveur de l’efficacité du traitement) alors que le
traitement est sans effet

 Essai biaisé
– Il existe un défaut dans la méthodologie ou la réalisation
– qui est susceptible d’entraîner une différence au niveau du critère de
jugement, même en l’absence d’effet du traitement
 Exemple de biais

Ev. cardiovasculaires

Diabétique 15%
6%
Traitement

10%
Diabétique 45%

La différence de fréquence des ev. cardiovasculaires

peut provenir de la différence de pronostic et non pas
de l’effet traitement
 Protection contre les biais

 Les résultats biaisés sont difficiles à identifier

 Protection contre les biais

– empêche par construction la survenue des biais
– principes méthodologiques

 En l’absence de mise en oeuvre de ces principes

– il n’est pas possible de garantir l’absence de biais
 Observation empirique

 Administration du traitement à un patient

 Observation de l'effet
– guérison
– non guérison
 Non utilisable car
– nombreuses maladies non guérissables
– grande variabilité d'évolution entre les patients
 Niveau individuel

 M. A., 59 ans, infarctus inférieur, pas de trouble du rythme,

pas d'insuffisance cardiaque, pas d'ATCD
– décès à la 12ème heure

 M. B., 59 ans, infarctus inférieur, pas de trouble du rythme,

pas d'insuffisance cardiaque, pas d'ATCD
– sorti vivant de l'hôpital

 Grande variabilité d'un sujet à l'autre

 Niveau du groupe

 Groupe 1 : 500 patients nécrose inférieure

– mortalité à 30j = 6.1%

 Groupe 2 : 500 patients nécrose inférieure

– mortalité à 30j = 6.2%

 Peu de variabilité d'un groupe à l'autre

 Série de cas

 Administration puis observation

 Ex : patients présentant un œdème
 Administration d’un AINS
 Effet sur l’œdème à 3j

3j d’AINS
disparition de l’œdème
dans 60% des cas
 Exemple

 Ulcère gastro-duodénal
 Complexes ferro-sodiques
– Série de cas consécutifs : 50% de guérison des poussées
ulcéreuses à 3sem
 Groupe placebo des anti H2 dans l'ulcère : 50% de
guérison spontané
– Importance de la prise en compte de l'évolution spontanée de la
maladie
 Comparaison avant-après

Traitement

Mesure Mesure
avant après

275 mg/dl 225 mg/dl

38.5°C 37.2°C
 Problème

 Évolution naturelle
– guérison (ou aggravation spontané)
 l’évolution naturelle est un facteur de confusion
– l'effet du traitement est confondue avec l'évolution naturelle
 Solution = Étude comparative

 Comparaison à un groupe contrôle

– prise en compte de l'évolution naturelle
– le groupe contrôle donne une référence
– l'effet du traitement est déterminé par comparaison avec cette
référence
 Illustration avec l’évolution naturelle

température

39°C

Évolution
spontanée ?
37°C
Évolution
observée

t
 Le cas avec des événements

1000
patients Traitement durant 5 ans 6 décès
hypertendus

Efficacité du traitement ?
Groupe contrôle donnant le
nombre de décès attendus
chez ces sujets
 Facteurs de confusion - définition

 Définition
– facteur engendrant un effet qui peut être pris pour un effet du
traitement
– l'évolution naturelle peut être confondue avec l'effet du traitement
 Résultat biaisé
– résultat suggérant un effet du traitement
– en l'absence de vrai effet du traitement
– biais de confusion
 Biais supprimé par la comparaison à un groupe
contemporain
 Les facteurs de confusion

 Évolution naturelle
– guérison ou aggravation spontané
 Régression à la moyenne
 Effet placebo
 Facteurs extérieurs
– traitements concomitants
 Régression à la moyenne -1
 Mesure variable
– ex pression artérielle

 Conséquence
– A un moment donné, un sujet peut avoir une valeur
particulièrement élevée par rapport à sa vraie valeur
Régression à la moyenne - 2

Sélection Mesures ultérieures

Seuil
 Effet placebo

 Effet bénéfique du traitement apporté en dehors de tout

effet biologique
 Effet placebo en thérapeutique
– élément positif et utile
– remis en question
 Effet placebo en expérimentation
– élément parasite dont on cherche à se débarrasser
 Effet placebo - visualisation

Anxiolyse
Effet nocebo

Effet placebo
Information
donnée au sujet
Placebo Placebo Actif Actif

Nature Placebo Actif Placebo Actif

 Effet placebo

 Effet secondaire du placebo

(Beecher HK et al.)
– somnolence 50%
– Céphalées 25%
– Condition physique 18%
– Difficultés intellectuelles 15%
– Endormissement 10%

 Effet secondaire sévères

– Malaise vagal
– Signes cutanés
 Effet placebo - conséquence

 Le groupe contrôle doit recevoir un traitement pour

contrôler l'effet placebo
 Utilisation d'un placebo
– même apparence
– même posologie
– indiscernable du traitement actif
 Le placebo aide aussi au maintient de l'aveugle
 Essai comparatif

Critère de jugement
mortalité à 5 ans
Pas de
12 %
traitement

Différence = effet
du traitement

Traitement
10 %
étudié
 Groupes « comparables »
En fait, éviter la sélection de

patients plutôt à bon pronostic
dans un groupe ou l’autre
Allocation aléatoire

même probabilité d’aller dans un groupe ou l’autre pour tous les patients
–
Ne crée pas vraiment des groupes identiques

mais s’il y a non comparabilité, celle-ci est due uniquement au hasard
– donc pris en compte par le test statistique
–
 Importance de la randomisation

 Neuro-stimulation transcutanée
(Carroll, 1996)
 Études non randomisées : 17 20 17
15
études positives sur 19 (89%) 15
 Essais randomisés 2 positifs
parmi 17 (12%) 10

5 2 2

0
Essais Etudes non
randomisés randomisées

Résultat positif Résultat négatif

 Mauvais groupes contrôles

 Contrôles historiques
– crtl historiques ad hoc : avant après
– crtl historiques de la littérature
– par exemple, patients traités l'année dernière
– ces patients ne sont pas comparables à ceux traiter actuellement
• évolution du contexte de soins
• modification du recrutement
– sélection de la littérature

 Contrôle géographique
– patients d'un autre service
 Approche expérimentale /
observationnelle

 Expérimental
– l’expérimentateur attribue les traitements aux sujets
 Observation
– étude de cohorte, exposé-non exposé, cas-témoin
– l’expérimentateur n’a pas le contrôle de l’attribution des traitements
aux sujets
– risque majeur de biais de confusion
– ou de biais de mémorisation (cas témoin)
Exemple : bêta-carotène et
mortalité cardiovasculaire
Angioplastie - Choc cardiogénique
 Imprévisibilité de la
randomisation
 Biais de sélection potentiel
– La nature du prochain traitement est prévisible
– L'inclusion d'un patient peut être retardée jusqu'au moment où il
recevra le traitement souhaité

 Moyens incorrects de randomisation

– jour de la semaine
– numéro de dossier
– etc.
 CAPP
– hypertension, captopril vs traitement standard par diurétique ou
bêta-bloquants
– 10 985 patients suivis en moyenne 6,1 ans
– PA initiale : 166.6/103.6 vs 163.3/101.2 mm Hg, p<0·0001
Validation empirique des marqueurs de qualité
Concealment of allocation
(inadequate or unclear versus adequate)

Schultz 1995 0.66 (0.59 - 0.73)

Moher 1998 0.63 (0.45 - 0.88)

Kjaergard 2000 // 0.60 (0.31 - 1.15)

Jüni 2000 0.79 (0.70 - 0.89)

Combined 0.70 (0.62 - 0.80)

ROR
0.4 0.5 0.6 0.7 0.8 0.9 1 1.2 1.4 1.6 1.8 2
Jüni et al. BMJ 2001;323:42-46
 Allocation centralisée

 Toute inclusion d'un patient doit laissée une trace

 Biais potentiel :
– Identification de la nature du traitement après inclusion
– Le patient est "retiré" de l'étude car le traitement qu'il reçoit ne
satisfait pas l'investigateur ou le traitement est sans effet chez ce
patient
– Aucune trace de l'inclusion de ce patient, seul une boîte de
traitement est manquante
– Explication donnée (et invérifiable) : le traitement a été cassé ou
perdu
– conséquence : exclusion arbitraire d'un patient randomisé
 Maintien de la comparabilité

Grp T

Suivi
Évaluation du critère
Trt concomitant

Grp C

 Les deux groupes doivent être suivis de la même façon

 évalués de façon objective
 double aveugle et placebo
 pas de perdus de vue
 Double insu - simple insu - ouvert

 Double insu
– ni l'investigateur, ni le patient ne connaît la nature réelle du
traitement
– évaluation du critère de jugement en aveugle
– double aveugle
 Simple insu
– l'investigateur connaît le traitement, pas le patient
– simple aveugle
 Ouvert
– le traitement est connu de tous
• p.e. : chirurgie vs traitement médicamenteux
 Biais de mesure - mécanisme

 Prophylaxie des TVP en chirurgie

 Les HBPM sont considérés comme plus efficace que l'HNF
– Subjectivement les TVP sont plus facilement suspectées devant
des signes cliniques avec l'HNF
– Recours à la phlébographie plus facile

Sensibilité Incidence réelle Test positif

HBPM 70% 10% 7%
HNF 90% 10% 9%
Double insu

En ouvert ou en simple insu, il

est possible d'identifier les
patients du groupe traité avec
le traitement étudié et ceux du
groupe contrôle.

En double insu, les patients ne

peuvent se distinguer en fonction
de leur appartenance à un
groupe ou un autre.
 Mise en évidence du biais de suivi
et de mesure
méta-analyse en chirurgie générale : HBPM versus HNF

Mismetti et al. Br J Surg 01;88:913-30

TVP « phlébographiques »
n = 12 698 double aveugle
n = 5 297 ouvert

TVP + EP cliniques
double aveugle
ouvert

en faveur HBPM 0,5 1 en faveur HNF

 Mise en évidence du biais de suivi et
de mesure

 Amiodarone prophylactique
– méta-analyse 19 essais (4 en ouvert)
– effet sur la mortalité totale
– DA 0.96 (0.84-1.10)
– ouvert 0.64 (0.50-0.82)p het = 0.006
 Biais des études en ouvert
 Recherche empirique de biais
– Pour un domaine donné
– comparaison des résultats des essais en ouvert au essai en double
aveugle
– calcul du rapport des odds ratio (ROR)

Jüni P BMJ 2001;323:42-

 Perdus de vue ou données
manquantes

 Critère de jugement indisponible

– les patients arrêtent de se faire suivre par l'investigateur
– impossibilité de les inclure dans l'analyse
 Risque de biais d’attrition
– il y a une relation entre perdus de vue et traitement
• échec du traitement
• effet indésirable du traitement
 Solution
– pas de perdus de vue (0%)
– Analyse en ITT et remplacement des données manquantes
 Biais d'attrition
Nouveau Traitement
traitement standard
Patients randomisés
Effectif randomisé 1000 1000
Fréquence échec 10.0% 10.0%
Échecs thérapeutiques (non rép.) 100 100
Patients analysés
taux d'arrêts chez les répondeurs 13% 2%
taux d'arrêts chez les non
26% 4%
répondeurs
sortie d’étude chez les répondeurs 117 18
sorties d’étude chez les non rép. 26 4
Répondeurs 783 882
non répondeurs 74 96
Effectif 857 978
fréquence échec 8.6% 9.8%
risque relatif 0.88
 ITT, per protocol, traitement reçu

 Analyse en intention de traiter

– intention to treat (ITT)
– Analyse de tous les patients randomisés, dans le groupe où ils
furent randomisés
• quelle que soit leur observance au traitement alloué
• quel que soit le traitement réellement reçu
• quel que soit l'éventuel retrait du patient de l'étude ou d'éventuelle
déviation au protocole
– remplacement des données manquantes
 ITT, per protocol, traitement reçu

 Analyse per protocol

– Analyse uniquement des patients qui ont été traités en pleine
conformité avec le protocole.
– Les inclusions à tort, les patients non observant, les patients traités
avec le traitement de l'autre groupe sont exclus de l'analyse.
 Analyse en traitement reçu
– Les patients sont analysés en fonction de la nature du traitement
qu'ils ont reçu,
– même s'il ne s'agit pas du traitement qui leur fût alloué par la
randomisation
 ITT, per protocol, traitement reçu

Allocation au Allocation au
traitement chirurgical (C) traitement médical (M)

T chirurgical T médical T chirurgical T médical

appliqué appliqué appliqué appliqué
per protocol C - - M

traitement reçu C M C M

intention de traiter C C M M
 Intérêt de l’intention de traiter - 1

 Être représentatif de la réalité

– le diagnostique n'est pas certain au moment où il faut débuter le
traitement
– le traitement est délétère chez les patients ne présentant pas la
maladie
– exclure ces patients entraîne une vue erronée de ce que sera la
réalité

 Empêche la survenue d’un biais d'attrition

 Coronary Drug Projet

– Ttt hypocholestérolémiant vs placebo

– mortalité à 5 ans de patients atteints de coronaropathies.
 Résultats
– groupe hypocholestérolémiant 20% vs 21% (Placebo)
– observants traitement 15% vs placebo 21% p<0.05
– mais chez les observants du groupe placebo M=15%
 Perdus de vue ou données
manquantes

 Critère de jugement indisponible

– les patients arrêtent de se faire suivre par l'investigateur
– impossibilité de les inclure dans l'analyse
 Risque de biais d’attrition

 Solution
– pas de perdus de vue (0%)
– remplacement des données manquantes de manière conservatrice
• biais maximum
• LOCF Last observation carried forward
MMSE