Vous êtes sur la page 1sur 52

La mta-analyse pour dmontrer

un effet qui ntait pas lobjet des


essais
Michel Cucherat, Mai 2011
UMR CNRS 5558, Lyon
Circonstance typique
n
MA sur les vnements cliniques
n
partir dessai sur des critres intermdiaires

n
Btabloquants et angor stable
Essais sur preuve deffort
Recherche dun effet sur les vnements
cardiovasculaires

n
Question fondamentale sous jacente
Peut on dmontrer un effet partir dessais qui
ntaient pas fait pour cela

Pourquoi cette question


n
Dans de nombreux cas, adoption prmature dun
traitement sur la base des essais sur critres
intermdiaires
n
La ralisation dessais de validation sur les ev.
cliniques nest jamais faites
surtout en dehors du mdicament
mdicaments orphelins ou anciens : absence de
sponsors industriels

n
Exemple
Angor
Oxygnothrapie
Diabte

Intrt de la mta-analyse dans cette


situation
n
Gain de puissance
Les essais raliss sont de petite taille car raliss sur
critres intermdiaires

n
Dmarche rtrospective
Optimisation des essais dj raliss
conomie de moyen et de temps

n
Palier labsence dessais ad hoc

Problmes / limites dune mta-


analyse seule concluante
n
Rupture de la dmarche hypothtico dductive
n
Rcupration des vnements indsirables comme
critre de jugement
n
Possibilit dune pche la ligne
n
Biais de publication
n
n
Htrognit clinique des essais (traitement,
patient)
n
n
1) Rupture dmarche hypothtico-
dductive
n
Totale si
Leffet recherch dans la MA est compltement
nouveaux
non li a lhypothse thrapeutique sous-jacente
initiale
Par exemple : biphosphonate et mtastase osseuse

n
Partielle
Si les vnements cliniques sont une consquence
logique de lhypothse thrapeutique
par exemple : fractures ostoporotiques partir
dessais dosto-densitomtrie

Tn!rcduc!!cn
l!!drcnu!c cr !rcu!!n und nrcvcn!!n ncs!mcncnuusu! cs!ccncrcs!s
, , . Crunncv \ "c!ch \ \duch! c! u!
, Os!ccncrcs!s Tn!crnu!!cnu! ?OO!
2) Recueil des vnements critre de
jugement
n
Il sagit souvent dvnements recueillis dans les
essais comme vnements indsirables
Pas de dtection systmatique
Recueil bas sur la dclaration des investigateurs
Pas dadjudication
Parfois recherche compltement post hoc (reprise des
dossiers)
Attrition possible

n
Critres adjudiqus avec dfinition
Pas de rserve mthodologique sur laspect
mtrologique

n
Dans tous les autres cas
Rserve sur laspect mtrologique
3) Multiplicit, Pche la ligne
n
Datamining
n
Pas dhypothse pralable
Ou faible, implicite
n
Par exemple dans un processus de recherche de
facteurs de diffrentiation
n
Processus intensif de recherche deffet
Pas forcment limit lindustriel
Peut tre ralis de faon diffuse par la communaut
la recherche de sujets de publication

On peut imaginer chaque industriel conduire ce


processus ainsi que plusieurs quipes acadmiques
En moyenne 20-200 critres defficacit ou de safety /
domaine
n
Homognit
n
Avec des petits essais : prsence dhtrognit
=> absence de rsultats significatifs
n
Donc la pche ligne avec comme critre de choix
signification de la mta-analyse ne rcupre que
des situations homognes
n
Donc lhomognit ne rajoute rien
Limites des mta-analyse seule
concluante :
4) le biais de publication

Les essais positifs sont plus facilement publis


que les ngatifs
Diffrence
significative
Diffrence
significative
Diffrence
non-significative
Diffrence
non-significative
Publication
Publication
- Mc!u
unu!vsc
ncs!!!vc
- Mc!u
unu!vsc
ncu!!vc
Biais de publication
n
Un essai peut tre positif tort (risque alpha)
n
Exemple d'un traitement sans efficacit
n
Risque alpha = 5%

Essais raliss Essais


publis

E. positifs 5 5

E. ngatifs 95 0
Biais de publication (2)
n
Influence de la significativit des rsultats sur la
publication

Easterbrook et al., Lancet 1991

285 tudes soumises au comit d'thique d'Oxford


Biais de publication
valuation
n
valuation de l'influence de la signification des
rsultats sur l'acceptation d'un manuscrit
Biais de publication
n
Amplifier avec les MA annexes
n
La probabilit quun critre annexes (secondaires,
tertiaires, post hoc) soit rapport dans la
publication dun essai est dautant plus forte
quun effet intressant/surprenant est observ
Amplifie le phnomne de pche la ligne

n
Consquence pour la mta-analyse
Documentation/recherche du biais de publication
critre par critre
(de mme pour biais de mesure)
Une homognit est-elle
rassurante ?
n
Une forte homognit est telle un facteur de
fiabilit

n
Non car elle peut tre produite par un biais de
publication critre dpendant
La publication slectionne des rsultats allant tous
dans le mme sens
Donc apparente homognit par slection
Funnel plot - sans biais de publication
O
!OO
?OO
8OO
4OO
5OO
- . O O4 - . O O? O . O O? . O O4
Tu!!!c dc !`cc! !ru!!cm cn!
l

c
c
!
!

Funnel plot - avec biais de publication


O
!OO
?OO
8OO
4OO
5OO
- . O O4 - . O O? O . O O? . O O4
Tu!!!c dc !`cc! !ru!!cm cn!
l

c
c
!
!

lunnc!n!c! c rundcm !scd ccn!rc!!cd !r!u!s ccm nur!n


- - !cn!cu!ncn s!crc!du!un!!!n!um m u!crv drus !!h n!uccbc
( = . ) usvmmc!rv l O O4
, , , . - J!nv!n l!n " c!vu / hun \ dr!un Jcncs M !chuc!D chcr!v l!cucv c !cn!cu!ncn
- : - s!crc!du!un!!!n!um m u!crv drus !n !hc !rcu!m cn! c cs!ccur!hr!!!s m c!u unu!vs!s
. , : . / . . . ( c rundcm !scd ccn!rc!!cd !r!u!s l M J dc!!O !!8G bm (88!5O G8OO?8 C nub!!shcd
) 8O Ju!v ?OO4
Test simple du biais de publication
n
Log (OR) = a +b *precision
n
n
si FP symtrique
b = 0
a = Log(OR commun)

n
si FP asymtrique
b <> 0
Lorigine de la controverse
. lcrzuk S \nn Tn!crn Mcd !OO5
Tnurc!us
Funnel plot des rsultats concordants
lcr M lMJ !OOG
Funnel plot des rsultats discordants
lcr M lMJ !OOG
- - \ mc!u unu!vs!s c !hc un!c!cns!n ccnvcr!!n cnzvmc cnc
nc!vmcrnh!sm und rcs!cncs!s u!cr ncrcu!unccus !runs!um!nu!
: . ccrcnurv rcvuscu!ur!zu!!cn lv!dcncc cr nub!!cu!!cn b!us
Willem R. P. Agema, MD^J. Wouter Jukema, MD, PhD, FESC, FACC,-*^ Aeiiko H. Zwinderman, PhD,1' and E. E. van der
Wall, MD, PhD, FESC, FACC'1'" Leiden and Utrecht, The Netherlands
Am Heart J 2002; 144:760-8.
Une confirmation par une autre MA
est-elle rassurante ?
n
Non
n
Car les mta ne sont pas des rplications
indpendantes en probabilit
Mmes essais
n
De plus le critre de slection de la pche la ligne
est le mme pour tous : MA significative
n
Donc sil y a un artefact pour une combinaison
particulire critre/essai , tout le monde qui la
cherchera la trouvera !

Limite de linterprtation de ces MA


comme rsultat exploratoire
n
Le traitement a sa place dans la stratgie
thrapeutique pour une dmonstration de son
efficacit sur un critre de jugement A
Par exemple rduction des hospitalisations dans
linsuffisance cardiaque
n
La mta-analyse montre un effet du traitement sur
le critre B
Exemple : rduction de la mortalit
Pas dessai dmontrant cet effet par lui-mme
Donc absence de dmonstration, rsultat exploratoire
ou supportif
n
Place de ce rsultat exploratoire comme avantage
concurrentiel ?
Danger = artefact et pche la ligne
Solution possible: MA en rseau

Solution : la mta-analyse
prospective
n
Mta-analyse prospective
Prvue avant la ralisation des essais
Noyau commun dans les protocoles
n
Intrts
Plus facile mettre en place que de grands essais
collaboratifs
Permet denvisager des populations diffrentes
Contrle du biais de publication
Exemple de CHARM
n
Programme dvaluation du candesartan
3 essais versus placebo
Insuffisance cardiaque stade NYHA 2-4
Critre principal : dcs CV + hospitalisation
n
3 populations
CHARM added : 2548 patients avec FE<40% et IEC
CHARM alternative : 2028 patients FE<40% intolrants
aux IEC
CHARM preserved : 3025 patients FE>40%
Chaque essai : puissance de 80% pour une rduction
de 15% du critre jugement
n
CHARM overall
MA prospective
Critre : mortalit totale

luncc! ?OO8
CHARM overall - rsultat
Difficults dinterprtation
n
Si CHARM overall avait t un grand essai incluant les 3 types
de patients

ce rsultat aurait t celui dune analyse en sous groupe


sans interaction

n
Problme spcifique dinterprtation
Discordances entre les conclusions
des essais individuels
et de la MA prospective
Provient
Les essais ont une valeur confirmatoire
Le critre de la MA est plus cliniquement important que ceux
des essais

n
Ncessit de travailler sur lhtrognit
Prsence dun essai ayant eu le mme
objectif mais non concluant
n
Respect complet de la dmarche hypothtico
dductive

n
Fait hypothse manque de puissance de lessai
pivot

n
MA ralise
Pour gagner en puissance
Tester la cohrence externe

n
Si MA concluant
Situation : seule la MA montre leffet n v u
pr uv non opt mum

s un utr ss s r t l
r l s ?

Dcision
n
Mta-analyse seule concluante
Critre de jugement 1
er
ou 2
nd
des essais

Critre de jugement ancillaire des tudes

Au total
n
La mta-analyse comme seule preuve peut tre
accepte ssi
Impossibilit de faire / refaire un/des essais
Pas de rupture de la dmarche hypothetico dductive
Le critre de la MA est un critre 2
nd
des essais
adjudiqu
Pas de biais de publication sur le critre considr
Pas de pche la ligne, donc MA prospective

La MA nest pas une mta ramasse miette, il ny a pas


dhtrognit statistique, etc...