DÉFI MÉTHODOLOGIQUE : CALCUL

DE TAILLE D’ÉCHANTILLON EN
L'ABSENCE DE DONNÉES
PRÉLIMINAIRES

Présentateurs : Philippe Willems & Kenan Bachour

Évaluateurs : Dr François Madore & Dre Soren
Harnois-Leblanc

MSO 6618 - Séminaire de recherche clinique appliquée - 8 juin 2022

 PLAN

1. Présentation du défi méthodologique

2. Comment et pourquoi cet aspect méthodologique représente-il un défi?
3. Démystifier les types d'études préliminaires
1. Étude proof-of-concept
2. Étude pilote
3. Devis adaptatif
4. Conclusion
 1. PRÉSENTATION DU DÉFI
MÉTHODOLOGIQUE

• Calcul de taille d’échantillon repose sur 4 éléments:

• α : erreur de type I (bilatéral)
 β : erreur de type II (1-β = puissance)
 Δ : différence clinique minimale
 σ : magnitude de la variabilité de l’issue principale (ex. écart-type dans le cas
d’une mesure continue)
 +/- pertes au suivi
 +/- adhérence au traitement
 1. PRÉSENTATION DU DÉFI
MÉTHODOLOGIQUE

α : choix préalable des auteurs (généralement 5%)

β : choix préalable des auteurs (généralement 80%)
Δ : généralement un concensus d'expert ou exigences des autorités (FDA)
σ : Estimation à partir des données antérieures de la littérature
+/- pertes au suivi (meilleure estimation par les auteurs)
+/- adhérence au traitement (meilleure estimation par les auteurs)

Comment faire pour choisir la taille d’échantillon en l'absence de données fiables ?

 2. POURQUOI EST-CE UN DÉFI ?

• Une étude doit utiliser le nombre minimum de patients pour répondre à sa question
 Échantillon trop petit
o manque de puissance
o Inconcluante et non éthique
 Échantillon trop grand
o Gaspillage des ressources
o Patients exposés sans raison à un traitement moins efficace

Toutes les interventions commencent cependant sans données préalables sur leur efficacité.....
On effectue donc généralement une étude préliminaire
 3. DEVIS EXISTANTS POUR RÉPONDRE
À CE PROBLÈME

3 devis ont été utilisé dans la littérature pour répondre à cette question

1. Le proof-of-concept trial
2. L'étude pilote
3. Le devis adaptatif
PROOF-OF-CONCEPT TRIAL
 PROOF-OF-CONCEPT TRIAL

• Les "Proof-of-concept trial" sont des études qui visent à déterminer la plausibilité biologique d'une
intervention en cherchant des surrogate marker de l'intervention
• La hausse/baisse d'un biomarqueur
• Efficacité clinique précoce

• Sert souvent d'intermédiaire entre la recherche animale et la recherche chez l'humain

• Sur un petit nombre de patients avec un calcul de puissance approximatif
• Permet également d'accumuler des données sur les effets secondaires de l'intervention
• Mesure de fonction
pulmonaire
• QOL
• NO exhalé
• Plethysmographie
 Forces:
• Teste la plausibilité biologique d'un traitement
• Permet aux auteurs de mieux comprendre
comment conceptualiser une étude plus vaste
pour démontrer l'effet

PROOF-OF- Faiblesses:
CONCEPT TRIAL • Design différent de l'étude finale
• End-points différents
• Donne un estimé irréaliste de la DCM et de la
variabilité et devrait seulement guider
grossièrement le calcul de la taille d'échantillon
ÉTUDE PILOTE
 DÉFINITION : ÉTUDE PILOTE

Étude pilote
• Étude préliminaire à petite échelle menée afin de déterminer la faisabilité, le coût, les risques avant de mener
un projet similaire à plus grande échelle
• Buts : faisabilité de l’étude principale
 Évaluer les critères d’inclusions et d’exclusions
 Évaluer les méthodes de recrutement
 Évaluer le respect du protocole par les cliniciens et les patients
 Vérifier les procédures de collecte de données ainsi que la qualité des données
 Fournir des estimations de l'effet et de la variation qui peuvent servir à calculer la taille de l'échantillon d'études
plus importantes
 Calculer le budget pour des demandes de fonds
 EXEMPLE

• Étude pilote pour savoir si une grosse étude sur l'anesthésie épidurale au Canada en post-
opératoire est réaliste

• Cibles:
• Recrutement d'un patient par semaine par site
• 70% des patients éligibles sont recrutés
• Pas plus de 5% de cross-over entre les modalités
• FU dans au moins 95% des sujets

• Seulement le critère de perte aux suivis a été respecté

 TAILLE D'UNE ÉTUDE PILOTE

• Pas de concensus clair sur la taille d’échantillon (pour estimer les paramètres) :

Hertzog (2008) : pas

Cooper & Saunder Cocks (2013) : au Connelly (2008) : 10%
de concensus vu le
(2016) : entre 25 et moins 9% de la taille de l'échantillon prévu
nombre facteurs à
100 participants de l’étude prinicipale pour l'étude principale
prendre en compte

Hill (1998) : 10 à 30
Julious (2005) & van Isaac & Michael Treece (1982) : 10%
participants pour les
Belle (2002) : 12 (1995) : 10 à 30 de la taille de
études pilotes dans la
participants par groupe participants l'échantillon du projet
recherche par sondage
EXEMPLES DE CALCUL DE
TAILLE D’ÉCHANTILLON
 VIECHTBAUER ET AL. (2015)

• Une étude pilote évalue avant tout la faisabilité

• Taille d’échantillon calculée pour pouvoir détecter avec assurance la survenue
d'un problème ou d'un évènement

Viechtbauer W, Smits L, Kotz D, et al. A simple formula for the calculation of sample size in pilot studies. J Clin Epidemiol. 2015;68(11):1375-1379. doi:10.1016/j.jclinepi.2015.04.014
 VIECHTBAUER ET AL. (2015)

• La taille de l'échantillon déterminée dépend :

• le niveau de confiance de détecter un problème particulier
• la probabilité réelle que le problème se manifeste chez un participant
potentiel à l'étude
VIECHTBAUER ET AL. (2015)

• On fixe une probabilité clinique

arbitraire pour ce que l'on veut
détecter

• Plus l'évènement est fréquent, plus

notre puissance augmentera pour la
même taille d'échantillon

• Exemple: pour détecter un effet de

10%, on a besoin de 29 participants
pour un seuil alpha de 5%
 EXEMPLE : CALCUL DE LA TAILLE
D'ÉCHANTILLON

• On utilise les données obtenues dans cette étude pilote pour calculer l'échantillon
nécessaire dans l'étude finale
• Il faut faire attention car les études pilotes permettent seulement de détecter un effet
et non pas de bien l'évaluer
• La variabilité de l'effet n'est donc pas fiable
• Lors du calcul de la taille d'échantillon pour l'étude finale il vaut mieux faire des
calculs de sensibilité pour différentes variabilités
• On peut alors crée une table avec différents estimés d'échantillon et choisir en
fonction des autres paramètres
• Budget
• Avis d'expert
• Niveau de confiance en l'étude pilote
 COCKS ET AL. (2013)

Cocks K, Torgerson DJ. Sample size calculations for pilot randomized trials: a confidence interval approach. J Clin Epidemiol. 2013;66(2):197-201. doi:10.1016/j.jclinepi.2012.09.002
 COCKS ET AL. (2013)

• Suggère qu’il faut faire un calcul de taille d’échantillon et non pas seulement se
baser sur des tailles fixes
• Surtout utile lorsqu’on a une idée de l’effet attendu dans un ECR
• Approche alternative : le calcul de la taille de l'échantillon est déterminé par
des critères objectifs par la taille d'échantillon proposée pour l'essai principal
en utilisant une approche par intervalle de confiance (IC) plutôt que d'utiliser la
méthode plus habituelle de puissance et de signification statistique
 COCKS ET AL. (2013)

• Identifier une taille d'échantillon suffisante pour que si la différence observée entre les
deux groupes de l’essai pilote est nulle, alors la limite supérieure de l’intervalle de
confiance exclura l’effet qui serait considérée comme ''cliniquement significatif'' dans
l’étude principale
• Cela donnerait une base statistique pour le calcul de la taille de l'échantillon
• Taille d'échantillon sera assez grande pour décider de passer ou non à un essai de plus
grande envergure
• Toutefois, sans trop augmenter la taille vu cela augmente le coût, le temps nécessaire à
la conduite du pilote, et le risque d'exposer un plus grand nombre de patients soient
exposés à un traitement inefficace.
• Proposent un intervalle de confiance unilatéral de 80 % pour la prise de décision
concernant l'essai principal
• Au moins 9% de la taille de l’essai principal
COCKS ET AL. (2013)
 COCKS ET AL. (2013)

Exemple :
• Pour les lombalgies, on utilise le questionnaire de Roland and Morris
• Supposons que nous voulions d'évaluer une intervention peu coûteuse de telle
sorte qu'une modeste modeste de 1 point est considérée comme valable (c'est-à-
dire une différence de 0.25 d'écart type)
• On voit sur le tableau que cela donne environ 504 participants (pour une
puissance de 80% et un alpha bilatéral de 5%)
• Si l’on cherche à calculer la taille avec un IC de 80% dont la limite supérieure
exclut le SD = 0.25, on obtient environ 46 participants (environ 9% de la
population totale)
• Si on fait l’étude pilote et on note un SD > 0, alors on peut procéder à l’étude
suivante (l’étude principale)
 Forces:
• Aide à déterminer la faisabilité d’une étude
• Aide à déterminer la taille d’échantillon de
l’étude primaire par estimation de l’effet attendu
• Possibilité de faire partie de l’étude primaire
(voir section suivante : étude pilote interne)

ÉTUDE PILOTE Faiblesses:

• Faire attention aux estimations de l’effet et de la
variabilité due à la petite taille d’échantillon 
peut entrainer des faux calculs de puissance
• Tendance à mettre l’emphase sur la signification
statistique et non la faisabilité
• Financement plus difficile
DEVIS ADAPTATIVE (ÉTUDE
PILOTE INTERNE)
 DÉFINITION : DEVIS ADAPTATIF

Devis adaptatif : étude qui permet des changements dans le design ou dans les analyses statistiques en
cours de route dans le but d'augmenter la probabilité de succès de l'étude

• Adptation prospective: cesser une étude pour futilité lors d'une analyse interimaire
• Concurrente: changer les critères d'inclusion, choisir un endpoint primaire, abandonner un bras de
traitement, etc
• Retrospective: choisir le plan d'analyse en fonction des données disponibles

Il faut définir d'avance quelles sont les adaptations prévues, selon quels seuils et à quel moment dans
l'étude
 DÉFINITION : ÉTUDE PILOTE INTERNE

Étude pilote interne

• Conceptualisé par Wittes et Brittain (1990)
• Devis adaptatif qui se concentre sur un recalcul de puissance après une phase qu'on appelle pilote du
protocole
• Procédure en trois temps consistant en un calcul initial de la taille de l'échantillon, une révision de la
taille de l'échantillon et une analyse finale
• Les analyses finales des résultats intègrent toutes les données, sans tenir compte du fait qu'une partie
des données provenait de la phase pilote
• Comparaison de deux traitements pour
réduire le risque les évènements
ischémiques après une angiographie

• Effet de l'intervention incertain: les

auteurs ont créé trois zones en fonction
des données des 7630 premiers patients
 ÉTUDE PILOTE INTERNE: FORCES

• Permet un recalcul de puissance en cours d'étude et évite de finir l'étude en manquant

de puissance
• Permet l'arrêt de l'étude pour futilité
• Permet de sauver des ressources et du temps pour l'équipe de recherche
• Permet d'inclure les patients de la portion pilote dans l'étude globale
 ÉTUDE PILOTE INTERNE: FAIBLESSES

• On ne peut pas partir de 0: il faut des estimations de la taille de l'effet pour

faire des balises à priori pour le recalcul de l'échantillon
• Demande une équipe de statisticiens formés dans la question
• Plus on fait d'adaptations et plus on introduit de l'hétérogéneité dans l'étude
• Ce devis ne sert pas à évaluer la faisabilité de l'étude: fait partie de l'étude
finale
 CONCLUSION

• La taille d’une étude préliminaire est un défi méthodologique important

• Un estimé précis de la taille d'échantillon est nécessaire dans les études cliniques
• On suggère de d'abord mener une étude préliminaire en absence de données probantes
robustes
• Bien que plusieurs études ont suggérés des tailles différentes, il n’y a pas de concensus quant
à la taille idéale d'une étude pilote
• Des études pilotes internes sont intéressantes à inclure dans des ECR puisqu’elles permettent
de recalculer la taille d’échantillon mi-étude
 RÉFÉRENCES

1. Charles P, Giraudeau B, Dechartres A, et al. Reporting of sample size calculation in randomised controlled trials: review. BMJ 2009;338:b1732.
2. Brasher PMA, Brant FB. Sample size calculations in randomized trials: common pitfalls. Can J Anesth 2007;54:103-6.
3. Julious, Steven A. "Sample size of 12 per group rule of thumb for a pilot study." Pharmaceutical Statistics: The Journal of Applied Statistics in the Pharmaceutical
Industry 4.4 (2005): 287-291.
4. Connelly, L. M. (2008). Pilot studies. Medsurg Nursing, 17(6), 411-2.
5. Hertzog, M.A. (2008). Considerations in determining sample size for pilot studies. Research in Nursing & Health, 31,180-191.
6. Hill, R. (1998). What sample size is “enough” in internet survey research? Interpersonal Computing and Technology: An Electronic Journal for the 21st Century, 6(3-4).
7. Isaac, S., & Michael, W. B. (1995). Handbook in research and evaluation. San Diego, CA: Educational and Industrial Testing Services.
8. Treece, E. W., & Treece, J. W. (1982). Elements of research in nursing (3rd ed.). St. Louis, MO:Mosby.
9. van Belle, G. (2002). Statistical rules of thumb. New York: John Wiley.
10. In, Junyong. "Introduction of a pilot study." Korean journal of anesthesiology 70.6 (2017): 601.
11. Wittes J, Brittain E. The role of internal pilot studies in increasing the efficiency of clinical trials. Stat Med. 1990;9(1-2):65-72. doi:10.1002/sim.4780090113
12. Whitehead AL, Julious SA, Cooper CL, Campbell MJ. Estimating the sample size for a pilot randomised trial to minimise the overall trial sample size for the external
pilot and main trial for a continuous outcome variable. Stat Methods Med Res. 2016;25(3):1057-1073. doi:10.1177/0962280215588241
13. Viechtbauer W, Smits L, Kotz D, et al. A simple formula for the calculation of sample size in pilot studies. J Clin Epidemiol. 2015;68(11):1375-1379.
doi:10.1016/j.jclinepi.2015.04.014
14. Vaduganathan M, Harrington RA, Stone GW, Steg PG, Gibson CM, Hamm CW, et al. Variation in Patient Profiles and Outcomes in US and Non-US Subgroups of the
Cangrelor Versus Standard Therapy to Achieve Optimal Management of Platelet Inhibition (CHAMPION) PHOENIX Trial. Circ Cardiovasc Interv. 2016;9(6).
15. Choi PT, Beattie WS, Bryson GL, Paul JE, Yang H. Effects of neuraxial blockade may be difficult to study using large randomized controlled trials: the PeriOperative
Epidural Trial (POET) Pilot Study. PLoS One. 2009;4(2):e4644.