DÉFI MÉTHODOLOGIQUE : CALCUL

DE TAILLE D’ÉCHANTILLON EN
L'ABSENCE DE DONNÉES
PRÉLIMINAIRES

Présentateurs : Philippe Willems & Kenan Bachour

Évaluateurs : Dr François Madore & Dre Soren Harnois-Leblanc

MSO 6618 - Séminaire de recherche clinique appliquée - 8 juin 2022

 PLAN

1. Présentation du défi méthodologique

2. Comment et pourquoi cet aspect méthodologique représente-il un défi?
3. Démystifier les types d'études préliminaires
1. Étude proof-of-concept
2. Étude pilote
3. Devis adaptatif (étude pilote interne)
4. Conclusion
 1. PRÉSENTATION DU DÉFI
MÉTHODOLOGIQUE

• Calcul de taille d’échantillon repose sur 4 éléments :

• α : erreur de type I (bilatéral)
 β : erreur de type II (1-β = puissance)
 Δ : différence clinique minimale (DCM)
 σ : magnitude de la variabilité de l’issue principale (ex. écart-type dans le
cas d’une mesure continue)
 +/- pertes au suivi
 +/- adhérence au traitement
 1. PRÉSENTATION DU DÉFI
MÉTHODOLOGIQUE

α : choix préalable des auteurs (généralement 5%)

β : choix préalable des auteurs (généralement 80%)
Δ : généralement un consensus d'expert ou exigences des autorités (FDA)
σ : estimation à partir des données antérieures de la littérature
+/- pertes au suivi (meilleure estimation par les auteurs)
+/- adhérence au traitement (meilleure estimation par les auteurs)

Comment faire pour choisir la taille d’échantillon en l'absence de données fiables ?

 2. POURQUOI EST-CE UN DÉFI ?

• Une étude doit utiliser le nombre minimum de patients pour répondre à sa question
 Échantillon trop petit
o Manque de puissance
o Inconcluante et non éthique
 Échantillon trop grand
o Gaspillage des ressources
o Patients exposés sans raison à un traitement moins efficace

Toutes les interventions commencent cependant sans données préalables sur leur efficacité...
 3. DEVIS EXISTANTS POUR RÉPONDRE
À CE PROBLÈME

3 devis ont été utilisés dans la littérature pour répondre à cette question

1. Le proof-of-concept trial
2. L'étude pilote
3. Le devis adaptatif
PROOF-OF-CONCEPT TRIAL
 PROOF-OF-CONCEPT TRIAL

• Les "proof-of-concept trials" sont des études qui visent à déterminer la plausibilité biologique d'une
intervention à travers des marqueurs de substitution
o Hausse/baisse d'un biomarqueur
o Efficacité clinique précoce

• Sert souvent d'intermédiaire entre la recherche animale et la recherche chez l'humain

• Sur un petit nombre de patients avec un calcul de puissance approximatif
• Permet également d'accumuler des données sur les effets secondaires de l'intervention
• Mesure de fonction
pulmonaire
• QOL
• NO exhalé
• Pléthysmographie
• “A total 16 completed patients were required to achieve 80% power to detect a 15% difference in
FEV1 between treatments in this cross-over study”

• N = 26 au début de l’étude
• 18 participants ont complété l’étude
 Forces:
• Teste la plausibilité biologique d'un traitement
• Permet aux auteurs de mieux comprendre
comment conceptualiser une étude plus vaste

Faiblesses:
PROOF-OF-
• Design différent de l'étude finale
CONCEPT TRIAL
• End-points différents
• Donne un estimé irréaliste de la DCM et de la
variabilité et devrait seulement guider
grossièrement le calcul de la taille d'échantillon
ÉTUDE PILOTE
 DÉFINITION : ÉTUDE PILOTE

Étude pilote
• Étude préliminaire à petite échelle menée afin de déterminer la faisabilité, le coût, les risques avant de mener
un projet similaire à plus grande échelle
• Buts : faisabilité de l’étude principale
 Évaluer les critères d’inclusions et d’exclusions
 Évaluer les méthodes de recrutement
 Évaluer le respect du protocole par les cliniciens et les patients
 Vérifier les procédures de collecte de données ainsi que la qualité des données
 Fournir des estimations de l'effet et de la variation qui peuvent servir à calculer la taille de l'échantillon d'études
plus importantes
 Calculer le budget pour des demandes de fonds
 EXEMPLE

• Étude pilote pour savoir si une grosse étude sur l'anesthésie épidurale au Canada en post-
opératoire est réaliste

• Cibles:
• Recrutement d'un patient par semaine par site
• 70% des patients éligibles sont recrutés
• Pas plus de 5% de cross-over entre les modalités
• Suivi d'au moins 95% des sujets

• Résultat : Seulement le critère de suivi a été respecté à la fin de l’étude

• Conclusion : Étude multicentrique ne serait probablement pas faisable
 TAILLE D'UNE ÉTUDE PILOTE

• Pas de consensus clair sur la taille d’échantillon (pour estimer les paramètres) :

Hertzog (2008) : pas

Cooper & Saunder Cocks (2013) : au Connelly (2008) : 10%
de concensus vu le
(2016) : entre 25 et moins 9% de la taille de l'échantillon prévu
nombre facteurs à
100 participants de l’étude prinicipale pour l'étude principale
prendre en compte

Hill (1998) : 10 à 30
Julious (2005) & van Isaac & Michael Treece (1982) : 10%
participants pour les
Belle (2002) : 12 (1995) : 10 à 30 de la taille de
études pilotes dans la
participants par groupe participants l'échantillon du projet
recherche par sondage
Cocks K, Torgerson DJ. Sample size calculations for pilot randomized trials: a confidence interval approach. J Clin Epidemiol. 2013;66(2):197-201. doi:10.1016/j.jclinepi.2012.09.002
EXEMPLES DE CALCUL DE
TAILLE D’ÉCHANTILLON
 VIECHTBAUER ET AL. (2015)

• Une étude pilote évalue avant tout la faisabilité

• Taille d’échantillon calculée pour pouvoir détecter avec assurance la survenue
d'un problème ou d'un évènement

Viechtbauer W, Smits L, Kotz D, et al. A simple formula for the calculation of sample size in pilot studies. J Clin Epidemiol. 2015;68(11):1375-1379. doi:10.1016/j.jclinepi.2015.04.014
 VIECHTBAUER ET AL. (2015)

• La taille de l'échantillon dépend :

• du niveau de confiance avec lequel on veut détecter le problème (γ) (e.g., 80, 90, 95%)
• de la probabilité que le problème se manifeste chez un participant de l'étude (π)

Voici la formule :

n : nombre de participants par groupe

γ : niveau de confiance
π : probabilité que le problème arrive
VIECHTBAUER ET AL. (2015)

• On fixe une probabilité clinique

arbitraire pour ce que l'on veut
détecter (π)

• Plus l'évènement est fréquent, plus

notre puissance augmentera pour
une même taille d'échantillon

• Exemple : pour détecter un

problème avec une probabilité de
10%, on a besoin de 29 participants
pour un seuil alpha de 5%
 EXEMPLE : CALCUL DE LA TAILLE
D'ÉCHANTILLON

• On utilise les données obtenues dans cette étude pilote pour calculer l'échantillon
nécessaire dans l'étude finale
• Il faut faire attention car les études pilotes permettent seulement de détecter un effet
et non pas de le mesurer
• La variabilité de l'effet n'est donc pas fiable
• « Because the effect size is overestimated, the sample size N for the main study
[…] will be underestimated and the resulting power attenuated. »1
• Lors du calcul de la taille d'échantillon pour l'étude finale il vaut mieux faire des
calculs de sensibilité avec différents paramètres
• On peut alors créer un tableau avec différents estimés d'échantillon et choisir selon:
• Budget
• Avis d'experts
• Niveau de confiance en l'étude pilote

1. Kraemer HC, Mintz J, Noda A, Tinklenberg J, Yesavage JA. Caution Regarding the Use of Pilot Studies to Guide Power Calculations for Study Proposals. Arch Gen Psychiatry. 2006;63(5):484–489.
 COCKS ET AL. (2013)

Cocks K, Torgerson DJ. Sample size calculations for pilot randomized trials: a confidence interval approach. J Clin Epidemiol. 2013;66(2):197-201. doi:10.1016/j.jclinepi.2012.09.002
 COCKS ET AL. (2013)

• Suggère qu’il faut faire un calcul de taille d’échantillon et non pas

seulement se baser sur des tailles fixes
• Surtout utile lorsqu’on a une idée de l’effet attendu dans un ECR
• Offre une approche alternative : le calcul de la taille de l'échantillon est
déterminé par des critères objectifs de la taille d'échantillon proposée
pour l'essai principal, en utilisant une approche basée sur un intervalle
de confiance (plutôt que la méthode habituelle de puissance et de
signification statistique)
 COCKS ET AL. (2013)

• Identifier une taille d'échantillon suffisante pour que si la différence

observée entre les deux groupes de l’essai pilote est nulle, alors la
limite supérieure de l’intervalle de confiance exclura l’effet qui serait
considérée comme ''cliniquement significatif'' dans l’étude principale
• Proposent un intervalle de confiance unilatéral de 80 % pour la prise de
décision concernant l'essai principal
• Correspond à au moins 9% de la taille de l’essai principal
COCKS ET AL. (2013)
 COCKS ET AL. (2013)

Exemple :
• Pour les lombalgies, on utilise le questionnaire de Roland and Morris (moyenne de 8 et un écart-
type de 4)
• Supposons que nous voulons évaluer une intervention peu coûteuse de telle sorte qu'une baisse de 1
point sur l'échelle standardisée est considérée comme valable (différence de 0.25 d'écart type)
• On voit sur le tableau que cela donne environ 504 participants (pour une puissance de 80% et un
alpha bilatéral de 5%)
• Si l’on cherche à calculer la taille avec un IC de 80% dont la limite supérieure exclut le SD = 0.25,
on obtient environ 46 participants (environ 9% de la population totale)
• Si on fait l’étude pilote et on détecte un effet significatif, alors on peut procéder à l’étude suivante
(l’étude principale)
 Forces:
• Aide à déterminer la faisabilité d’une étude
• Peut aider à déterminer la taille d’échantillon de
l’étude primaire par estimation de l’effet attendu
• Possibilité de faire partie de l’étude primaire
(voir section suivante : étude pilote interne)
ÉTUDE PILOTE

Faiblesses:
• Faire attention aux estimations de l’effet et de la
variabilité due à la petite taille d’échantillon 
peut entrainer des faux calculs de puissance
• Tendance à mettre l’emphase sur la signification
statistique et non la faisabilité
DEVIS ADAPTATIF (ÉTUDE
PILOTE INTERNE)
 DÉFINITION : DEVIS ADAPTATIF

Devis adaptatif : étude qui permet des changements dans le design ou dans les analyses statistiques en
cours de route dans le but d'augmenter la probabilité de succès de l'étude

• Adaptation prospective: eg. cesser une étude pour futilité lors d'une analyse intérimaire
• Concurrente: eg. changer les critères d'inclusion, choisir un endpoint primaire, abandonner un bras de
traitement, etc.
• Retrospective: eg. choisir le plan d'analyse en fonction des données disponibles

Il faut définir d'avance quelles sont les adaptations prévues, selon quels seuils et à quel moment dans
l'étude
Pallmann P, Bedding AW, Choodari-Oskooei B, Dimairo M, Flight L, Hampson LV, et al. Adaptive designs in clinical trials: why use them, and how to run and report
them. BMC Med. 2018;16(1):29.
 DÉFINITION : ÉTUDE PILOTE INTERNE

Étude pilote interne

• Conceptualisé par Wittes et Brittain (1990)
• Devis adaptatif qui se concentre sur un recalcul de puissance après une phase qu'on appelle pilote
• Procédure en 3 temps consistant en :
1. Calcul initial de la taille de l'échantillon
2. Révision de la taille de l'échantillon
3. Analyse finale
• Les analyses finales des résultats intègrent toutes les données, sans tenir compte du fait qu'une partie
des données provenait de la phase pilote
• Comparaison de 2 traitements pour
réduire le risque les évènements
ischémiques après une angiographie

• Effet de l'intervention incertain : les

auteurs ont créé 3 zones en fonction des
données des 7630 premiers patients
 DANGER
MÉTHODOLOGIQUE

• Une analyse intérimaire n'a pas

la même puissance qu'une
analyse finale (plus on diminue
la taille de l'échantillon, plus
on perd de la puissance)
• Il faut faire des ajustements à
notre seuil Z de rejet de
l'hypothèse nulle en
conséquence
• But : garder une erreur
conditionnelle identique

Bhatt DL, Mehta C. Adaptive Designs for Clinical Trials. N Engl J Med.
 ÉTUDE PILOTE INTERNE: FORCES

• Permet un recalcul de puissance en cours d'étude et évite de finir l'étude en

manquant de puissance
• Permet l'arrêt de l'étude pour futilité
• Permet de sauver des ressources et du temps pour l'équipe de recherche
• Permet d'inclure les patients de la portion pilote dans l'étude globale
 ÉTUDE PILOTE INTERNE: FAIBLESSES

• On ne peut pas partir de 0 : il faut des estimations de la taille de l'effet pour

faire des balises à priori pour le recalcul de l'échantillon
• Demande une équipe de statisticiens formés en analyses intérimaires
• Plus on fait d'adaptations, plus on introduit de l'hétérogénéité dans l'étude
• Ce devis ne sert pas à évaluer la faisabilité de l'étude : fait partie de l'étude
finale
 CONCLUSION

• Important de mener une étude préliminaire en absence de données probantes robustes

• Taille d’une étude préliminaire est un défi méthodologique important
• Bien que plusieurs études ont suggéré des tailles d’échantillons différentes, il n’y a pas de
consensus quant à la taille idéale d'une étude pilote
• But principal d’une étude pilote : faisabilité de l’étude principale
• Faire attention aux estimations de l’effet et de la variabilité d’une étude pilote  peut
entraîner des faux calculs de puissance pour l’étude principale
• Étude pilote interne : intéressante à inclure dans un ECR (permet de recalculer la taille
d’échantillon mi-étude)
 RÉFÉRENCES

1. Thabane L, Ma J, Chu R, et al. A tutorial on pilot studies: the what, why and how. BMC Med Res Methodol. 2010;10:1.
Published 2010 Jan 6.
2. Bhatt DL, Mehta C. Adaptive Designs for Clinical Trials. N Engl J Med. 2016;375(1):65-74
3. Kraemer HC, Mintz J, Noda A, Tinklenberg J, Yesavage JA. Caution Regarding the Use of Pilot Studies to Guide
Power Calculations for Study Proposals. Arch Gen Psychiatry. 2006;63(5):484–489.
4. Charles P, Giraudeau B, Dechartres A, et al. Reporting of sample size calculation in randomised controlled trials: review. BMJ
2009;338:b1732.
5. Brasher PMA, Brant FB. Sample size calculations in randomized trials: common pitfalls. Can J Anesth 2007;54:103-6.
6. Julious, Steven A. "Sample size of 12 per group rule of thumb for a pilot study." Pharmaceutical Statistics: The Journal of
Applied Statistics in the Pharmaceutical Industry 4.4 (2005): 287-291.
7. Connelly, L. M. (2008). Pilot studies. Medsurg Nursing, 17(6), 411-2.
8. Hertzog, M.A. (2008). Considerations in determining sample size for pilot studies. Research in Nursing & Health, 31,180-191.
9. Hill, R. (1998). What sample size is “enough” in internet survey research? Interpersonal Computing and Technology: An
Electronic Journal for the 21st Century, 6(3-4).
10. Isaac, S., & Michael, W. B. (1995). Handbook in research and evaluation. San Diego, CA: Educational and Industrial Testing
Services.
 RÉFÉRENCES

10. Treece, E. W., & Treece, J. W. (1982). Elements of research in nursing (3rd ed.). St. Louis, MO:Mosby.
11. van Belle, G. (2002). Statistical rules of thumb. New York: John Wiley.
12. In, Junyong. "Introduction of a pilot study." Korean journal of anesthesiology 70.6 (2017): 601.
13. Wittes J, Brittain E. The role of internal pilot studies in increasing the efficiency of clinical trials. Stat Med. 1990;9(1-2):65-72.
doi:10.1002/sim.4780090113
14. Whitehead AL, Julious SA, Cooper CL, Campbell MJ. Estimating the sample size for a pilot randomised trial to minimise the
overall trial sample size for the external pilot and main trial for a continuous outcome variable. Stat Methods Med Res.
2016;25(3):1057-1073. doi:10.1177/0962280215588241
15. Viechtbauer W, Smits L, Kotz D, et al. A simple formula for the calculation of sample size in pilot studies. J Clin Epidemiol.
2015;68(11):1375-1379. doi:10.1016/j.jclinepi.2015.04.014
16. Vaduganathan M, Harrington RA, Stone GW, Steg PG, Gibson CM, Hamm CW, et al. Variation in Patient Profiles and Outcomes
in US and Non-US Subgroups of the Cangrelor Versus Standard Therapy to Achieve Optimal Management of Platelet Inhibition
(CHAMPION) PHOENIX Trial. Circ Cardiovasc Interv. 2016;9(6).
17. Choi PT, Beattie WS, Bryson GL, Paul JE, Yang H. Effects of neuraxial blockade may be difficult to study using large
randomized controlled trials: the PeriOperative Epidural Trial (POET) Pilot Study. PLoS One. 2009;4(2):e4644.
18. Pallmann P, Bedding AW, Choodari-Oskooei B, Dimairo M, Flight L, Hampson LV, et al. Adaptive designs in clinical trials: why
use them, and how to run and report them. BMC Med. 2018;16(1):29.