Les comparaisons

multiples post-hoc
Introduction

• Pour comparer trois groupes ou plus il faut

d’abord tester si la moyenne sont égales
(H0 VS H1) via l’analyse de la variance.
• L’ANOVA indique qu’il y a au moins une
moyenne qui est différente des autres
• Pour classer et bien identifier les groupes
différents des autres on procède aux
analyses de comparaison multiples post-
hoc
Comparaison multiples
• Pour comparer 3 groupes A,B, C; il s’agit de tester:
➢ Hypothèse 1: les moyennes A et B sont égales (Comparer A et B)
➢ Hypothèse 2: les moyennes A et C sont égales (Comparer A et C)
➢ Hypothèse 3: les moyennes C et B sont égales (Comparer C et B)

Le test de comparaison multiple = famille de

tests= test simultané

La comparaison multiple vise essentiellement

à contrôler l’erreur type I
Erreur type I
• L'erreur de type I est définie comme la
probabilité de commettre une erreur
comme pour une vraie hypothèse nulle
• l'hypothèse nulle est rejetée. On
appelle l'erreur de type I l'erreur α.
• Un niveau d'erreur α de 0,05 (5%) est
fréquemment utilisé pour évaluer une
hypothèse.

Le niveau d'erreur global pour la famille

de tests est différent du niveau d'erreur α
pour une comparaison
Erreur type I
• Si le même niveau d'erreur α est adopté pour chaque comparaison (αPC)
dans les comparaisons multiples k comparaisons, le niveau d'erreur α
global pour la famille de tests (αFW) est calculé comme suit:
a) Probabilité d'absence d'erreur α pour une comparaison = 1 - αPC
(probabilité d'erreur α par comparaison [αPC]),
b) Probabilité d'absence d'erreur α pour la famille globale de k tests =
(1 - αPC) x (1 - αPC) x ... x (1- αPC) = (1 - αPC)k, pour des
comparaisons indépendantes les unes des autres,
c) Probabilité d'erreur α pour la famille globale de k tests
indépendants (αFW) = 1 - (1 - αPC)k
Erreur type I
• Exemple: trois tests indépendants, si nous fixons αPC au niveau d'erreur
conventionnel α de 0,05, αFW est obtenu comme 1 - (1 - 0,05)3 = 1 -
0,8574 = 0,1426.

Le niveau α familial est non seulement

supérieur à l'αPC, mais aussi supérieur à
un niveau d'erreur α acceptable.

• Si nous voulons contrôler la valeur inférieure à 5 % (0,05), il faut réduire

αPC. Pour exemple, si nous fixons αPC à 0,01, l'αFW est calculé comme
suit : 1 - (1 - 0,01)3 = 1 - 0,9703 = 0,0297, ce qui est inférieur à 0,05.
Les différentes méthodes de comparaison multiples des moyennes
Définitions
Avant d'introduire chaque méthode spécifique, un bref aperçu des termes relatifs à la
statistique peut être utile:
• Libéral/conservateur : "Libéral" fait référence à une tendance selon laquelle le
rejet de l'hypothèse nulle est relativement facile. Un test libéral a une grande
puissance pour accepter l'hypothèse alternative vraie. A l'inverse, "conservateur" fait
référence à une difficulté relative à rejeter l'hypothèse nulle et à la possession d'une
faible puissance. l'hypothèse nulle et une faible puissance;

• Plan équilibrée/ non équilibrée : Un plan équilibré signifie que tous les groupes
comparés ont la même taille d'échantillon. groupes comparés ont des tailles
d'échantillon égales;
Les différentes méthodes de comparaison multiples des moyennes
Définitions
• Méthodes en une seule étape/en plusieurs étapes : Un test en une seule étape est
un test qui est mis en œuvre par une seule procédure. Ce type de test fournit un
intervalle de confiance, une méthode descendante ne le fait pas.
• Étapes courantes des méthodes de réduction par étapes :
• À la première étape, toutes les k moyennes sont testées à un niveau αFW en
considérant la comparaison des k moyennes.
• Si le résultat est significatif, alors l'étape suivante commence ; s'il est non
significatif, elle s'arrête.
• Ensuite, chaque sous-ensemble de k -1 est testé à un niveau αFW plus élevé en
considérant la comparaison des k - 1 moyennes.
• On continue de cette manière jusqu'à ce qu'il n'y ait plus de jusqu'à ce qu'il ne reste
plus de sous-ensembles à tester.
Les différentes méthodes de comparaison multiples des moyennes
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes

• Ils sont appropriées pour des familles de tests relativement petites,

composées de moins de dix tests (ou contrastes).
• Les résultats obtenus par les méthodes de cette catégorie peuvent être
quelque peu conservateurs lorsqu'ils sont appliqués à un grand nombre
de tests.
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes en une seule étape
Le test de Bonferroni

• La correction de Bonferroni de l'erreur α est une méthode largement

applicable à toute sorte de procédures statistiques autres que les
comparaisons multiples suivant l'ANOVA.

• L'erreur α pour une famille globale de k tests indépendants (αFW) = 1 -

(1- αPC)k est la plus grande valeur parmi les αFW de n'importe quel
ensemble de tests, y compris les tests indépendants et corrélés.
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes en une seule étape
Le test de Bonferroni

• l'inégalité de Bonferroni pour tout ensemble de tests s'exprime par αFW <
kαPC. Par conséquent, pour contrôler que l'αFW soit inférieur à 0,05, nous
appliquons α niveau d'erreur pour chaque comparaison comme αPC =
αFW/k. Pour une famille de trois tests comme l'exemple ci-dessus, nous
appliquons αPC =0,05 /3≅ 0.0167 pour contrôler αFW comme 0.05.

La limitation de la procédure de Bonferroni est que le résultat

a tendance à être trop conservateur et n'ont pas assez de
puissance lorsque l'ensemble des tests est grand.
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes en une seule étape
Le test de Šidák-Bonferroni
• La procédure de Šidák-Bonferroni a été développée pour améliorer la puissance des
tests, car la procédure de Bonferroni produit des résultats conservateurs.
• Le niveau de signification par comparaison est appliqué comme αPC = 1 - (1 - αFW) .
Pour une famille de trois tests, nous appliquons αPC = 1 - (1 - 0,05) ≅ 1 - 0,9830 =
0,0170 pour contrôler αFW comme 0,05.

En appliquant un niveau légèrement plus élevé de αPC, le

résultat produit un résultat moins conservateur par
rapport à la procédure de Bonferroni.
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes en une seule étape
Le test de Šidák-Bonferroni
• Exemple de comparaison de trois groupes.
• Nous avons obtenu une valeur p de 0,0168 pour une comparaison des moyennes de
deux groupes.
• Si nous appliquons la procédure de Bonferroni, nous concluons que la différence
entre les moyennes de deux groupes n'est pas significative car la valeur p calculée est
supérieure au niveau (αPC = 0.0167).
• Si nous appliquons la procédure de Šidák-Bonferroni, nous arrivons à la
conclusion d'une différence significative (αPC = 0.0170).
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes en une seule étape
Le test de Dunnett
• Le test de Dunnett est approprié lorsqu'un groupe de contrôle est comparé à tous
les autres groupes expérimentaux.
• Dans cette situation, le test de Dunnett montre une grande puissance. Le t standard qui
n'est pas corrigé est utilisé comme statistique de test, et comparée à la valeur
particulière de t Dunnett que Charles Dunnett a conçue.

Test très puissant dans le cas d’une

comparaison par rapport à un control
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes descendantes
Test de Holm-Bonferroni

• Un test répété par étapes similaire à la procédure de Bonferroni est

effectué en fonction de la valeur p ordonnée de chaque comparaison.
• Au fur et à mesure de l'avancement de l'étape, les comparaisons sont
évaluées avec des niveaux d'erreur α successivement augmentés.

Elle montre plus de puissance par

rapport à la procédure de Bonferroni.
Les différentes méthodes de comparaison multiples des moyennes
1- Ensembles restreints de contrastes
Méthodes descendantes
Test de Shaffer

• Il s’agit d’un test de Bonferroni séquentiellement réjective modifiée par

Shaffer
• Il s'agit d'une modification de la procédure de Holm-Bonferroni par
l'adoption partielle de niveaux d'erreur α plus élevés,

plus de puissance par rapport au test de

Holm-Bonferroni
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires

• La comparaison par paire consiste à comparer toutes les paires

possibles de moyennes de groupe.
• Si nous voulons comparer toutes les paires possibles de k groupes, le
nombre total de comparaisons est de k(k - 1)/2.
• Les comparaisons par paires devraient permettre d'obtenir des résultats
raisonnables.
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires
Méthodes en une seule étape
Le test de Tukey’s HSD (honestly significant difference)

• La procédure HSD de Tukey fournit le moyen le plus simple de

contrôler αFW et est considérée comme la méthode la plus
préférable lorsque toutes les comparaisons par paires sont
effectuées.
• La statistique de l'intervalle studentisé (statistique q) est utilisée pour
déterminer les valeurs critiques en fonction du nombre de groupes et du
nombre d'observations dans un groupe.
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires
Méthodes en une seule étape
Le test de Tukey’s HSD (honestly significant difference)

• Différents tests de Tukey’s sont possibles en fonction du nombre de

groupes et du nombre d'observations dans un groupe.

Si la taille de tous les groupes comparés est

égale on utilise Le test de Tukey’s HSD

Si la taille de tous les groupes comparés est

inégale on utilise le test Tukey-Kramer
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires
Méthodes descendantes
Le test de Student-Newman-Keuls (SNK)
• La procédure de Student-Newman-Keuls (SNK) est une procédure descendante qui
construit un sous-ensemble équivalent similaire à la procédure de Tukey.
• La procédure SNK suit un processus très complexe. Bien qu'elle montre une
puissance accrue, elle s'accompagne souvent d'une augmentation du niveau
d'erreur par famille et d'une augmentation générale du nombre d'erreurs.

Plus puissante mais induit une augmentation

du niveau d'erreur par famille et peut aboutir à
une tendance trop libérale (peu efficiente).
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires
Méthodes descendantes
Le test de comparaison multiples de Duncan
• Le test de Duncan est effectué en suivant des étapes similaires à la
procédure SNK. Les niveaux d'erreur α modifiés sont appliqués suivant la
procédure par étapes.
• Il montre une tendance plus libérale que la procédure SNK.

le test de Duncan n'est pas recommandé

lorsque les tailles d'échantillon sont inégales
en raison de sa tendance libérale.
Les différentes méthodes de comparaison multiples des moyennes
2- Comparaison de paires
Méthodes descendantes
Le test de Ryan-Einot-Gabriel-Walsch (REGW)

• Le test REGW est une modification de la procédure SNK qui introduit un

contrôle plus strict de l'erreur α par famille.

La procédure REGW est considérée comme

recommandable car elle présente non seulement une
bonne puissance mais aussi un contrôle strict de l'erreur.
Les différentes méthodes de comparaison multiples des moyennes
3- Correction d'erreur post-hoc (Post-hoc error correction)

• La procédure de ces tests est effectuée comme une analyse

complètement post-hoc après l'évaluation de toutes les comparaisons
prévues.
• La procédure explore toutes les relations complexes possibles et
s'applique avec le contrôle d'erreur le plus rigoureux.
Les différentes méthodes de comparaison multiples des moyennes
3- Correction d'erreur post-hoc (Post-hoc error correction)
Le test de Scheffé
• La procédure de Scheffé comprend tous les contrastes possibles et pas seulement
les comparaisons par paires.
• Son avantage est qu'elle couvre une large gamme de tests complexes, y compris
les relations post-hoc entre de nombreux groupes.
• La procédure a tendance à être trop conservatrice et sa puissance est inférieure à
celle des autres méthodes.

En général, la procédure de Scheffé n'est pas recommandée

lorsque seules des comparaisons par paires sont intéressantes
Les différentes méthodes de comparaison multiples des moyennes
4- Aucun contrôle du niveau d'erreur α par famille
Test de la moindre différence significative (LSD) (Least Significant Difference)

• La méthode LSD ne permet pas de contrôler le niveau d'erreur α par

famille.
• Elle est donc inappropriée pour la procédure de comparaison
multiple où le contrôle du niveau d'erreur α par famille est
nécessaire.
 Résumé:
Les différentes méthodes de comparaison multiples des moyennes

1. Pour les comparaisons post-hoc habituelles par paires, la procédure HSD de Tukey
ou REGWQ peut être préférable.
2. Pour les comparaisons d'un petit nombre de moyennes de groupes ou pour les
comparaisons planifiées de groupes sélectionnés, la procédure de Bonferroni
ou la procédure Šidák-Behring ou la procédure Šidák-Bonferroni peut être
préférable.
3. Lorsqu'un groupe témoin est comparé à d'autres groupes expérimentaux, le test
de Dunnett peut être choisi.
4. Si l'on s'intéresse à un large éventail de tests complexes, la procédure de Scheffé peut
être appropriée.