Vous êtes sur la page 1sur 14

Inférences dans la Régression et Analyse de la Variance

Tests de Signification des Paramètres de


Régression

Une approche alternative mais complémentaire à la méthode des

intervalles de confiance pour tester des hypothèses statistiques est

l’approche des tests de signification développée indépendamment

par R. A. Fisher et conjointement par Neyman et Pearson.

De manière générale, un test de signification est une procédure par

laquelle des résultats d’échantillons sont utilisés pour vérifier la

véracité ou la fausseté d’une hypothèse nulle.

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 26 / 40


Inférences dans la Régression et Analyse de la Variance

Test Bilatéral
Les deux alternatives possibles sont:

H0 ; β1 = 0
H1 ; β1 6= 0

Tester l’hypothèse H0 contre l’hypothèse H1 , soit à comparer le ratio


βb1
empirique de Student |t∗b | (dans ce cas t∗b = ) à la valeur de t de
β1 β1 σ
bβ̂1
Student lue dans la table de de la loi de Student à (n − 2) degrés de
liberté pour un seuil de probabilité égal à 5%.
La règle de décision avec ce test pour contrôler le niveau de signification
est la suivante:
α/2
Si |t∗b | ≤ tn−2 on accepte H0
β1
α/2
Si |t∗b | > tn−2 on accepte H1
β1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 27 / 40


Inférences dans la Régression et Analyse de la Variance

Test Unilatéral
Supposons que nous voulons vérifier si β1 est positif ou non. Les
alternatives seraient alors:

H0 ; β1 ≤ 0
H1 ; β1 > 0

Tester l’hypothèse H0 contre l’hypothèse H1 , soit à comparer le ratio


empirique de Student |t∗b | à la valeur de t de Student lue dans la table
β1
de de la loi de Student à (n − 2) degrés de liberté pour un seuil de
probabilité égal à 5%.
La règle de décision avec ce test pour contrôler le niveau de signification
est la suivante:
Si |t∗b | ≤ tαn−2 on accepte H0
β1
Si |t∗b | > tαn−2 on accepte H1
β1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 28 / 40


Inférences dans la Régression et Analyse de la Variance

Analyse de la Variance (ANOVA)

L’analyse de la variance est importante pour évaluer dans quelle mesure

le modèle estimé est capable de expliquer la réalité.

La formule pour l’analyse de la variance est la suivante :

n 2 n  2 n
e2i
P P P
Yi − Ȳ = Yi − Ȳ
b +
i=1 i=1 i=1
SCT = SCE + SCR
La variabilité totale est égale à la variabilité expliquée plus la variabilité

des residus

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 29 / 40


Inférences dans la Régression et Analyse de la Variance

Analyse de la Variance (ANOVA)

Cette équation va nous permettre de juger de la qualité de l’ajustement

d’un modèle

Plus la variance expliquée est proche de la variance totale, meilleur est

l’ajustement du nuage de points par la droite des moindres carrés

n  2 n
e2i
P P
Ybi − Ȳ
SCE SCR
R2 = = i=1
n 2 1 − P
n
i=1
2 = 1 − SCT
SCT P
Yi − Ȳ Yi − Ȳ
i=1 i=1

R2 = Coefficient de détermination;

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 30 / 40


Inférences dans la Régression et Analyse de la Variance

Analyse de la Variance (ANOVA)

Notez que R2 a deux significations alternatives :

C’est le coefficient de corrélation simple au carrée entre Yi et Ybi ;

c’est-à-dire r2 .
Yi ,Ybi

C’est la corrélation simple au carré entre X et Y .

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 31 / 40


Inférences dans la Régression et Analyse de la Variance

Analyse de la Variance (ANOVA)

Degrés de
Source de Somme des Carrés Carrés Moyens
liberté (ddl)
variation
n  2 SCE
X 1
P
SCE = Ybi − Ȳ M CE =
i=1 1
n SCR
Résidu e2i n−2
P
SCR = M CR =
i=1 n−2
n 2
Total n−1
P
SCT = Yi − Ȳ
i=1

Tableau d’Analyse de la Variance

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 32 / 40


Inférences dans la Régression et Analyse de la Variance

Test de Fisher

Le test d’hyopthèse H0 ; β1 = 0 est équivalent au test d’hypothèse

H0 ; SCE = 0 (la variable explicative Xi ne contribue pas à l’explication

du modèle).

Soit le test d’hypothèses H0 ; SCE = 0 contre H0 ; SCE 6= 0. La

statistique de ce test est donnée par :

n 
P 2
Ybi − Ȳ
SCE i=1 R2
ddlSCE M CE 1 1
F∗ = = = n =
SCR M CR 1 − R2
e2i
P
ddlSCR i=1 n−2
n−2
Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 33 / 40
Inférences dans la Régression et Analyse de la Variance

Test de Fisher

F ∗ suit une statistique de Fisher à 1 et n − 2 degrés de liberté. Si

F ∗ > F1;n−2
α nous rejetons au seuil α l’hypothèse H0 d’égalité des

variances, la variable Xi est significative ; dans le cas contraire, nous

acceptons l’hypothèse d’égalité des variances, la variable Xi n’est pas

explicative de la variable Yi .

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 34 / 40


Inférences dans la Régression et Analyse de la Variance

Remarque

!2

 2 βb1 βb12
F = t∗βb = =
1 σ
bβ̂1 b2
σ
n
P 2
Xi − X̄
i=1
n
βb12
P
Xi − X̄
2 R2
= i=1
= 1
n
1 − R2
e2i
P
i=1 n−2
n−2

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 35 / 40


Prévision dans le Modèle de Régression Simple

Prévision dans le Modèle de Régression Simple

Losque les coefficients du modèle de régression sont estimés, il est serait

aisé de calculer une prévision futur à un horizon h.

Soit le modèle de régression estimé sur une période i = 1, ..., n

Yi = βb0 + βb1 Xi + εi i = 1, ..., n

Si la valeur de la variable explicative Xi est connue en n + 1 soit Xn+1 ,

la prévision est donnée par: Yn+1 = βb0 + βb1 Xn+1 , on parle d’une

prévision ponctuelle sans biais.

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 36 / 40


Prévision dans le Modèle de Régression Simple

Prévision dans le Modèle de Régression Simple

Dans la pratique, il n’est que de peu d’utilité de connaître la prévision si

nous ne savons pas quel degré de confiance nous pouvons lui

accorder. Nous allons donc calculer la variance de l’erreur de

prévision qui nous permet de déterminer un intervalle de confiance

bornant la prévision (on parle d’un intervalle de prédiction).

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 37 / 40


Prévision dans le Modèle de Régression Simple

Prévision dans le Modèle de Régression Simple

 
2
  1 Xn+1 − X̄ 
b2 

var (en+1 ) = var Yn+1 − Ybn+1 = σ 1 + + n

 n P 2 
Xi − X̄
i=1

L’hypothèse de normalité de εi permet alors de déterminer un intervalle

à (1 − α) % pour la prévision :

  
2
 2
 1 Xn+1 − X̄  
en+1 = Yn+1 − Ybn+1 ∼ N 
0, σ 1 + n + P
n

2 

Xi − X̄
i=1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 38 / 40


Prévision dans le Modèle de Régression Simple

Prévision dans le Modèle de Régression Simple

Soit
βb + βb1 Xn+1 − Yn+1
v 0  ∼ tn−2
u
u 2
u 1 Xn+1 − X̄ 
bu1 + + n
σ
u 
n P 2 
Xi − X̄
t
i=1

ainsi l’intervalle de prédiction est donnée comme suit :

v 
u
u  2
α/2 u
u
1 Xn+1 − X̄ 
Yn+1 = Ybn+1 ± tn−2 σ
bu 1+ + n 
 n P 2 
Xi − X̄
t
i=1

Pr. Moad El kharrim Modèle de Régression Linéaire Simple 2020-2021 39 / 40