Vous êtes sur la page 1sur 18

MOOC Statistique pour ingénieur

Thème 4 : Régression linéaire


Vidéo 3 : Tests, prévision

Anca Badea
Institut Mines-Télécom
Mines Saint-Étienne

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Sommaire

1 Tests statistiques

2 Prévision

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Sommaire

1 Tests statistiques

2 Prévision

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Tests sur βi
et si le paramètre βi était nul ?
• H0 : βi = 0
H1 : βi ̸= 0
β̂i
• statistique de test : Tβ̂ = ∼ T (n − 2)
i
sβ̂i
• fixer le risque α
• décision : rejet ou pas de H0
en fonction de l’appartenance de la valeur de la statistique de test à la région critique
] − ∞, −tα/2 [ ∪ ]tα/2 , ∞[ ou pas

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Tests sur βi
et si le paramètre βi était nul ?
• H0 : βi = 0
H1 : βi ̸= 0
• fixer le risque α
β̂i
• statistique de test : Tβ̂ = ∼ T (n − 2)
i
sβ̂i
• décision : rejet ou pas de H0 en fonction de la p−valeur
si pval ≤ α → rejet
avec pval = PH0 (|Tβ̂i | ≥ |tβ̂i |)

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Test de Fisher
significativité de la régression en utilisant l’analyse de la variance
• H0 : β1 = 0
H1 : β1 ̸= 0
∑n b − Y)2 /1
i=1 (Yi
• statistique de test : F = ∑n ∼ F1,n−2
b 2
i=1 (Yi − Yi ) /(n − 2)
• fixer le risque α
• décision : rejet ou pas de H0
en fonction de l’appartenance de la valeur de la statistique de test à la région critique
]fα , ∞[ ou pas
(avec fα la valeur telle que P(F ≤ fα ) = 1 − α)

ou en fonction de la p−valeur : si pval ≤ α −→ rejet (pval = PH0 (F ≥ f))

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Exemple alligators
βb1 βb0
tβb1 = = 25, 8, tβb0 = = −16, 93
sβb1 sβb0
décisions tests : rejet de H0 pour les tests sur β0 et β1

Variable Coefficient Ecart-type t pval


Intercept −8, 48 0, 5 −16, 93 3 e-10
lnLength 3, 43 0, 13 25, 8 1e-12

b∗
σ ddl R2 R2adj
0, 12 13 0, 9808 0, 9794

F-statistique : 666 sur 1 et 13 ddl p-val : 1e-12

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Importance du test
• H0 : β1 = 0 si on ne peut pas rejeter H0
H1 : β1 ̸= 0
il n’y a pas de relation linéaire entre x et y x n’explique pas la variabilité de y

la meilleure prédiction de y est y

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Commentaires
Si on rejette H0 :

x a une certaine importance pour expliquer la variabilité de y

• soit le modèle de régression simple est adéquat,


• soit, bien que l’effet linéaire est présent, des meilleurs résultats
pourraient être obtenus en rajoutant des termes d’ordre plus élevés

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Sommaire

1 Tests statistiques

2 Prévision

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Prévision de la variable expliquée
Estimer E(Y|x0 ) = β0 + β1 x0 pour une valeur particulière x0
(x0 comprise dans la plage de variation de x)

• estimateur : b
Y0 = βb0 + βb1 x0
• estimation ponctuelle : b y0 = βb0 + βb1 x0
• estimation par intervalle de confiance
• loi de b
Y0 : loi normale (car CL des Yi )
• espérance :
E(βb0 + βb1 x0 ) = β0 + β1 x0
• variance : [ ]
b b b 1 (x0 − x)2
V(β0 + β1 x0 ) = V(Y + β1 (x0 − x)) = σ 2 +
n n s2x
car Cov(Y, βb1 ) = 0

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Prévision de la variable expliquée
b
Y0 − (β0 + β1 x0 )
√ ∼ T (n − 2)
1 (x0 − x) 2
b∗
σ +
n n s2x

loi de Student à n − 2 degrés de libertés

Ic1−α (β0 + β1 x0 ) =
[ √[ ] √[ ]]
1 (x − x) 2
1 (x − x)2
βb0 + βb1 x0 − tα/2 σ
b∗ , βb0 + βb1 x0 + tα/2 σ
b∗
0 0
+ +
n n s2x n n s2x

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Prévision de la variable expliquée
• la largeur dépend de x0 :
• minimum pour x0 = x
• augmente pour des valeurs croissantes de |x0 − x|.

• meilleures prévisions seront pour des valeurs de x proches de x


• la précision se détériore vers des extrémités de la plage de x

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Exemple alligators

n = 15, x ≈ 3, 76, s2x ≈ 0, 06,


βb1 ≈ 3, 43, βb0 ≈ −8, 48
b∗2 ≈ 0, 02
σ
t0,025 = 2, 16

x0 = 4
by0 ≈ −8, 48 + 3, 43 × 4 = 5, 25
Ic0,95 (β0 + β1 x0 ) ≈ [5, 15 ; 5, 35]

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Prévision de la variable expliquée
Estimer Y0 = β0 + β1 x0 + ε pour une valeur particulière x0
(x0 comprise dans la plage de variation de x)
• estimateur : b
Y0 = βb0 + βb1 x0

• calculons la variance de Y0 − b
Y0
[ ]
b 1 (x0 − x)2
V(Y0 − Y0 ) = σ 1 + +
2
n n s2x
car Y0 et b
Y0 sont indépendantes

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Intervalle de prévision pour des nouvelles observations

Ic1−α (y0 ) =
[ √[ ] √[ ]]
1 (x − x) 2
1 (x − x)2
b∗
by0 − tα/2 σ b∗
, by0 + tα/2 σ
0 0
1+ + 1+ +
n n s2x n n s2x

l’intervalle de prédiction est toujours plus large que l’intervalle de confiance

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire


Exemple alligators
n = 15, x ≈ 3, 76, s2x ≈ 0, 06,
βb1 ≈ 3, 43, βb0 ≈ −8, 48
b∗2 ≈ 0, 02
σ
t0,025 = 2, 16

x0 = 4
by0 ≈ −8, 48 + 3, 43 × 4 = 5, 25
Ic0,95 (β0 + β1 x0 ) ≈ [5, 15 ; 5, 35]
Ic0,95 (y0 ) ≈ [4, 97 ; 5, 53]

MOOC Statistique pour ingénieur Thème 4 : Régression linéaire