DESCOGEF 2011

La régression linéaire simple

Dr. El Hadji GUEYE

CESAG
1. Introduction

2. Principe de modélisation

3. Méthodes d’estimation des moindres carrés

4. Coefficient de détermination
 1. Introduction
 Deux variables
Y : variable expliquée (dépendante) ou variable réponse
X : variable explicative (indépendante)
On cherche à modéliser (expliquer) la variable Y à l’aide de la variable X.

Exemple
Y : note d’un étudiant à un examen
X : nombre d’heures passées à étudier pour l’examen
y
•
• •
• • •
• • •
• • • •
• •
•
• •

0 x
2. Principe de modélisation
On cherche toujours le modèle le plus simple possible.
 Modèle : n observations ( x1 , y1 ) , ( x2 , y 2 ) , ... , ( xn , y n )
yi   0   1 xi   i , i  1, 2, 3, ..., n

 : ordonnée à l' origine.

0

 : pente de la régression.
1

  0 et 1 sont des paramètres inconnus qui se rapportent à la population.

On doit donc les estimer.
 X i : variable mesurée sans erreur donc elle est certaine.
 Yi : variable mesurée avec erreur donc elle est aléatoire.
 Les erreurs  1 ,  2 , ... ,  n sont supposées iid N 0 ,  2 .
Il en résulte
yi ~ N  0  1 xi ,  2 
 Estimation des paramètres  et  . 0 1

y yˆ  ˆ0  ˆ1 x
• • ˆ0 : estimateur de  0 .
ŷ 2 ˆ ˆ1 : estimateur de 1 .
y2 • •
2
ˆ2 : estimateur de  2 .
y2 yˆ 2 : estimateur de y 2 .
0 x2 x

yˆ 2  ˆ0  ˆ1 x2
y2  ˆ0  ˆ1 x2  ˆi
ˆ2  yˆ 2  y2 : résidu
3. Méthode d’estimation des moindres carrés
ordinaires (m.c.o)

On cherchera à minimiser la somme des erreurs entre les points et la

droite au carré.

n n
min    min   yi   0  1 xi 
2 2
i
 0 , 1  0 , 1
i 1 i 1
.
On pose
n n
S xx   ( xi  x )   xi2  nx 2
2

i 1 i 1

n n
S yy   ( yi  y )   yi2  ny 2
2

i 1 i 1

n n
S xy   ( xi  x )( yi  y )   xi yi  nx y
i 1 i 1

ˆ S xy
 1 
S xx
 ˆ  y  ˆ x
0 1
Exemple
X : quantité d' eau sur un lopin de terre
xi yi xi 2
yi2 xi y i
Y : quantité de blé récolté
2 3 4 9 6
3 3 9 9 9 y
4 2 16 4 8 6 •
5 4 25 16 20
5 5 25 25 25 5 • •
6 3 36 9 18 4 • • • •
6 4 36 16 24
3 • •
7 5 49 25 35
2 •
8 4 64 16 32
8 6 64 36 48 1

0 1 2 3 4 5 6 7 8 x
54 39 328 165 225
.
 x  5.4
 y  3.9
 S xx  328  10  (5.4) 2  36.4
 S yy  165  10  (3.9) 2  12.9
 S xy  225  10  (5.4)  (3.9)  14.4
S 14.4
 ˆ1  xy   0.396
S xx 36.4
 ˆ  y  ˆ x  3.9  0.396  5.4  1.7616
0 1

La droite de régression
 yˆ  1.7616  0.396 x

x  0 , yˆ  1.762
x  8 , yˆ  4.93
6. Coefficient de détermination
• Coefficient de détermination
SCR ˆ 2
S
R2   1 xx ; 0  R2  1
SCT S yy
Poportion de la variance totale de y expliquée par x.

y y
• •
• ••
•
• •
•
R2  1
• R2  1

0 0 x
x
R 2  1  association linéaire parfaite (négative ou positive) entre x et y.
.
y y
R 02
• • • R2  0
• • • • • •
• •
• • • • • •
• • •
0 x 0 x
ˆ S 2

R  2
 0  ˆ  0  aucune association linéaire.
1 xx

S
1
yy

y
y
• •• • •
• •• • • • •
• • •
• • R  0.8 2

• • •
R 2  0 .4
•
0 x 0 x
Exemple
SCR ˆ12 S xx (0.396) 2  36.4
R 
2
   0.4425
SCT S yy 12.9