Le calcul de a et b

Dans toute la suite on supposera que le nuage a n points et on utilisera comme critère
de recherche de a et b:
Critère:
Les coefficients a et b sont les valeurs qui rendent minimum la fonction de deux
variables f(a,b) somme des carrés des écarts
n n
 2
f(a, b) = e 1 +...+ e n = ∑ (y i − y i ) = ∑ (y i − ax i − b) 2
2 2

i =1 i =1

Théorème:
Les coefficients a et b existent et sont uniques. La droite obtenue y=ax+b s'appelle la
droite de régression de y en x. C'est la droite ( le modèle algébrique) qui explique le
nuage de points.
Rappel sur les fonctions de deux variables
Si une fonction de deux variables admet un minimum (ou un maximum) alors les
dérivées partielles d'ordre 11 sont nulles.
∂f ∂f
f (x1 , x 2 ) minimum ⇒ = 0et =0
∂x1 ∂x 2
Dans le cas particulier de la fonction considérée il y a équivalence. Rechercher a et b revient
donc à trouver les valeurs qui annulent les dérivées partielles d'ordre 1.

Théorème
Les coefficients a et b existent; ce sont les valeurs qui rendent minimum la fonction
de deux variables f(a,b) qui mesure la somme des carrés des écarts

n
f (a, b) = e1 +... + e n = ∑ (y i − ax i − b) 2
2 2

i =1
Démonstration:
Nous allons calculer les deux dérivées partielles de f par rapport à a et b
∂f
Calcul de :
∂a
n
∂( ∑ (y i − ax i − b) 2 ) ∂ (y i − ax i − b) 2 ∂ (y i − ax i − b) 2
∂f (a, b) ∂(e12 +... + e n 2 ) n n
= = i =1
=∑ =∑ =
∂a ∂a ∂a i =1 ∂a i =1 ∂a
n n n n

∑ 2(-xi )(yi − ax i − b) = −2∑ xi yi + 2a ∑ xi + 2b∑ xi

i =1 i =1 i =1
2

i =1
∂f
Calcul de :
∂b

∂( 3 x12 + 2x1 - 5x 2 3 ) ∂( 3x12 + 2x1 - 5x 2 3 )

= 6 x1 + 2 et = −15x2
1Par 2
exemple
∂x1 ∂x 2
 n
∂( ∑ (y i − ax i − b) 2 ) ∂ (y i − ax i − b) 2 ∂ (y i − ax i − b) 2
∂f (a, b) ∂( e12 +... + e n 2 ) n n
= = i =1
=∑ =∑ =
∂b ∂b ∂b i =1 ∂b i =1 ∂b
n n n n n n

∑ (-2)(yi − ax i − b) = −2∑ yi + 2a ∑ xi + 2b∑ 1 = −2∑ yi + 2a ∑ xi + 2bn

i =1 i =1 i =1 i =1 i =1 i =1

Finalement on obtient le système

⎧ ∂ f(a,b) n n n
⎧ n 2 n n
= − ∑ + ∑ + ∑ ⎪ ∑ i + ∑ i ∑ x i yi
2
⎪ ∂a 2 x y
i i 2a x i 2b x i =0 a x b x = (1)
⎪ i =1 i =1 i =1 ⎪ i =1 i =1 i =1
⎨ ⇔⎨ n
⎪ ∂ f(a,b) = −2 y + 2a x + 2bn=0
n n n
⎪a x + bn= y
⎪⎩ ∂ b ∑
i =1
i ∑i =1
i
⎪⎩ ∑i =1
i ∑
i =1
i (2)

⎧ n 2 n n

⎪ a ∑
⎪ i =1
x i + b ∑
i =1
x i = ∑i =1
x i yi (1) ⎧ n 2
⎪ ∑ i
a x + b ∑
n
x
n

i ∑ x i yi
= (1)
⇔⎨ n n
⇔ ⎨ i =1 i =1 i =1
⎪b= 1 y − a 1 x ⎪
⎪⎩ n ∑ ∑ i ⎩b=y − ax
i (2) (2)
i =1 n i =1

Il s'agit d'un système de deux équations à deux inconnues a et b. Il existe de

nombreuses méthodes pour résoudre ce système. Nous en rappelons la solution à l'aide
des formules de Cramer utilisant les déterminants.
Le déterminant du système est positif et en général non nul
n n

∑ xi2 ∑x i n
⎛ n ⎞
2
⎛ n 2
2 1 1 ⎛ n ⎞ ⎞
2
i =1 i =1
= n∑ xi 2
− ⎜ ∑ x i ⎟ = n ⎜ ∑ x i − 2 ⎜ ∑ x i ⎟ ⎟⎟ = n 2 V(x)
⎜
⎝ i =1 ⎠ n ⎝ i =1 ⎠ ⎠
n

∑x
i =1
i n i =1 ⎝ n i =1

Le déterminant du système est nul si tous les points du nuages ont la même abscisse
(dispersion nulle sur l'axe des abscisses ⇔ V(x)=0).
Les solutions a et b sont égales à:
n n

∑ xiy i
i =1
∑x
i =1
i

n n
⎛ n n
⎞
∑yi
i =1
n n∑ xiy i − ⎜∑ xi ∑ y i ⎟
i =1 ⎝ i =1 i =1 ⎠
a= = b = y − ax
n n
n 2 V(x)
∑x
i =1
i
2
∑x i =1
i

∑x i =1
i n

1 n ⎛ 1 n ⎞⎛ 1 n ⎞
En posant Cov(x, y) = ∑
n i =1
x y
i i − ⎜ ∑ x i ⎟ ⎜ ∑ y i ⎟ (cette expression s'appelle la
⎝ n i =1 ⎠ ⎝ n i =1 ⎠
covariance de x et de y), on peut exprimer a et b sous les formules résumées

Cov(x, y)
a= b = y − ax
V(x)
 La moyenne des yi est égale à la moyenne des axi+b

 1 n  1 n ⎛1 n ⎞
y = ∑ yi = ∑ (axi + b) = a ⎜ ∑ xi ⎟ + b = ax + b = y
n i =1 n i =1 ⎝ n i =1 ⎠

Propriété : La variance résiduelle est égale à la variance de la série

statistique des écarts.

⎛1 n 2⎞ 2 ⎛1 n 2⎞
Vr = ⎜ ∑ ei ⎟ − e = ⎜ ∑ ei ⎟ car e = 0
2

⎝ n i =1 ⎠ ⎝ n i =1 ⎠
Démonstration:
⎛1 n 2⎞ 1 n  2 1 n  2 1 n  1 n 1 n  2 n 
⎜ n ∑ ei ⎟ = n ∑ (yi − yi ) = n ∑ (yi − y + y − yi ) = n ∑ ⎡⎣ (yi − y ) − (yi - y ) ⎤⎦ = n ∑ (yi − y ) + n ∑ (yi - y ) − n ∑ (yi − y )(yi - y )
2
2 2

⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1 i =1

On va montrer que l'on a:

1 n  1 n 
∑
n i =1
( y i - y ) 2
= ∑
n i =1
(y i − y )( y i - y )

a)
1 n
 1 n 1 n 1 n Cov(x, y) 2 Cov(x, y) 2
∑
n i =1
(y i - y) 2 = ∑ (ax i + b - ax - b) 2 = ∑ (ax i - ax) 2 = a 2 ∑ (x i - x) 2 =
n i =1 n i =1 n i =1 V(x) 2
V(x) =
V(x)
b)
1 n  1 n 1 n 1 n Cov(x, y) Cov(x, y) 2
∑
n i =1
(y i − y)(y i - y) = ∑ (y i − y)(ax i + b - ax - b) = ∑ (y i − y)(ax i - ax) = a ∑ (y i − y)(x i - x) =
n i =1 n i =1 n i =1 V(x)
Cov(x, y) =
V(x)

Il en résulte que
Donc:
⎛1 n 2⎞ 1 n 1 n  2 n  1 n 1 n 
⎜ n ∑ ei ⎟ = n ∑ (yi − y) + n ∑ (yi -y) − n ∑ (yi − y)(yi -y) = n ∑ (yi − y) − n ∑ (yi -y) = V(y) − Ve
2 2 2 2

⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1

Il en résulte la propriété, à savoir que la variance résiduelle est la variance de la série des écarts
que l'on a utilisé pour mettre en évidence la droite de régression.

L'écart type résiduel mesure donc bien la dispersion de l'information perdue et

l'écart type expliqué la dispersion de l'information conservée

⎛1 n 2⎞ 1 n 1 n  2 n  1 n 1 n 
⎜ n ∑ ei ⎟ = n ∑ (yi − y) + n ∑ (yi -y) − n ∑ (yi − y)(yi -y) = n ∑ (yi − y) − n ∑ (yi -y) = V(y) − Ve
2 2 2 2

⎝ i =1 ⎠ i =1 i =1 i =1 i =1 i =1
 Relation entre le coefficient de détermination r² et les variances expliquée
et résiduelle

Définition de l'indicateur de réduction de la dispersion:

Il s'exprime en pourcentage, on l'appellera plus communément le pourcentage qui

explique le nuage de points et vaut:
Ve σ2
= e2
V(y) σ
.
Propriété
Le pourcentage qui explique le nuage de points est égal au coefficient de
détermination:
V σ2
r 2 = e = e2
V(y) σ
et le pourcentage résiduel est égal à 1-r²
V σ2
1 − r 2 = r = r2
V(y) σ
Il est facile de vérifier que l'on obtient bien les mêmes valeurs avec l'exemple
précédent.

Démonstration
D'après ce qui précède on a
1 n  1 n 1 n 2 1
n
Cov(x, y) 2 Cov(x, y) 2
Ve = ∑ i
n i =1
(y - y) 2
= ∑ i
n i =1
(ax + b - ax - b) 2
= ∑ i
n i =1
(ax - ax) 2
= a ∑ i
n i =1
(x - x) 2
=
V(x) 2
V(x) =
V(x)
Ve Cov(x, y) 2
donc: = = r².
V ( y ) V(y)V(x)
Vr V(y) - Ve
Comme Vr = V(y) - Ve ⇒ = = 1− r ².
V(y) V(y)
On utilisera ces résultats pour calculer les différentes variances. Si r² et V(y) sont connus par
le calcul, il est facile d'évaluer les variances expliquée et résiduelle.
Ve = V(y)r² et Vr = V(y) - Ve = V(y) - V(y) r ² = (1 − r ²) V(y)