Vous êtes sur la page 1sur 8

Séance du 08/04/2020

Chapitre 2: Régression linéaire multiple


Généralement, la variable expliquée Y ne dépend pas d’une seule variable explicative

X, mais de plusieurs variables explicatives 𝑿 𝒊 . C’est pour cela, qu’on fait souvent recours au

modèle de régression linéaire multiple, qui est une généralisation du modèle de régression

simple.

Dans ce cas, on parlera de l’hyperplan de régression, au lieu de la droite de

régression.

I- Présentation du modèle

La relation entre la variable expliquée Y et les variables explicatives X1, X2, ... , XP-1
est défini par le modèle linéaire stochastique suivant :

𝒀 = 𝒂𝟎 + 𝒂𝟏 𝑿𝟏 + 𝒂𝟐 𝑿𝟐 + ⋯ + 𝒂𝒑−𝟏 𝑿𝒑−𝟏 + 𝜺

L’observation d’un échantillon de n individus permet d’obtenir les données suivantes :

(𝒙𝟏𝟏 ; 𝒙𝟏𝟐 ; … ; 𝒙𝟏 (𝒑−𝟏) ; 𝒚𝟏 )

(𝒙𝟐𝟏 ; 𝒙𝟐𝟐 ; … ; 𝒙𝟐 (𝒑−𝟏) ; 𝒚𝟐 )

−−−−−−−−−−−−

(𝒙𝒏𝟏 ; 𝒙𝒏𝟐 ; … ; 𝒙𝒏 (𝒑−𝟏) ; 𝒚𝒏 )

Le modèle de régression linéaire multiple pour tout individu 𝒊 s’écrit comme suit :

𝒚𝒊 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒊 𝟏 + 𝒂𝟐 𝒙𝒊 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒊 (𝒑−𝟏) + 𝜺𝒊
Avec :

𝒚𝒊 ∶ 𝒗𝒂𝒓𝒊𝒂𝒃𝒍𝒆 à 𝒆𝒙𝒑𝒍𝒊𝒒𝒖𝒆𝒓 𝒑𝒐𝒖𝒓 𝒍′ 𝒊𝒏𝒅𝒊𝒗𝒊𝒅𝒖 𝒊

𝒙𝒊 𝟏 ∶ 𝒗𝒂𝒓𝒊𝒂𝒃𝒍𝒆 𝒆𝒙𝒑𝒍𝒊𝒄𝒂𝒕𝒊𝒗𝒆 𝟏 𝒑𝒐𝒖𝒓 𝒍′ 𝒊𝒏𝒅𝒊𝒗𝒊𝒅𝒖 𝒊

𝒙𝒊 𝟐 ∶ 𝒗𝒂𝒓𝒊𝒂𝒃𝒍𝒆 𝒆𝒙𝒑𝒍𝒊𝒄𝒂𝒕𝒊𝒗𝒆 𝟐 𝒑𝒐𝒖𝒓 𝒍′ 𝒊𝒏𝒅𝒊𝒗𝒊𝒅𝒖 𝒊

−−−−−−−−−−−−−−−−−−−

𝒙𝒊 𝒏 ∶ 𝒗𝒂𝒓𝒊𝒂𝒃𝒍𝒆 𝒆𝒙𝒑𝒍𝒊𝒄𝒂𝒕𝒊𝒗𝒆 𝒏 𝒑𝒐𝒖𝒓 𝒍′ 𝒊𝒏𝒅𝒊𝒗𝒊𝒅𝒖 𝒊

𝒂𝟎 , 𝒂𝟏 , 𝒂𝟐 , … , 𝒂𝒑−𝟏 ∶ 𝒍𝒆𝒔 𝒑𝒂𝒓𝒂𝒎è𝒕𝒓𝒆𝒔 𝒅𝒖 𝒎𝒐𝒅è𝒍𝒆 à 𝒆𝒔𝒕𝒊𝒎𝒆𝒓

𝜺𝒊 ∶ 𝒆𝒓𝒓𝒆𝒖𝒓 𝒅𝒆 𝒔𝒑é𝒄𝒊𝒇𝒊𝒄𝒂𝒕𝒊𝒐𝒏 𝒒𝒖𝒊 𝒆𝒔𝒕 𝒊𝒏𝒄𝒐𝒏𝒖𝒖𝒆

L’écriture du modèle pour toutes les 𝒏 observations de l’échantillon se présente

comme suit :

𝒚𝟏 = 𝒂𝟎 + 𝒂𝟏 𝒙𝟏 𝟏 + 𝒂𝟐 𝒙𝟏 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝟏 (𝒑−𝟏) + 𝜺𝟏
𝒚𝟐 = 𝒂𝟎 + 𝒂𝟏 𝒙𝟐 𝟏 + 𝒂𝟐 𝒙𝟐 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝟐 (𝒑−𝟏) + 𝜺𝟐
−−−−−−−−−−−−−−−−−−−−−−
𝒚𝒊 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒊 𝟏 + 𝒂𝟐 𝒙𝒊 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒊 (𝒑−𝟏) + 𝜺𝒊
−−−−−−−−−−−−−−−−−−−−−−
{𝒚𝒏 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒏 𝟏 + 𝒂𝟐 𝒙𝒏 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒏 (𝒑−𝟏) + 𝜺𝒏

L’écriture matricielle du modèle, résumant ces 𝒏 équations, est définie sous la forme :
𝒚𝟏 𝟏 𝒙𝟏𝟏 𝒙𝟏𝟐 … 𝒙𝟏 (𝒑−𝟏) 𝒂𝟎 𝜺𝟏
𝒚𝟐 𝟏 𝒙𝟐𝟏 𝒙𝟐𝟐 … 𝒙𝟐 (𝒑−𝟏) 𝒂𝟏 𝜺𝟐
⋮ 𝟏 ⋮ ⋮ … ⋮ ⋮ ⋮
𝒚𝒊 = 𝟏 𝒙𝒊𝟏 𝒙 𝒊𝟐 … 𝒙𝒊(𝒑−𝟏) 𝒂 𝒊
+ 𝜺𝒊
⋮ ⋮ ⋮ ⋮ … ⋮ ⋮ ⋮
(𝒚𝒏 ) ( 𝟏 𝒙𝒏 𝟏 𝒙 𝒏𝟐 … 𝒙𝒏 (𝒑−𝟏) ) (𝒂𝒑−𝟏 ) (𝜺𝒏 )

𝒀 = 𝐗 𝐚 + 𝛆

(𝒏, 𝟏) = (𝐧, 𝐩) (𝐩, 𝟏) + (𝐧, 𝟏)

Avec :

𝒚𝟏 𝟏 𝒙𝟏𝟏 𝒙𝟏𝟐 … 𝒙𝟏 (𝒑−𝟏)


𝒚𝟐 𝟏 𝒙𝟐𝟏 𝒙𝟐𝟐 … 𝒙𝟐 (𝒑−𝟏)
⋮ 𝟏 ⋮ ⋮ … ⋮
𝐘 = 𝒚𝒊 ; 𝑿 = 𝒙𝒊𝟐 … 𝒙𝒊(𝒑−𝟏)
𝟏 𝒙𝒊𝟏
⋮ ⋮ ⋮ ⋮ … ⋮
(𝒚𝒏 ) ( 𝟏 𝒙𝒏 𝟏 𝒙𝒏 𝟐 … 𝒙𝒏 (𝒑−𝟏) )

𝒂𝟎 𝜺𝟏
𝒂𝟏 𝜺𝟐
⋮ ⋮
𝒂= 𝒂𝒊 ; 𝜺 = 𝜺𝒊
⋮ ⋮
(𝒂𝒑−𝟏 ) (𝜺𝒏 )

II- Hypothèses du modèle


 Les valeurs 𝑥𝑖 𝑗 de la matrice des variables explicatives X sont observées sans

erreur (elles sont des valeurs certaines).

𝑪𝒐𝒗 (𝒙𝒊𝒋 , 𝜺𝒊 ) = 𝟎 , ∀ 𝒊 ≠ 𝒋

Les erreurs sont indépendantes des variables explicatives


𝐸(𝜀1 ) 0
𝐸(𝜀2 )
 𝑬(𝜺) = 𝟎 ∶ 𝐸 (𝜀 ) = ( ) = (0)
⋮ ⋮
𝐸(𝜀𝑛 ) 0

 𝑽𝒂𝒓 (𝜺) = 𝑬(𝜺 𝜺′ ) = 𝝈𝜺 𝟐 𝑰𝒏 = 𝜴𝜺

La matrice des variances – covariances 𝑽𝒂𝒓(𝜺) s’écrit comme suit :

𝑽𝒂𝒓(𝜺𝟏 ) 𝑪𝒐𝒗(𝜺𝟏 , 𝜺𝟐 ) ⋯ 𝑪𝒐𝒗(𝜺𝟏 , 𝜺𝒏 )


𝑪𝒐𝒗(𝜺𝟐 , 𝜺𝟏 ) 𝑽𝒂𝒓(𝜺𝟐 ) … 𝑪𝒐𝒗(𝜺𝟐 , 𝜺𝒏 )
𝑽𝒂𝒓(𝜺) = ( )
⋮ ⋮ ⋱ ⋮
𝑪𝒐𝒗(𝜺𝒏 , 𝜺𝟏 ) 𝑪𝒐𝒗(𝜺𝒏 , 𝜺𝟐 ) ⋯ 𝑽𝒂𝒓(𝜺𝒏 )

𝝈𝟐 𝟎 ⋯ 𝟎
⇒ 𝑽𝒂𝒓(𝜺) = ( 𝟎 𝝈𝟐 … 𝟎)
⋮ ⋮ ⋱ ⋮
𝟎 𝟎 ⋯ 𝝈𝟐
𝟏 𝟎 ⋯ 𝟎

= 𝝈𝟐 ( 𝟎 𝟏 𝟎)
⋮ ⋮ ⋱ ⋮
𝟎 𝟎 ⋯ 𝟏

⇒ 𝑽𝒂𝒓(𝜺) = 𝝈𝟐 𝑰𝒏

𝑽(𝜺𝒊 ) = 𝑬(𝜺𝟐𝒊 ) = 𝝈𝟐 𝒆𝒕 𝑪𝒐𝒗(𝜺𝒊 , 𝜺𝒊′ ) = 𝟎 , ∀ 𝒊 ≠ 𝒊′

Avec : 𝜺′ est la transposée de l’erreur 𝜺 .

 𝜺𝒊 ↝ 𝑵(𝟎, 𝝈𝟐 ) ; ∀ 𝒊 = 𝟏, … , 𝒏 .

 La matrice (𝑿′ 𝑿) est une matrice inversible (dite aussi matrice régulière ou

matrice non singulière), et sa matrice inversible (𝑿′ 𝑿)−𝟏 existe car :

𝐝𝐞𝐭 (𝐗 ′ 𝐗) ≠ 𝟎
On a une absence de colinéarité entre les variables explicatives.

𝒓𝒂𝒏𝒈(𝑿′ 𝑿) = 𝒓𝒂𝒏𝒈(𝑿) = 𝒑

(𝑿′ 𝑿)
 tend vers une matrice finie non singulière lorsque 𝒏 tend vers l’infini.
𝒏

 𝒏 > 𝒑 ∶ le nombre d’observations 𝒏 est supérieur au nombre de coefficients

à estimer 𝒑 (𝒑 = nombre de variables explicatives + 1).

III- Estimation du modèle

Le modèle de régression linéaire multiple, sous sa forme matricielle, se présente


comme suit :

𝒚=𝑿𝒂+ 𝜺 ̂+ 𝒆= 𝒚
; 𝒚=𝑿𝒂 ̂+ 𝒆 ; 𝒚
̂=𝑿𝒂
̂ avec : 𝑒 = 𝑦 −

𝑦̂

̂𝟏
𝒚 ̂𝟏
𝒂 𝒆𝟏
̂
𝒚 ̂
𝒂 𝒆
̂ = ( 𝟐 ) ; 𝒆 = ( ⋮𝟐 )
̂ = ( 𝟐) ; 𝒂
Avec : 𝒚
⋮ ⋮
̂𝒏
𝒚 ̂𝒏
𝒂 𝒆𝒏

Pour estimer le vecteur 𝒂 = (𝒂𝟎 , 𝒂𝟏 , … , 𝒂𝒑−𝟏 ) , c’est à dire estimer les 𝒑 paramètres

̂𝟎, 𝒂
inconnus 𝒂𝟎 , 𝒂𝟏 , … , 𝒂𝒑−𝟏 , par 𝒂 ̂𝟏, … , 𝒂
̂ 𝒑−𝟏 , on utilisera la méthode des moindres

carrés ordinaires (MCO), qui procède par la minimisation de la somme des carrés des erreurs :

∑ 𝒆𝟐𝒊 = ∑(𝒀𝒊 − 𝒂
̂𝟎 − 𝒂 ̂𝒑−𝟏 𝑿𝒊 𝒑−𝟏 )𝟐
̂𝟏 𝑿𝒊 𝟏 − ⋯ − 𝒂

∑ 𝒆𝟐𝒊 = 𝒆′ 𝒆 = (𝒚 − 𝒚
̂)′ (𝒚 − 𝒚
̂)

⇔ ∑ 𝒆𝟐𝒊 = (𝒚 − 𝑿 𝒂
̂ )′ (𝒚 − 𝑿 𝒂
̂ ) = (𝒚′ − (𝑿 𝒂
̂ )′ ) (𝒚 − 𝑿 𝒂
̂ ) = (𝒚′ − 𝒂
̂ ′ 𝑿 ′ ) (𝒚 − 𝑿 𝒂
̂)

⇔ ∑ 𝒆𝟐𝒊 = (𝒚′ − 𝒂
̂ ′ 𝑿 ′ ) (𝒚 − 𝑿 𝒂
̂ ) = 𝒚′ 𝒚 − 𝒂̂ ′ 𝑿′ 𝒚 − 𝒚′ 𝑿 𝒂 ̂ ′ 𝑿′ 𝑿 𝒂
̂+𝒂 ̂
⇔ ∑ 𝒆𝟐𝒊 = 𝒚′ 𝒚 − 𝟐 𝒂
̂ ′ 𝑿′ 𝒚 + 𝒂̂ ′ 𝑿′ 𝑿 𝒂
̂

Car la transposée d’un scalaire est égal à lui-même :

𝒂̂ ′ 𝑿′ 𝒚 = (𝒂̂ ′ 𝑿′ 𝒚 )′ = 𝒚′ 𝑿 𝒂
̂.

Ainsi, on a :

Par dérivation partielle matricielle de la fonction « objectif » :

∑ 𝒆𝟐𝒊 = 𝒚′ 𝒚 − 𝟐 𝒂
̂ ′ 𝑿′ 𝒚 + 𝒂̂ ′ 𝑿′ 𝑿 𝒂
̂

On obtient alors :

𝜕(∑ 𝑒𝑖2 ) 𝜕 (𝑦 ′ 𝑦) 𝜕 (2 𝑎̂′ 𝑋 ′ 𝑦) 𝜕 (𝑎̂ ′ 𝑋′ 𝑋 𝑎̂)


= − +
𝜕𝑎̂ 𝜕𝑎̂ 𝜕𝑎̂ 𝜕𝑎̂

𝜕(∑ 𝑒𝑖2 )
⇒ = 0 − 2 𝑋′ 𝑦 + 2 𝑋 ′ 𝑋 𝑎̂ = 0
𝜕𝑎̂

′ ′
⇒ −𝑋 𝑦+ 𝑋 𝑋 𝑎
̂=0


̂ = 𝑋′ 𝑦
⇒𝑋𝑋 𝑎

̂ = (𝑿′ 𝑿)−𝟏 𝑿′ 𝒚
⇒𝒂

(Car la matrice (𝑿′ 𝑿) de dimension 𝒑 est inversible par hypothèse).

𝑿′ 𝑿 𝒂
̂ = 𝑿′ 𝒚 ⇒ 𝑿′ 𝑿 𝒂
̂ = 𝑿′ (𝑿𝒂
̂ + 𝒆)

⇒ 𝑿′ 𝑿 𝒂
̂ = 𝑿′ 𝑿 𝒂
̂ + 𝑿′ 𝒆 ⇒ 𝑿′ 𝒆 = 𝟎

𝟏 𝟏 𝟏 𝟏 𝟏 𝒙𝟏𝟏 𝒙𝟏𝟐 … 𝒙𝟏(𝒑−𝟏)


𝟏
𝒙𝟏𝟏 𝒙𝟐𝟏 𝒙𝟑𝟏 𝒙𝒏𝟏 𝟏 𝒙𝟐𝟏 𝒙𝟐𝟐 . 𝒙𝟐(𝒑−𝟏)

… ⋮ 𝒙𝟑(𝒑−𝟏)
𝑿′ 𝑿 = 𝒙𝟏𝟐 𝒙𝟐𝟐 𝒙𝟑𝟐 𝒙𝒏𝟐 𝟏 𝒙𝟑𝟏 𝒙𝟑𝟐
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
(𝒙𝟏(𝒑−𝟏) 𝒙𝟐(𝒑−𝟏) 𝒙𝟑(𝒑−𝟏) … 𝒙𝒏(𝒑−𝟏) ) (𝟏 𝒙𝒏𝟏 𝒙𝒏𝟐 … 𝒙𝒏(𝒑−𝟏) )
𝒏 ∑ 𝒙𝒊𝟏 ∑ 𝒙𝒊𝟐 …
∑ 𝒙𝒊(𝒑−𝟏)
∑ 𝒙𝒊𝟏 ∑ 𝒙𝟐𝒊𝟏 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 … ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏)

⇒𝑿 𝑿= ′ ∑ 𝒙𝒊𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 ∑ 𝒙𝟐𝒊𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊(𝒑−𝟏)

⋮ … … …

(∑ 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 ∑ 𝒙𝟐𝒊(𝒑−𝟏) )

𝑿′ 𝑿 : Matrice symétrique.

∑ 𝒚𝒊
𝟏 𝟏 𝟏 𝟏 𝟏 𝒚𝟏
𝒙𝟏𝟏 𝒙𝟐𝟏 𝒙𝟑𝟏 𝒙𝒏𝟏 𝒚𝟐 ∑ 𝒙𝒊𝟏 𝒚𝒊


𝑿′ 𝒚 = 𝒙𝟏𝟐 𝒙𝟐𝟐 𝒙𝟑𝟐 𝒙𝒏𝟐 𝒚𝟑 =
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ∑ 𝒙𝒊𝟐 𝒚𝒊
(𝒙𝟏(𝒑−𝟏) 𝒙𝟐(𝒑−𝟏) 𝒙𝟑(𝒑−𝟏) … 𝒙𝒏(𝒑−𝟏)) (𝒚𝒏 ) ⋮

(∑ 𝒙𝒊(𝒑−𝟏)𝒚𝒊 )

Ainsi, la relation 𝑿′ 𝑿 𝒂
̂ = 𝑿′ 𝒚 donne :

𝒏 ∑ 𝒙𝒊𝟏 ∑ 𝒙𝒊𝟐 ∑ 𝒙𝒊(𝒑−𝟏)


∑ 𝒙𝒊𝟏 … 𝒂
̂𝟎
∑ 𝒙𝟐𝒊𝟏 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 … ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏) 𝒂
̂𝟏

∑ 𝒙𝒊𝟐

𝒂
̂𝟐
∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 ∑ 𝒙𝟐𝒊𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊(𝒑−𝟏) ⋮
⋮ … … … …
∑ 𝒙𝒊(𝒑−𝟏) (𝒂
̂ (𝒑−𝟏) )
( ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 ∑ 𝒙𝟐𝒊(𝒑−𝟏) )

∑ 𝒚𝒊

∑ 𝒙𝒊𝟏 𝒚𝒊
=
∑ 𝒙𝒊𝟐 𝒚𝒊

(∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊 )

Les p équations suivantes, issues de cette relation matricielle, sont appelées les
équations normales :
̂𝟎𝒏 + 𝒂
𝒂 ̂ 𝟏 ∑ 𝒙𝒊𝟏 + 𝒂
̂ 𝟐 ∑ 𝒙𝒊𝟐 + ⋯ + 𝒂
̂ (𝒑−𝟏) ∑ 𝒙𝒊(𝒑−𝟏) = ∑ 𝒚𝒊

𝒂 ̂ 𝟏 ∑ 𝒙𝟐𝒊𝟏 + 𝒂
̂ 𝟎 ∑ 𝒙𝒊𝟏 + 𝒂 ̂ 𝟐 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 + ⋯ + 𝒂
̂ (𝒑−𝟏) ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏) = ∑ 𝒙𝒊𝟏 𝒚𝒊

̂ 𝟏 ∑ 𝒙𝒊𝟐 + 𝒂
𝒂 ̂ 𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝟐𝒊(𝒑−𝟏) = ∑ 𝒙𝒊𝟐 𝒚𝒊
̂ 𝟐 ∑ 𝒙𝟐𝒊𝟐 + ⋯ + 𝒂
………………………………………………………………………………………….
̂ 𝟎 ∑ 𝒙𝒊(𝒑−𝟏) + 𝒂
{𝒂 ̂ 𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝟐𝒊(𝒑−𝟏) = ∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊
̂ 𝟐 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 + ⋯ + 𝒂

La résolution de ce système de 𝒑 équations à 𝒑 inconnus nous donnent les valeurs de :

̂𝟎, 𝒂
𝒂 ̂ 𝟏 , ..., 𝒂
̂ (𝒑−𝟏).

̂ autrement en calculant (𝑿′ 𝑿)−𝟏 :


On peut calculer le vecteur 𝒂

𝑿′ 𝑿 𝒂
̂ = 𝑿′ 𝒚 ⇒ 𝒂
̂ = (𝑿′ 𝑿)−𝟏 𝑿′ 𝒚

̂𝟎
𝒂
̂𝟏
𝒂
̂=
𝒂 ̂𝟐
𝒂

̂ (𝒑−𝟏) )
(𝒂
−𝟏
𝒏 ∑ 𝒙𝒊𝟏 ∑ 𝒙𝒊𝟐 ∑ 𝒙𝒊(𝒑−𝟏) ∑ 𝒚𝒊
∑ 𝒙𝒊𝟏 …
∑ 𝒙𝟐𝒊𝟏 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊𝟏 𝒚𝒊


= ∑ 𝒙𝒊𝟐
∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 ∑ 𝒙𝟐𝒊𝟐 ⋮ ∑ 𝒙𝒊𝟐 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊𝟐 𝒚𝒊
⋮ … … … … ⋮
∑ 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 ∑ 𝒙𝟐𝒊(𝒑−𝟏)
( ) (∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊 )