X, mais de plusieurs variables explicatives 𝑿 𝒊 . C’est pour cela, qu’on fait souvent recours au
modèle de régression linéaire multiple, qui est une généralisation du modèle de régression
simple.
régression.
I- Présentation du modèle
La relation entre la variable expliquée Y et les variables explicatives X1, X2, ... , XP-1est défini par le modèle linéaire stochastique suivant :
𝒀 = 𝒂𝟎 + 𝒂𝟏 𝑿𝟏 + 𝒂𝟐 𝑿𝟐 + ⋯ + 𝒂𝒑−𝟏 𝑿𝒑−𝟏 + 𝜺
−−−−−−−−−−−−
Le modèle de régression linéaire multiple pour tout individu 𝒊 s’écrit comme suit :
𝒚𝒊 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒊 𝟏 + 𝒂𝟐 𝒙𝒊 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒊 (𝒑−𝟏) + 𝜺𝒊 Avec :
−−−−−−−−−−−−−−−−−−−
comme suit :
𝒚𝟏 = 𝒂𝟎 + 𝒂𝟏 𝒙𝟏 𝟏 + 𝒂𝟐 𝒙𝟏 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝟏 (𝒑−𝟏) + 𝜺𝟏 𝒚𝟐 = 𝒂𝟎 + 𝒂𝟏 𝒙𝟐 𝟏 + 𝒂𝟐 𝒙𝟐 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝟐 (𝒑−𝟏) + 𝜺𝟐 −−−−−−−−−−−−−−−−−−−−−− 𝒚𝒊 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒊 𝟏 + 𝒂𝟐 𝒙𝒊 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒊 (𝒑−𝟏) + 𝜺𝒊 −−−−−−−−−−−−−−−−−−−−−− {𝒚𝒏 = 𝒂𝟎 + 𝒂𝟏 𝒙𝒏 𝟏 + 𝒂𝟐 𝒙𝒏 𝟐 + ⋯ + 𝒂𝒑−𝟏 𝒙𝒏 (𝒑−𝟏) + 𝜺𝒏
L’écriture matricielle du modèle, résumant ces 𝒏 équations, est définie sous la forme : 𝒚𝟏 𝟏 𝒙𝟏𝟏 𝒙𝟏𝟐 … 𝒙𝟏 (𝒑−𝟏) 𝒂𝟎 𝜺𝟏 𝒚𝟐 𝟏 𝒙𝟐𝟏 𝒙𝟐𝟐 … 𝒙𝟐 (𝒑−𝟏) 𝒂𝟏 𝜺𝟐 ⋮ 𝟏 ⋮ ⋮ … ⋮ ⋮ ⋮ 𝒚𝒊 = 𝟏 𝒙𝒊𝟏 𝒙 𝒊𝟐 … 𝒙𝒊(𝒑−𝟏) 𝒂 𝒊 + 𝜺𝒊 ⋮ ⋮ ⋮ ⋮ … ⋮ ⋮ ⋮ (𝒚𝒏 ) ( 𝟏 𝒙𝒏 𝟏 𝒙 𝒏𝟐 … 𝒙𝒏 (𝒑−𝟏) ) (𝒂𝒑−𝟏 ) (𝜺𝒏 )
𝒀 = 𝐗 𝐚 + 𝛆
Avec :
𝒂𝟎 𝜺𝟏 𝒂𝟏 𝜺𝟐 ⋮ ⋮ 𝒂= 𝒂𝒊 ; 𝜺 = 𝜺𝒊 ⋮ ⋮ (𝒂𝒑−𝟏 ) (𝜺𝒏 )
𝑪𝒐𝒗 (𝒙𝒊𝒋 , 𝜺𝒊 ) = 𝟎 , ∀ 𝒊 ≠ 𝒋
𝝈𝟐 𝟎 ⋯ 𝟎 ⇒ 𝑽𝒂𝒓(𝜺) = ( 𝟎 𝝈𝟐 … 𝟎) ⋮ ⋮ ⋱ ⋮ 𝟎 𝟎 ⋯ 𝝈𝟐 𝟏 𝟎 ⋯ 𝟎 … = 𝝈𝟐 ( 𝟎 𝟏 𝟎) ⋮ ⋮ ⋱ ⋮ 𝟎 𝟎 ⋯ 𝟏
⇒ 𝑽𝒂𝒓(𝜺) = 𝝈𝟐 𝑰𝒏
𝜺𝒊 ↝ 𝑵(𝟎, 𝝈𝟐 ) ; ∀ 𝒊 = 𝟏, … , 𝒏 .
La matrice (𝑿′ 𝑿) est une matrice inversible (dite aussi matrice régulière ou
𝐝𝐞𝐭 (𝐗 ′ 𝐗) ≠ 𝟎 On a une absence de colinéarité entre les variables explicatives.
𝒓𝒂𝒏𝒈(𝑿′ 𝑿) = 𝒓𝒂𝒏𝒈(𝑿) = 𝒑
(𝑿′ 𝑿) tend vers une matrice finie non singulière lorsque 𝒏 tend vers l’infini. 𝒏
𝒚=𝑿𝒂+ 𝜺 ̂+ 𝒆= 𝒚 ; 𝒚=𝑿𝒂 ̂+ 𝒆 ; 𝒚 ̂=𝑿𝒂 ̂ avec : 𝑒 = 𝑦 −
𝑦̂
̂𝟏 𝒚 ̂𝟏 𝒂 𝒆𝟏 ̂ 𝒚 ̂ 𝒂 𝒆 ̂ = ( 𝟐 ) ; 𝒆 = ( ⋮𝟐 ) ̂ = ( 𝟐) ; 𝒂 Avec : 𝒚 ⋮ ⋮ ̂𝒏 𝒚 ̂𝒏 𝒂 𝒆𝒏
Pour estimer le vecteur 𝒂 = (𝒂𝟎 , 𝒂𝟏 , … , 𝒂𝒑−𝟏 ) , c’est à dire estimer les 𝒑 paramètres
̂𝟎, 𝒂 inconnus 𝒂𝟎 , 𝒂𝟏 , … , 𝒂𝒑−𝟏 , par 𝒂 ̂𝟏, … , 𝒂 ̂ 𝒑−𝟏 , on utilisera la méthode des moindres
carrés ordinaires (MCO), qui procède par la minimisation de la somme des carrés des erreurs :
∑ 𝒆𝟐𝒊 = ∑(𝒀𝒊 − 𝒂 ̂𝟎 − 𝒂 ̂𝒑−𝟏 𝑿𝒊 𝒑−𝟏 )𝟐 ̂𝟏 𝑿𝒊 𝟏 − ⋯ − 𝒂
∑ 𝒆𝟐𝒊 = 𝒆′ 𝒆 = (𝒚 − 𝒚 ̂)′ (𝒚 − 𝒚 ̂)
⇔ ∑ 𝒆𝟐𝒊 = (𝒚 − 𝑿 𝒂 ̂ )′ (𝒚 − 𝑿 𝒂 ̂ ) = (𝒚′ − (𝑿 𝒂 ̂ )′ ) (𝒚 − 𝑿 𝒂 ̂ ) = (𝒚′ − 𝒂 ̂ ′ 𝑿 ′ ) (𝒚 − 𝑿 𝒂 ̂)
⇔ ∑ 𝒆𝟐𝒊 = (𝒚′ − 𝒂 ̂ ′ 𝑿 ′ ) (𝒚 − 𝑿 𝒂 ̂ ) = 𝒚′ 𝒚 − 𝒂̂ ′ 𝑿′ 𝒚 − 𝒚′ 𝑿 𝒂 ̂ ′ 𝑿′ 𝑿 𝒂 ̂+𝒂 ̂ ⇔ ∑ 𝒆𝟐𝒊 = 𝒚′ 𝒚 − 𝟐 𝒂 ̂ ′ 𝑿′ 𝒚 + 𝒂̂ ′ 𝑿′ 𝑿 𝒂 ̂
𝒂̂ ′ 𝑿′ 𝒚 = (𝒂̂ ′ 𝑿′ 𝒚 )′ = 𝒚′ 𝑿 𝒂 ̂.
Ainsi, on a :
∑ 𝒆𝟐𝒊 = 𝒚′ 𝒚 − 𝟐 𝒂 ̂ ′ 𝑿′ 𝒚 + 𝒂̂ ′ 𝑿′ 𝑿 𝒂 ̂
On obtient alors :
𝜕(∑ 𝑒𝑖2 ) ⇒ = 0 − 2 𝑋′ 𝑦 + 2 𝑋 ′ 𝑋 𝑎̂ = 0 𝜕𝑎̂
′ ′ ⇒ −𝑋 𝑦+ 𝑋 𝑋 𝑎 ̂=0
′ ̂ = 𝑋′ 𝑦 ⇒𝑋𝑋 𝑎
̂ = (𝑿′ 𝑿)−𝟏 𝑿′ 𝒚 ⇒𝒂
𝑿′ 𝑿 𝒂 ̂ = 𝑿′ 𝒚 ⇒ 𝑿′ 𝑿 𝒂 ̂ = 𝑿′ (𝑿𝒂 ̂ + 𝒆)
⇒ 𝑿′ 𝑿 𝒂 ̂ = 𝑿′ 𝑿 𝒂 ̂ + 𝑿′ 𝒆 ⇒ 𝑿′ 𝒆 = 𝟎
𝑿′ 𝑿 : Matrice symétrique.
∑ 𝒚𝒊 𝟏 𝟏 𝟏 𝟏 𝟏 𝒚𝟏 𝒙𝟏𝟏 𝒙𝟐𝟏 𝒙𝟑𝟏 𝒙𝒏𝟏 𝒚𝟐 ∑ 𝒙𝒊𝟏 𝒚𝒊 … …𝑿′ 𝒚 = 𝒙𝟏𝟐 𝒙𝟐𝟐 𝒙𝟑𝟐 𝒙𝒏𝟐 𝒚𝟑 = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ∑ 𝒙𝒊𝟐 𝒚𝒊 (𝒙𝟏(𝒑−𝟏) 𝒙𝟐(𝒑−𝟏) 𝒙𝟑(𝒑−𝟏) … 𝒙𝒏(𝒑−𝟏)) (𝒚𝒏 ) ⋮
(∑ 𝒙𝒊(𝒑−𝟏)𝒚𝒊 )
Ainsi, la relation 𝑿′ 𝑿 𝒂 ̂ = 𝑿′ 𝒚 donne :
∑ 𝒚𝒊
∑ 𝒙𝒊𝟏 𝒚𝒊 = ∑ 𝒙𝒊𝟐 𝒚𝒊 ⋮ (∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊 )
Les p équations suivantes, issues de cette relation matricielle, sont appelées leséquations normales : ̂𝟎𝒏 + 𝒂 𝒂 ̂ 𝟏 ∑ 𝒙𝒊𝟏 + 𝒂 ̂ 𝟐 ∑ 𝒙𝒊𝟐 + ⋯ + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝒊(𝒑−𝟏) = ∑ 𝒚𝒊
𝒂 ̂ 𝟏 ∑ 𝒙𝟐𝒊𝟏 + 𝒂 ̂ 𝟎 ∑ 𝒙𝒊𝟏 + 𝒂 ̂ 𝟐 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 + ⋯ + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏) = ∑ 𝒙𝒊𝟏 𝒚𝒊
̂ 𝟏 ∑ 𝒙𝒊𝟐 + 𝒂 𝒂 ̂ 𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝟐𝒊(𝒑−𝟏) = ∑ 𝒙𝒊𝟐 𝒚𝒊 ̂ 𝟐 ∑ 𝒙𝟐𝒊𝟐 + ⋯ + 𝒂 …………………………………………………………………………………………. ̂ 𝟎 ∑ 𝒙𝒊(𝒑−𝟏) + 𝒂{𝒂 ̂ 𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 + 𝒂 ̂ (𝒑−𝟏) ∑ 𝒙𝟐𝒊(𝒑−𝟏) = ∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊 ̂ 𝟐 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 + ⋯ + 𝒂
̂𝟎, 𝒂 𝒂 ̂ 𝟏 , ..., 𝒂 ̂ (𝒑−𝟏).
𝑿′ 𝑿 𝒂 ̂ = 𝑿′ 𝒚 ⇒ 𝒂 ̂ = (𝑿′ 𝑿)−𝟏 𝑿′ 𝒚
̂𝟎 𝒂 ̂𝟏 𝒂 ̂= 𝒂 ̂𝟐 𝒂 ⋮ ̂ (𝒑−𝟏) ) (𝒂 −𝟏 𝒏 ∑ 𝒙𝒊𝟏 ∑ 𝒙𝒊𝟐 ∑ 𝒙𝒊(𝒑−𝟏) ∑ 𝒚𝒊 ∑ 𝒙𝒊𝟏 … ∑ 𝒙𝟐𝒊𝟏 ∑ 𝒙𝒊𝟏 𝒙𝒊𝟐 ∑ 𝒙𝒊𝟏 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊𝟏 𝒚𝒊 … … = ∑ 𝒙𝒊𝟐 ∑ 𝒙𝒊𝟐 𝒙𝒊𝟏 ∑ 𝒙𝟐𝒊𝟐 ⋮ ∑ 𝒙𝒊𝟐 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊𝟐 𝒚𝒊 ⋮ … … … … ⋮ ∑ 𝒙𝒊(𝒑−𝟏) ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟏 ∑ 𝒙𝒊(𝒑−𝟏) 𝒙𝒊𝟐 ∑ 𝒙𝟐𝒊(𝒑−𝟏) ( ) (∑ 𝒙𝒊(𝒑−𝟏) 𝒚𝒊 )
