Vous êtes sur la page 1sur 5

Séance du 15/04/2020

IV- Propriétés des estimateurs

 Montrons quêest
𝐚 un estimateur sans biais de a :

𝑎̂ = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑦 = (𝑋 ′ 𝑋)−1 𝑋 ′ (𝑋𝑎 + 𝜀 ) ; avec 𝑋 ′ : la transposée de la matrice X.

⇒ 𝑎̂ = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 ⇒ 𝑎̂ = 𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀

Car : (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋 = 𝐼 ; 𝐼 : la matrice identité d’ordre p.

Donc : 𝐸 (𝑎̂) = 𝐸 (𝑎) + 𝐸 ((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 ) ⇒ 𝐸 (𝑎̂) = 𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐸 (𝜀 )

𝐸 (𝑎̂) = 𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐸 (𝜀 ) ⇒ 𝐸 (𝑎̂) = 𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ . 0 = 𝑎 + 0

⇒ 𝑬( 𝒂
̂ ) = 𝒂 . Donc 𝒂̂ est un estimateur sans biais de a.

 Déterminons la matrice des variances et covariances de 𝒂


̂ (variance de 𝒂
̂ ):

𝛺𝑎̂ = 𝑉 (𝑎̂) = 𝐸((𝑎̂ − 𝑎)(𝑎̂ − 𝑎)′ )

⇒ 𝛺𝑎̂ = 𝐸((𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 − 𝑎)(𝑎 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 − 𝑎)′ )

⇒ 𝛺𝑎̂ = 𝐸(((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 )((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 )′ ) = 𝐸 ((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜀 𝜀 ′ 𝑋 (𝑋 ′ 𝑋)−1 )

⇒ 𝛺𝑎̂ = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐸 (𝜀 𝜀 ′ ) 𝑋 (𝑋 ′ 𝑋)−1 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜎𝜀 2 𝐼𝑛 𝑋 (𝑋 ′ 𝑋)−1

⇒ 𝛺𝑎̂ = 𝜎𝜀 2 (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋 (𝑋 ′ 𝑋)−1 = 𝜎𝜀 2 (𝑋 ′ 𝑋)−1

Donc : 𝛺𝑎̂ = 𝑉 (𝑎̂) = 𝜎𝜀 2 (𝑋 ′ 𝑋)−1


̂ sous sa forme matricielle est donnée comme suit :
La variance de 𝒂

𝑽(𝒂̂𝟎) ̂𝟎, 𝒂
𝑪𝒐𝒗(𝒂 ̂𝟏) ̂𝟎 , 𝒂
… 𝑪𝒐𝒗(𝒂 ̂ 𝒑−𝟏 )
̂𝟏 , 𝒂
𝑪𝒐𝒗(𝒂 ̂𝟎) 𝑽(𝒂̂𝟏) … 𝑪𝒐𝒗(𝒂
̂𝟏 , 𝒂
̂ 𝒑−𝟏 )
̂ ) = 𝝈𝜺 𝟐 (𝑿′ 𝑿)−𝟏 =
𝛀𝒂̂ = 𝑽(𝒂 ⋱
⋮ ⋮ ⋮
̂ 𝒑−𝟏 , 𝒂
𝑪𝒐𝒗(𝒂 ̂𝟎) ̂ 𝒑−𝟏 , 𝒂
𝑪𝒐𝒗(𝒂 ̂𝟏) … ̂ 𝒑−𝟏 )
𝑽(𝒂
( )

Or, on ne peut pas calculer la variance des coefficients estimés, car la variance des erreurs

est inconnue. Pour cela on doit déterminer une estimation de la variance des erreurs.

̂ 𝟐𝜺 :
 Déterminons la variance estimée des erreurs 𝝈

L’estimation de la variance des erreurs 𝝈𝟐𝜺 est faite à partir de la somme des carrés des
résidus :

𝑒 ′ 𝑒 = ∑ 𝑒𝑖2 = ∑(𝑒𝑖 − 𝑒̅)2 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2 = ∑ 𝑦𝑖2 − ∑ 𝑦̂𝑖2

⇒ 𝐸 (𝑒 ′ 𝑒) = 𝐸 (∑ 𝑒𝑖2 ) = ∑ 𝐸(𝑦𝑖2 ) − ∑ 𝐸 (𝑦̂𝑖2 ) = ∑(𝑉(𝑦𝑖 ) + 𝐸(𝑦𝑖 )2 ) − ∑(𝑉(𝑦̂𝑖 ) + 𝐸(𝑦̂𝑖 )2 )

⇒ = ∑(𝑉(𝑦𝑖 ) + 𝐸(𝑦𝑖 )2 ) − ∑(𝑉(𝑦̂𝑖 ) + 𝐸(𝑦̂𝑖 )2 )

Or, on a :

𝐸 (𝑦̂) = 𝐸 (𝑋 𝑎̂) = 𝑋 𝐸 (𝑎̂) = 𝑋 𝑎 = 𝐸 (𝑦) ⇒ ∀𝑖 = 1, … , 𝑛 ∶ 𝐸 (𝑦̂𝑖 ) = 𝐸 (𝑦𝑖 )

On a aussi :

𝑉 (𝑦̂) = 𝑉 (𝑋𝑎̂) = 𝑉 (𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ 𝑦) = 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ 𝑉 (𝑦)(𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ )′

⇒ 𝑉 (𝑦̂) = 𝜎𝜀 2 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ = 𝜎𝜀 2 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′

La forme matricielle de 𝑉 (𝑦̂) est la suivante :

𝑽(𝒚
̂ 𝟏) 𝑪𝒐𝒗(𝒚
̂ 𝟏, 𝒚
̂ 𝟐) … 𝑪𝒐𝒗(𝒚
̂ 𝟏, 𝒚
̂ 𝒏)
𝑪𝒐𝒗(𝒚
̂ 𝟐, 𝒚
̂ 𝟏) 𝑽(𝒚
̂ 𝟐) … 𝑪𝒐𝒗(𝒚
̂ 𝟐, 𝒚
̂ 𝒏)
𝑽(𝒚
̂) = ⋱
⋮ ⋮ ⋮

(𝑪𝒐𝒗(𝒚𝒏 , 𝒚𝟏 ) 𝑪𝒐𝒗(𝒚𝒏 , 𝒚𝟐 ) 𝑽(𝒚𝒏 ) )
̂ ̂ ̂ ̂ ̂
Donc 𝐸 (𝑒 ′ 𝑒) = ∑ 𝑉(𝑦𝑖 ) − ∑ 𝑉(𝑦̂𝑖 ) = 𝜎𝜀 2 𝑇𝑟(𝐼𝑛 ) − 𝜎𝜀 2 𝑇𝑟 (𝑋 (𝑋 ′ 𝑋)−1 𝑋 ′ )

Avec, Tr(M) : désigne la trace d'une matrice carrée M, qui est la somme de ses coefficients

diagonaux de cette matrice M.

⇒ 𝐸 (𝑒 ′ 𝑒) = 𝑛 𝜎𝜀 2 − 𝜎𝜀 2 𝑇𝑟((𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋) = 𝑛 𝜎𝜀 2 − 𝜎𝜀 2 𝑇𝑟(𝐼𝑝 ) = 𝑛 𝜎𝜀 2 − 𝑝 𝜎𝜀 2

Donc 𝐸 (𝑒 ′ 𝑒) = 𝐸 (∑ 𝑒𝑖2 ) = 𝐸 (∑(𝑒𝑖 − 𝑒̅)2 ) = 𝐸 (∑(𝑦 − 𝑦̂𝑖 )2 ) = (𝑛 − 𝑝)𝜎𝜀 2

𝑒′ 𝑒 𝑒2 (𝑒𝑖 −𝑒̅ )2 (𝑦−𝑦̂𝑖 )2


Donc 𝐸 ((𝑛−𝑝)) = 𝐸 (∑ (𝑛−𝑝)
𝑖
) = 𝐸 (∑ (𝑛−𝑝)
) = 𝐸 (∑ (𝑛−𝑝)
) = 𝜎𝜀 2

2
On cherche 𝜎̂𝜀 ̂ 𝜀 2 ) = 𝜎𝜀 2
tel que : 𝐸( 𝜎

2 𝑒′𝑒 𝑖 𝑒2 (𝑒𝑖 −𝑒̅)2 (𝑦−𝑦̂𝑖 )2 𝑆𝐶𝑅


D’où : 𝜎̂𝜀 =
(𝑛−𝑝)
= ∑ (𝑛−𝑝) =∑ (𝑛−𝑝)
=∑ (𝑛−𝑝)
=
(𝑛−𝑝)

𝑺𝑪𝑹
̂𝜺 𝟐 =
⇒ 𝝈
(𝒏 − 𝒑)

𝜎̂𝜀 2 est estimateur sans biais de 𝜎𝜀 2 : 𝐸(𝜎̂𝜀 2 ) = 𝜎𝜀 2

V- Propriétés des moindres carrés

 𝑦̂ ′ 𝑦̂ = (𝑋𝑎̂)′ 𝑋𝑎̂ = 𝑎̂′ 𝑋 ′ 𝑋𝑎̂ = 𝑎̂′ 𝑋 ′ 𝑋 (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑦 = 𝑎̂′ 𝑋 ′ 𝑦 = (𝑋𝑎̂)′ 𝑦 = 𝑦̂ ′ 𝑦

𝐷′ 𝑜ù ∶ 𝑦̂ ′ 𝑦̂ = 𝑦̂ ′ 𝑦 ⇔ ∑ 𝑦̂𝑖2 = ∑ 𝑦̂𝑖 𝑦𝑖

 𝑒 ′ 𝑒 = (𝑦 − 𝑦̂)′ (𝑦 − 𝑦̂) = (𝑦 ′ − 𝑦̂ ′ )(𝑦 − 𝑦̂)

⇒ 𝑒 ′ 𝑒 = 𝑦 ′ 𝑦 − 𝑦 ′ 𝑦̂ − 𝑦̂ ′ 𝑦 + 𝑦̂ ′ 𝑦̂ = 𝑦 ′ 𝑦 − 𝑦 ′ 𝑦̂
⇒ 𝑒 ′ 𝑒 = 𝑦 ′ 𝑦 − 𝑦 ′ 𝑦̂ ⟺ ∑ 𝑒𝑖2 = ∑(𝑦 − 𝑦̂𝑖 )2 = ∑ 𝑦𝑖2 − ∑ 𝑦̂𝑖2

 ∑ 𝑦̂𝑖 = ∑(𝑎̂0 + 𝑎̂1 𝑥𝑖1 + 𝑎̂2 𝑥𝑖2 + ⋯ + 𝑎̂(𝑝−1) 𝑥𝑖(𝑝−1) )

⇒ ∑ 𝑦̂𝑖 = 𝑛 𝑎̂0 + 𝑎̂1 ∑ 𝑥𝑖1 + 𝑎̂2 ∑ 𝑥𝑖2 + ⋯ + 𝑎̂(𝑝−1) ∑ 𝑥𝑖(𝑝−1)

⇒ ∑ 𝑦̂𝑖 = 𝑛 (𝑦̅ − 𝑎̂1 𝑥̅1 − 𝑎̂2 𝑥̅ 2 − ⋯ − 𝑎̂(𝑝−1) 𝑥̅ (𝑝−1) ) + 𝑎̂1 𝑛 𝑥̅1 + 𝑎̂2 𝑛 𝑥̅ 2 + ⋯ + 𝑎̂(𝑝−1) 𝑛 𝑥̅ (𝑝−1)

⇒ ∑ 𝑦̂𝑖 = 𝑛 𝑦̅ − 𝑛 𝑎̂1 𝑥̅1 − 𝑛 𝑎̂2 𝑥̅ 2 − ⋯ − 𝑛 𝑎̂(𝑝−1) 𝑥̅ (𝑝−1) + 𝑎̂1 𝑛 𝑥̅1 + 𝑎̂2 𝑛 𝑥̅ 2 + ⋯ +

𝑎̂(𝑝−1) 𝑛 𝑥̅ (𝑝−1) = 𝑛 𝑦̅ + 0

̂𝒊 = 𝒏 𝒚
∑𝒚 ̅ = ∑ 𝒚𝒊

 ∑ 𝑒𝑖 = ∑(𝑦𝑖 − 𝑦̂𝑖 ) = ∑ 𝑦𝑖 − ∑ 𝑦̂𝑖 = 0

∑ 𝒆𝒊 = 𝟎

 ∑(𝑦𝑖 − 𝑦̅)2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑(𝑦𝑖 − 𝑦̂𝑖 )2

𝑺𝑪𝑻 = 𝑺𝑪𝑬 + 𝑺𝑪𝑹

La Somme des Carrés Totales 𝑺𝑪𝑻 est égale à Somme des Carrées Expliquées 𝑺𝑪𝑬 plus Somme

des Carrées Résiduelles 𝑺𝑪𝑹.

 A partir de la dernière équation, on définit le coefficient de détermination

𝑹𝟐 défini par :
𝑺𝑪𝑬 𝑺𝑪𝑻 − 𝑺𝑪𝑹 𝑺𝑪𝑹
𝑹𝟐 = = =𝟏−
𝑺𝑪𝑻 𝑺𝑪𝑻 𝑺𝑪𝑻

𝟐
∑(𝒚 ̅)𝟐
̂𝒊 − 𝒚 ∑ 𝒆𝟐𝒊 ̅)𝟐
∑(𝒚𝒊 − 𝒚
𝑹 = =𝟏− = 𝟏−
̅)𝟐
∑(𝒚𝒊 − 𝒚 ̅)𝟐
∑(𝒚𝒊 − 𝒚 ̅)𝟐
∑(𝒚𝒊 − 𝒚

𝟐
Ce coefficient 𝑹 mesure la qualité d’ajustement d’un modèle.

Plus, 𝑹𝟐 est proche de 1, meilleur est l’ajustement du modèle.

Plus, 𝑹𝟐 est proche de 0, plus l’ajustement du modèle est de mauvaise qualité.

 Lorsque le degré de liberté est faible, il est nécessaire de corriger le coefficient de

détermination 𝑹𝟐 , afin de tenir compte du nombre d’observations relativement faible

comparé au nombre de variables explicatives, en calculant ce qu’on appelle le 𝑹𝟐 corrigé,

̅ 𝟐 et défini comme suit :


noté 𝑹

𝒏−𝟏
̅𝟐 = 𝟏 −
𝑹 (𝟏 − 𝑹𝟐 )
𝒏−𝒑

̅ 𝟐 < 𝑹𝟐 , et on a : 𝑹
On a toujours : 𝑹 ̅ 𝟐 ≃ 𝑹𝟐 lorsque n est très grand.