Vous êtes sur la page 1sur 22

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire multiple


Frdric Bertrand et Myriam Maumy1
1 IRMA,

Universit Louis Pasteur Strasbourg, France

Master 1re Anne 23-03-2009

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire simple Exemple Afner le modle

Problme : tude de la concentration dozone dans lair. Modle : La temprature (v.a. X ) et la concentration dozone (v.a. Y ) sont lies de manire linaire : Y = 0 + 1 X + . Observations : n = 10 mesures de la temprature et de la concentration dozone. But : Estimer 0 et 1 an de prdire la concentration dozone connaissant la temprature.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire simple Exemple Afner le modle

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire simple Exemple Afner le modle

Souvent la rgression linaire est trop simpliste. Il faut alors utiliser dautres modles plus ralistes mais parfois plus complexes : Utiliser dautres fonctions que les fonctions afnes comme les fonctions polynmiales, exponentielles, logarithmiques. . . Considrer plusieurs variables explicatives. Exemple : La temprature et la vitesse du vent

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire multiple Vision pratique

Le principe de la rgression linaire multiple est simple : Dterminer la variable explique Y . Exemple : La concentration dozone. Dterminer (p 1) variables explicatives X1 , . . ., Xp1 Exemple : X1 temprature, X2 vitesse du vent. . . Il ne reste plus qu appliquer un modle linaire : Y = 0 + 1 X1 + + p1 Xp1 +

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Rgression linaire multiple Vision pratique

Dans un chantillon de n individus, on mesure yi , xi ,1 , . . ., xi ,p1 pour i = 1 . . . n. Observations Y X1 1 y1 x1,1 2 y2 x2,1 . . . . . . . . . n yn xn , 1 . . . Xp1 . . . x1,p1 . . . x2,p1 . . . . . . . . . xn , p 1

Remarque : Les variables xi ,j sont xes tandis que les variables yi sont alatoires.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

But :

Estimer les paramtres 0 , . . ., p1 du modle de rgression et ce de manire optimale. Mthode : La mthode des moindres carrs. Cette mthode revient minimiser la quantit suivante :
n

0 + 1 xi ,1 + + p1 xi ,p1 yi
i =1

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

Le systme peut se rcrire : y1 1 x1,1 . . . . . . . . = . . . . yn y = 1 xn,1 X

x1,p1 0 1 . . . . . . + . . . p1 n xn , p 1 +

= y X. Vecteur des rsidus : = y y Remarque : Les variables y et X sont mesures tandis que est dterminer. lestimateur La mthode des moindres carrs consiste trouver le vecteur qui minimise 2 = t .
Frdric Bertrand et Myriam Maumy Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

y X ^ y X ^ t t t t + t t XX = yy Xy yX t Xy + t t XX = t yy 2t =

t Xy est un scalaire. Donc il est gal sa transpose. car t est alors gale : La drive par rapport 2t Xy + 2t XX.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

qui annule cette drive. Donc Problme : On cherche on doit rsoudre lquation suivante :
t

= t Xy. XX

Solution : On trouve aprs avoir invers la matrice t XX (il faut naturellement vrier que t XX est carre et inversible cest--dire quaucune des colonnes qui compose cette matrice ne soit proportionnelle aux autres colonnes) = (t XX)1 t Xy.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

Retrouvons les rsultats de la rgression linaire simple (p = 2)


t

XX =

n xi

xi xi2

Xy =

yi xi yi

Donc : (t XX)1 = = n 1 2 xi ( 1 )2 (xi x xi )2 xi2 xi n . xi

xi2 /n x x 1

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

Finalement on retrouve bien : = 0 1 =

xi yi xi2 x )2 (xi x y xi yi nx 2 ) (xi x

ce qui correspond aux estimateurs de la rgression linaire simple que nous avons dj rencontrs dans le cours 1.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Mthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R

> a <- lm(max03 > summary(a) Call : lm(formula = max03

T12 + VX)

T12 + VX)

Residuals : Min 1Q Median 3Q Max -47.860 -10.561 5.119 10.645 26.506 Coefficients : Estimate Std. Error t value Pr(>|t|) (Intercept) 36.6520 26.5324 1.381 0.210 T12 2.6623 1.4202 1.875 0.103 VX 0.5431 0.7775 0.699 0.507 Residual standard error : 24.78 on 7 degrees of freedom Multiple R-Squared : 0.3351, Adjusted R-squared : 0.1452 F-statistic : 1.764 on 2 and 7 DF, p-value : 0.2396

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

la Pythagore Coefcient de dtermination

Rsultats prliminaires :

i2 = y i = y

y = t yy i yi ou (forme matricielle) t y y yi

Proprit des moindres carrs : )2 = (yi y SCtot = i y )2 + (y SCreg + i )2 (yi y SCres

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

la Pythagore Coefcient de dtermination

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

la Pythagore Coefcient de dtermination

Le coefcient de dtermination est dni par : R2 = SCreg . SCtot

Intuitivement ce coefcient de dtermination quantie la capacit du modle expliquer les variations de Y . Si R 2 est proche de 1 alors le modle est proche de la ralit. Si R 2 est proche de 0 alors le modle explique trs mal la ralit. Il faut alors trouver un meilleur modle.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

On fait les hypothses suivantes : y = X + o le vecteur alatoire suit une loi multinormale qui vrie les hypothses suivantes : E[] = 0 Var [] = 2 In , o 2 est la variance de la population et In est la matrice identit de taille n.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

Ceci implique que : E[y] = X Var [y] = 2 In . On peut alors dmontrer, sous ces hypothses : ] = . Ce qui signie que est un estimateur sans biais E[ ] = 2 (t XX)1 . Var [ Il reste un problme : Estimer la variance 2 qui est a priori une quantit inconnue.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

Un estimateur sans biais de la variance 2 est dni par : s2 = o n est le nombre dindividus/dobservations, p est le nombre de variables explicatives. On appelle la quantit (n p) le nombre de degrs de libert. i )2 SCtot SCreg (yi y SCres = = , np np np

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

But : Tester lhypothse nulle H0 : j = bj pour j = 0, . . . , p 1

contre lhypothse alternative H1 : j = bj pour j = 0, . . . , p 1.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

Mthode : Calculer la statistique tobs = j bj j ) s(

j ) est llment diagonal dindice j de s2 (t XX)1 . o s2 ( Si lhypothse nulle H0 est vraie, alors tobs suit une loi de Student avec (n p) degrs de libert.

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Introduction Prsentation du modle Mthode des moindes carrs Proprits des moindres carrs Tests

Hypothses pour les tests Hypothses pour les tests Estimation de 2 Tests dhypothses

Valeur critique : t(/2,np) le (1 /2)-quantile dune loi de Student avec (n p) degrs de libert (cf table de la loi de Student). On rejette lhypothse nulle H0 si |tobs | t(/2,np) . Cas particulier : Tester si j = 0 pour un certain j . Si lhypothse nulle H0 : j = 0 est acceptable alors la variable Xj nest pas signicative au sein du modle. On peut simplier le modle, . . .et recommencer !

Frdric Bertrand et Myriam Maumy

Rgression linaire multiple

Vous aimerez peut-être aussi