Universit Rennes 2 Master de Statistique Anne 2011/2012 Premier Semestre

Rgression linaire
Arnaud Guyader

Ce cours est tir des quatre premiers chapitres du livre de Pierre-Andr Cornillon et Eric MatznerLber, Rgression avec R, paru chez Springer en 2010.

Table des matires

1 La rgression linaire simple 1.1 Modlisation . . . . . . . . . . . . . . . . . . . . . . 1.2 Moindres Carrs Ordinaires . . . . . . . . . . . . . . 1.2.1 Calcul des estimateurs de 1 et 2 . . . . . . 1.2.2 Quelques proprits des estimateurs 1 et 2 1.2.3 Calcul des rsidus et de la variance rsiduelle 1.2.4 Prvision . . . . . . . . . . . . . . . . . . . . 1.3 Interprtations gomtriques . . . . . . . . . . . . . . 1.3.1 Reprsentation des variables . . . . . . . . . . 1.3.2 Le coecient de dtermination R2 . . . . . . 1.4 Cas derreurs gaussiennes . . . . . . . . . . . . . . . 1.4.1 Estimateurs du maximum de vraisemblance . 1.4.2 Rappels sur les lois usuelles . . . . . . . . . . 1.4.3 Lois des estimateurs et rgions de conance . 1.4.4 Prvision . . . . . . . . . . . . . . . . . . . . 1.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . 1.7 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . 2 La rgression linaire multiple 2.1 Modlisation . . . . . . . . . . . . . . . . . 2.2 Estimateurs des Moindres Carrs Ordinaires 2.2.1 Calcul de . . . . . . . . . . . . . . 2.2.2 Quelques proprits . . . . . . . . . 2.2.3 Rsidus et variance rsiduelle . . . . 2.2.4 Prvision . . . . . . . . . . . . . . . 2.3 Interprtation gomtrique . . . . . . . . . . 2.4 Exemple . . . . . . . . . . . . . . . . . . . . 2.5 Exercices . . . . . . . . . . . . . . . . . . . 2.6 Corrigs . . . . . . . . . . . . . . . . . . . . 3 Le modle gaussien 3.1 Estimateurs du Maximum de Vraisemblance 3.2 Lois des estimateurs . . . . . . . . . . . . . 3.2.1 Quelques rappels . . . . . . . . . . . 3.2.2 Nouvelles proprits . . . . . . . . . 3.3 Intervalles et rgions de conance . . . . . . 3.4 Prvision . . . . . . . . . . . . . . . . . . . 3.5 Tests dhypothses . . . . . . . . . . . . . . 3.5.1 Introduction . . . . . . . . . . . . . . i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 2 3 4 6 7 8 8 9 10 10 11 13 15 15 16 20 27 28 29 29 31 32 34 34 35 36 39 45 45 46 46 47 49 50 51 51

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ii 3.5.2 Tests entre modles embots . . . . . . . . . . . 3.5.3 Test de Student de signication dun coecient . 3.5.4 Test de Fisher global . . . . . . . . . . . . . . . . 3.5.5 Lien avec le Rapport de Vraisemblance Maximale Estimation sous contraintes . . . . . . . . . . . . . . . . Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Table des matires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 55 55 55 57 57 58 66 71 71 71 74 75 75 76 78 80 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 111 111 111 111 112 112 112 113 113 113 113 114 115 115 115 117 117 118 119 120 121 123

3.6 3.7 3.8 3.9

4 Validation du modle 4.1 Analyse des rsidus . . . . . . . . . . . . . . . . 4.1.1 Les dirents types de rsidus . . . . . . 4.1.2 Ajustement individuel au modle, valeur 4.1.3 Analyse de la normalit . . . . . . . . . 4.1.4 Analyse de lhomoscdasticit . . . . . . 4.1.5 Analyse de la structure des rsidus . . . 4.2 Analyse de la matrice de projection . . . . . . . 4.3 Autres mesures diagnostiques . . . . . . . . . . A Annales B Rappels dalgbre B.1 Quelques dnitions . . . . . . . . . . . . B.2 Quelques proprits . . . . . . . . . . . . . B.2.1 Les matrices n p . . . . . . . . . B.2.2 Les matrices carres n n . . . . . B.2.3 Les matrices symtriques . . . . . B.2.4 Les matrices semi-dnies positives B.3 Proprits des inverses . . . . . . . . . . . B.4 Proprits des projections . . . . . . . . . B.4.1 Gnralits . . . . . . . . . . . . . B.4.2 Exemple de projection orthogonale B.4.3 Trace et lments courants . . . . . B.5 Drivation matricielle . . . . . . . . . . . .

. . . . . . . . . . . . aberrante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C Rappels de probabilit C.1 Gnralits . . . . . . . . . . . . . . . . . . . C.2 Vecteurs alatoires gaussiens . . . . . . . . . . C.3 Tables des lois usuelles . . . . . . . . . . . . . C.3.1 Loi Normale X N (0, 1) . . . . . . . C.3.2 Loi de Student X T . . . . . . . . . C.3.3 Loi du Khi-deux ddl X 2 . . . C.3.4 Loi de Fisher 1 , 2 ddl X F(1 ,2 ) D Quelques donnes Bibliographie

Arnaud Guyader - Rennes 2

Rgression

Chapitre 1

La rgression linaire simple

Introduction
Commenons par un exemple : pour des raisons de sant publique, on sintresse la concentration dozone O3 dans lair. On cherche en particulier savoir si on peut expliquer le taux maximal dozone de la journe par la temprature T12 12h. Les donnes sont : Temprature 12h O3 max 23.8 115.4 16.3 76.8 27.2 113.8 7.1 81.6 25.1 115.4 27.5 125 19.4 83.6 19.8 75.2 32.2 136.8 20.7 102.8

Table 1.1 10 donnes journalires de temprature et dozone. Dun point de vue pratique, le but de cette rgression est double : Ajuster un modle pour expliquer O3 en fonction de T12 ; Prdire les valeurs dO3 pour de nouvelles valeurs de T12 . Avant toute analyse, il est intressant de reprsenter les donnes, comme sur la gure 1.1.
100 110 120 130 80 90

O3

10

15

T12

20

25

30

Figure 1.1 10 donnes journalires de temprature et dozone.

Pour analyser la relation entre les xi (temprature) et les yi (ozone), nous allons chercher une fonction f telle que : yi f (xi ). Pour prciser le sens de , il va falloir se donner un critre quantiant la qualit de lajustement de la fonction f aux donnes. Il faudra aussi se donner une classe de fonctions F dans laquelle nous supposerons que se trouve la vraie fonction inconnue.

Chapitre 1. La rgression linaire simple Le problme mathmatique peut scrire de la faon suivante :
n

arg min
f F i=1

L(yi f (xi )),

o n reprsente le nombre de donnes disponibles (taille de lchantillon) et L(.) est appele fonction de cot ou fonction de perte (Loss en anglais).

1.1

Modlisation

Dans de nombreuses situations, une ide naturelle est de supposer que la variable expliquer y est une fonction ane de la variable explicative x, cest--dire de chercher f dans lensemble F des fonctions anes de dans . Cest le principe de la rgression linaire simple. On suppose dans la suite disposer de n points (xi , yi ) dans le plan. Dnition 1.1 (Modle de rgression linaire simple) Un modle de rgression linaire simple est dni par une quation de la forme : i {1, . . . , n} yi = 1 + 2 xi + i

Les quantits i viennent du fait que les points ne sont jamais parfaitement aligns sur une droite. On les appelle les erreurs (ou bruits) et elles sont supposes alatoires. Pour pouvoir dire des choses pertinentes sur ce modle, il faut nanmoins imposer deux hypothses les concernant : (H) (H1 ) : [i ] = 0 pour tout indice i (H2 ) : Cov(i , j ) = ij 2 pour tout couple (i, j)

Les erreurs sont donc supposes centres, de mme variance (homoscdasticit) et non corrles entre elles (ij est le symbole de Kronecker, i.e. ij = 1 si i = j, ij = 0 si i = j). Notons que le modle de rgression linaire simple de la dnition 1.1 peut encore scrire de faon vectorielle : Y = 1 + 2 X + , o : le vecteur Y = [y1 , . . . , yn ] est alatoire de dimension n, le vecteur = [1, . . . , 1] est le vecteur de n dont les n composantes valent 1, le vecteur X = [x1 , . . . , xn ] est un vecteur de dimension n donn (non alatoire), les coecients 1 et 2 sont les paramtres inconnus (mais non alatoires !) du modle, le vecteur = [1 , . . . , n ] est alatoire de dimension n. Cette notation vectorielle sera commode notamment pour la reprsentation et linterprtation gomtrique du problme en rgression linaire multiple, cest pourquoi il convient dores et dj de sy habituer.

1.2

Moindres Carrs Ordinaires

Les points (xi , yi ) tant donns, le but est maintenant de trouver une fonction ane f telle que la quantit n L(yi f (xi )) soit minimale. Pour pouvoir dterminer f , encore faut-il prciser la i=1 fonction de cot L. Deux fonctions sont classiquement utilises : le cot absolu L(u) = |u| ; le cot quadratique L(u) = u2 . Arnaud Guyader - Rennes 2 Rgression

1.2. Moindres Carrs Ordinaires Les deux ont leurs vertus, mais on privilgiera dans la suite la fonction de cot quadratique. On parle alors de mthode destimation par moindres carrs (terminologie due Legendre dans un article de 1805 sur la dtermination des orbites des comtes). Dnition 1.2 (Estimateurs des Moindres Carrs Ordinaires) On appelle estimateurs des Moindres Carrs Ordinaires (en abrg MCO) 1 et 2 les valeurs minimisant la quantit :
n

S(1 , 2 ) =
i=1

(yi 1 2 xi )2 .

Autrement dit, la droite des moindres carrs minimise la somme des carrs des distances verticales des points (xi , yi ) du nuage la droite ajuste y = 1 + 2 x.

1.2.1

Calcul des estimateurs de 1 et 2

La fonction de deux variables S est une fonction quadratique et sa minimisation ne pose aucun problme, comme nous allons le voir maintenant. Proposition 1.1 (Estimateurs 1 et 2 ) Les estimateurs des MCO ont pour expressions : 1 = y 2 x, avec : 2 =
n i=1 (xi x)(yi n 2 i=1 (xi x)

y)

n i=1 (xi x)yi . n 2 i=1 (xi x)

Preuve. La fonction S(1 , 2 ) est strictement convexe, elle admet donc un minimum unique au point (1 , 2 ), lequel est dtermin en annulant les drives partielles de S. On obtient les quations normales : n S (yi 1 2 xi ) = 0 1 = 2 La premire quation donne : S 2
i=1 n i=1

= 2

xi (yi 1 2 xi ) = 0

1 n + 2
i=1

xi =
i=1

yi

do lon dduit immdiatement : 1 = y 2 x, (1.1)

o x et y sont comme dhabitude les moyennes empiriques des xi et des yi . La seconde quation donne :
n n n

1
i=1

xi + 2
i=1

x2 = i
i=1

xi y i

et en remplaant 1 par son expression (1.1), nous avons : 2 = xi y i x2 i xi y = xi x xi (yi y ) = xi (xi x) (xi x)(yi y ) . (xi x)(xi x) (1.2)

Rgression

Arnaud Guyader - Rennes 2

Chapitre 1. La rgression linaire simple

Cette dernire quation suppose que le dnominateur n (xi x)2 est non nul. Or ceci ne peut i=1 arriver que si tous les xi sont gaux, situation sans intrt pour notre problme et que nous excluons donc a priori dans toute la suite. Remarques : 1. La relation 1 = y 2 x montre que la droite des MCO passe par le centre de gravit du nuage (, y ). x 2. Les expressions obtenues pour 1 et 2 montrent que ces deux estimateurs sont linaires par . rapport au vecteur Y = [y1 , . . . , yn ] 3. Lestimateur 2 peut aussi scrire comme suit (exercice !) : 2 = 2 + (xi x)i . (xi x)2

Si cette dcomposition nest pas intressante pour le calcul eectif de 2 puisquelle fait intervenir les quantits inconnues 2 et i , elle lest par contre pour dmontrer des proprits thoriques des estimateurs (biais et variance). Son avantage est en eet de mettre en exergue la seule source dala du modle, savoir les erreurs i .

1.2.2

Quelques proprits des estimateurs 1 et 2

Sous les seules hypothses (H1 ) et (H2 ) de centrages, dcorrlations et homoscdasticits des er reurs i du modle, on peut dj donner certaines proprits statistiques des estimateurs 1 et 2 des moindres carrs. Thorme 1.1 (Estimateurs sans biais) 1 et 2 sont des estimateurs sans biais de 1 et 2 . Preuve. Partons de lcriture suivante pour 2 : 2 = 2 + (xi x)i . (xi x)2

Dans cette expression, seuls les bruits i sont alatoires, et puisquils sont centrs, on en dduit bien que [2 ] = 2 . Pour 1 , on part de lexpression : 1 = y 2 x, do lon tire : [1 ] = [] x [2 ] = 1 + x2 x2 = 1 . y

On peut galement exprimer variances et covariance de nos estimateurs. Thorme 1.2 (Variances et covariance) Les variances des estimateurs sont : Var(1 ) = 2 x2 i n (xi x)2 & Var(2 ) = 2 , (xi x)2

tandis que leur covariance vaut :

Cov(1 , 2 ) = Arnaud Guyader - Rennes 2

2x . (xi x)2 Rgression

1.2. Moindres Carrs Ordinaires Preuve. On part nouveau de lexpression de 2 utilise dans la preuve du non-biais : 2 = 2 + (xi x)i , (xi x)2

or les erreurs i sont dcorrles et de mme variance 2 donc la variance de la somme est la somme des variances : 2 (xi x)2 2 . = Var(2 ) = (xi x)2 ( (xi x)2 )2 Par ailleurs, la covariance entre y et 2 scrit : Cov(, 2 ) = Cov y do il vient pour la variance de 1 : Var(1 ) = Var cest--dire : Var(1 ) = yi 2 x n 2 + n = 2 + n x2 2 2Cov(, 2 ), x y (xi x)2 yi , n (xi x)i (xi x)2 2 (xi x) = 0, n (xi x)2

Enn, pour la covariance des deux estimateurs :

2 x2 x2 2 i = . (xi x)2 n (xi x)2 2x . (xi x)2

Cov(1 , 2 ) = Cov( 2 x, 2 ) = Cov(, 2 ) xVar(2 ) = y y

Remarque. On a vu que la droite des MCO passe par le centre de gravit du nuage (, y ). x Supposons celui-ci x et x positif, alors il est clair que si on augmente la pente, lordonne lori gine va baisser et vice versa, on retrouve donc bien le signe ngatif pour la covariance entre 1 et 2 . Les estimateurs des moindres carrs sont en fait optimaux en un certain sens, cest ce que prcise le rsultat suivant. Thorme 1.3 (Gauss-Markov) Parmi les estimateurs sans biais linaires en y, les estimateurs j sont de variance minimale. Preuve. Lestimateur des MCO scrit 2 = n pi yi , avec pi = (xi x)/ i=1 un autre estimateur 2 linaire en yi et sans biais, cest--dire :
n

(xi x)2 . Considrons

2 =
i=1

i y i .

Montrons que

i = 0 et (2 ) = 1

i xi = 1. Lgalit i + 2 i x i + i (i ) = 1 i + 2 i x i

est vraie pour tout 2 . Lestimateur 2 est sans biais donc (2 ) = 2 pour tout 2 , cest--dire 2 ) Var(2 ) : que i = 0 et i xi = 1. Montrons que Var( Var(2 ) = Var(2 2 + 2 ) = Var(2 2 ) + Var(2 ) + 2Cov(2 2 , 2 ). Rgression Arnaud Guyader - Rennes 2

6 Or : Cov(2 2 , 2 ) = Cov(2 , 2 ) Var(2 ) = la dernire galit tant due aux deux relations
2

Chapitre 1. La rgression linaire simple

i (xi x) 2 (xi x)

2 = 0, (xi x)2

i = 0 et

i xi = 1. Ainsi :

Var(2 ) = Var(2 2 ) + Var(2 ). Une variance est toujours positive, donc : Var(2 ) Var(2 ). Le rsultat est dmontr. On obtiendrait la mme chose pour 1 .

1.2.3

Calcul des rsidus et de la variance rsiduelle

150

yi = 1 + 2 xi

O3
0 0 50

100

10

15

T12

20

25

xi

30

35

Figure 1.2 Reprsentation des individus. Dans 2 (espace des variables xi et yi ), 1 est lordonne lorigine et 2 la pente de la droite ajuste. Cette droite minimise la somme des carrs des distances verticales des points du nuage la droite ajuste. En notant yi = 1 + 2 xi lordonne du point de la droite des moindres carrs dabscisse xi , les rsidus sont dnis par (cf. gure 1.2) : i = yi yi = yi 1 2 xi = yi y 2 (xi x). Par construction, la somme des rsidus est nulle : i =
i i

(1.3)

(yi y + 2 x 2 xi ) =

(yi y ) 2

(xi x) = 0.

Notons maintenant que les variances et covariance des estimateurs 1 et 2 tablies en section 2 des erreurs, laquelle est en prcdente ne sont pas pratiques car elles font intervenir la variance gnral inconnue. Nanmoins, on peut en donner un estimateur sans biais grce aux rsidus. Thorme 1.4 (Estimateur non biais de 2 ) La statistique 2 = n 2 /(n 2) est un estimateur sans biais de 2 . i=1 i Preuve. Rcrivons les rsidus en constatant que 1 = y 2 x et 1 = y 2 x , ce qui donne : i = 1 + 2 xi + i 1 2 xi = y 2 x + 2 xi + i y + 2 x 2 xi = (2 2 )(xi x) + (i ). Rgression

Arnaud Guyader - Rennes 2

1.2. Moindres Carrs Ordinaires En dveloppant et en nous servant de lcriture vue plus haut : 2 = 2 + nous avons : 2 = (2 2 )2 i = (2 2 )2 (xi x)2 + (xi x)2 + (i )2 + 2(2 2 ) (xi x)(i ) (xi x)2 . (xi x)i , (xi x)2

(i )2 2(2 2 )2

Prenons-en lesprance : i 2 = (i )2 (xi x)2 Var(2 ) = (n 2) 2 .

Bien sr, lorsque n est grand, cet estimateur dire trs peu de lestimateur empirique de la variance des rsidus.

1.2.4

Prvision

Un des buts de la rgression est de faire de la prvision, cest--dire de prvoir la variable expliquer y en prsence dune nouvelle valeur de la variable explicative x. Soit donc xn+1 une nouvelle valeur de la variable x, nous voulons prdire yn+1 . Le modle est toujours le mme : yn+1 = 1 + 2 xn+1 + n+1 avec [n+1 ] = 0, Var(n+1 ) = 2 et Cov(n+1 , i ) = 0 pour i = 1, , n. Il est naturel de prdire la valeur correspondante via le modle ajust : yn+1 = 1 + 2 xn+1 . Deux types derreurs vont entacher notre prvision : la premire est due la non-connaissance de n+1 , la seconde lincertitude sur les estimateurs 1 et 2 . Proposition 1.2 (Erreur de prvision) Lerreur de prvision n+1 = (yn+1 yn+1 ) satisfait les proprits suivantes : [n+1 ] = 0 Var(n+1 ) = 2 1 +
1 n

(xn+1 )2 x n x2 i=1 (xi )

Preuve. Pour lesprance, il sut dutiliser le fait que n+1 est centre et que les estimateurs 1 2 sont sans biais : et [n+1 ] = [1 1 ] + [2 2 ]xn+1 + [n+1 ] = 0.

Nous obtenons la variance de lerreur de prvision en nous servant du fait que yn+1 est fonction de n+1 seulement tandis que yn+1 est fonction des autres erreurs (i )1in : Var(n+1 ) = Var (yn+1 yn+1 ) = Var(yn+1 ) + Var(n+1 ) = 2 + Var(n+1 ). y y Rgression Arnaud Guyader - Rennes 2

8 Calculons le second terme :

Chapitre 1. La rgression linaire simple

Var (n+1 ) = Var 1 + 2 xn+1 = Var(1 ) + x2 Var(2 ) + 2xn+1 Cov 1 , 2 y n+1 x2 2 i + x2 2xn+1 x n+1 (xi x)2 n (xi x)2 2 + x2 + x2 2xn+1 x = n+1 2 n (xi x) 1 (xn+1 x)2 = 2 + . n (xi x)2 = Au total, on obtient bien : Var(n+1 ) = 2 1 + 1 (xn+1 x)2 + (xi x)2 n .

Ainsi la variance augmente lorsque xn+1 sloigne du centre de gravit du nuage. Autrement dit, faire de la prvision lorsque xn+1 est loin de x est prilleux, puisque la variance de lerreur de prvision peut tre trs grande ! Ceci sexplique intuitivement par le fait que plus une observation xn+1 est loigne de la moyenne x et moins on a dinformation sur elle.

1.3
1.3.1

Interprtations gomtriques
Reprsentation des variables

Si nous abordons le problme dun point de vue vectoriel, nous avons deux vecteurs notre disposition : le vecteur X = [x1 , . . . , xn ] des n observations pour la variable explicative et le vecteur Y = [y1 , . . . , yn ] des n observations pour la variable expliquer. Ces deux vecteurs appartiennent au mme espace n : lespace des variables. Si on ajoute cela le vecteur = [1, . . . , 1] , on voit tout dabord que par lhypothse selon laquelle tous les xi ne sont pas gaux, les vecteurs et X ne sont pas colinaires : ils engendrent donc un sous-espace de n de dimension 2, not M(X). On peut projeter orthogonalement le vecteur Y sur le sous-espace M(X), notons provisoirement Y ce projet : puisque (, X) forme une base de M(X), il existe une unique dcomposition de la forme Y = 1 + 2 X. Par dnition du projet est dni comme lunique vecteur de M(X) minimisant la distance euclidienne orthogonal, Y Y Y , ce qui revient au mme que de minimiser son carr. Or, par dnition de la norme euclidienne, cette quantit vaut :
n

Y Y

=
i=1

(yi (1 + 2 xi ))2 ,

ce qui nous ramne la mthode des moindres carrs ordinaires. On en dduit que 1 = 1 , 2 = 2 et Y = Y = [1 , . . . , yn ] , avec les expressions de 1 , 2 et Y vues prcdemment. y

Arnaud Guyader - Rennes 2

Rgression

1.3. Interprtations gomtriques

Y 2 X y

1 M(X)

Figure 1.3 Reprsentation de la projection dans lespace des variables. Autrement dit, dans n , 1 et 2 sinterprtent comme les coordonnes de la projection orthogo de Y sur le sous-espace de n engendr par et X (voir gure 1.3). nale Y Remarques : 1. Cette vision gomtrique des choses peut sembler un peu abstraite, mais cest en fait lapproche fconde pour comprendre la rgression multiple, comme nous le verrons dans les chapitres suivants. 2. Nous avons suppos que et X ne sont pas colinaires. En gnral, ces vecteurs ne sont pas orthogonaux (sauf si x = 0), ce qui implique que 1 nest pas la projection orthogonale 2 X nest pas la projection orthogonale de Y sur X de Y sur (laquelle vaut y ), et que (laquelle vaut Y,X2 X). X

1.3.2

Le coecient de dtermination R2

Nous conservons les notations du paragraphe prcdent, en notant Y = [1 , . . . , yn ] la projection y orthogonale du vecteur Y sur M(X) et = Y Y = [1 , . . . , n ] le vecteur des rsidus dj rencontrs en section 1.2.3. Le thorme de Pythagore donne alors directement :
n

Y y

2 2

= =

Y y

+
2

2 n

i=1

(yi y )

i=1

(i y ) + y

2 i
i=1

SCT

= SCE + SCR,

o SCT (respectivement SCE et SCR) reprsente la somme des carrs totale (respectivement explique par le modle et rsiduelle). Ceci peut se voir comme une formule typique de dcomposition de la variance. Elle permet en outre dintroduire le coecient de dtermination de faon naturelle. Dnition 1.3 (Coecient de dtermination R2 ) Le coecient de dtermination R2 est dni par : R2 = Rgression SCE Y y = SCT Y y
2 2

=1

2 Y y

=1

SCR . SCT Arnaud Guyader - Rennes 2

10

Chapitre 1. La rgression linaire simple On voit sur la gure 1.3 que R2 correspond au cosinus carr de langle . De faon schmatique, on peut direncier les cas suivants : Si R2 = 1, le modle explique tout, langle vaut zro et Y est dans M(X), cest--dire que yi = 1 + 2 xi pour tout i ; Si R2 = 0, cela veut dire que (i y )2 = 0, donc yi = y pour tout i. Le modle de rgression y linaire est inadapt puisquon ne modlise rien de mieux que la moyenne ; Si R2 est proche de zro, cela veut dire que y est quasiment dans lorthogonal de M(X), le modle de rgression linaire est inadapt, la variable utilise nexplique pas bien la variable y. De faon gnrale, linterprtation est la suivante : le modle de rgression linaire permet dexpliquer 100 R2 % de la variance totale des donnes. Remarques : 1. On peut aussi voir R2 comme le carr du coecient de corrlation empirique entre les xi et les yi (cf. exercice 1.2) : R =
2

x)(yi y ) n n 2 2 i=1 (xi x) i=1 (yi y )

n i=1 (xi

= 2 . X,Y

2. Sur la gure 1.3 est not un angle droit entre les vecteurs et Y y . On vrie en eet facilement que ces deux vecteurs sont orthogonaux puisque y nest rien dautre que le projet orthogonal de Y sur (la droite vectorielle engendre par) le vecteur (exercice).

1.4

Cas derreurs gaussiennes

Mieux que les expressions des estimateurs et celles de leurs variances, on aimerait connatre leurs lois : ceci permettrait par exemple dobtenir des rgions de conance et deectuer des tests dhypothses. Dans cette optique, il faut bien entendu faire une hypothse plus forte sur notre modle, savoir prciser la loi des erreurs. Nous supposerons ici que les erreurs sont gaussiennes. Les hypothses (H1 ) et (H2 ) deviennent ds lors : (H) (H1 ) : i N (0, 2 ) (H2 ) : i mutuellement indpendants

Le modle de rgression simple devient un modle paramtrique, o les paramtres (1 , 2 , 2 ) sont valeurs dans . La loi des i tant connue, les lois des yi sen dduisent : + i {1, . . . , n} yi N (1 + 2 xi , 2 ),

et les yi sont mutuellement indpendants puisque les i le sont. Nous pouvons donc calculer la vraisemblance de lchantillon et les estimateurs qui maximisent cette vraisemblance. Cest lobjet de la section suivante.

1.4.1

Estimateurs du maximum de vraisemblance

n n i=1

La vraisemblance vaut L(1 , 2 , 2 ) = = Arnaud Guyader - Rennes 2 1 2 2 1 2 2 exp

n

1 2 2

(yi 1 2 xi )2

exp

1 S(1 , 2 ) 2 2 Rgression

1.4. Cas derreurs gaussiennes Ce qui donne pour la log-vraisemblance : 1 n log L(1 , 2 , 2 ) = log (2 2 ) 2 S(1 , 2 ). 2 2 Nous voulons maximiser cette quantit par rapport aux trois variables (1 , 2 , 2 ). Les deux premires variables napparaissent que dans le terme en S(1 , 2 ), quil faut donc minimiser. Or on a dj vu que cette quantit est minimale lorsquon considre les estimateurs des moindres carrs, cest--dire pour 1 = 1 et 2 = 2 . Bilan : les estimateurs du maximum de vraisemblance de 1 et 2 sont gaux aux estimateurs des moindres carrs. Ceci tant vu, il reste simplement maximiser log L(1 , 2 , 2 ) par rapport 2 . Calculons donc 2 : la drive par rapport log L(1 , 2 , 2 ) n 1 n 1 = 2 + 4 S(1 , 2 ) = 2 + 4 2 2 2 2 2
n i=1

11

(yi 1 2 xi )2

Do lon dduit que lestimateur du maximum de vraisemblance de 2 est dirent de lestimateur 2 vu prcdemment et vaut : mv 2 1 = n
n

2 . i
i=1 n2 2 n ,

2 Lestimateur du maximum de vraisemblance de 2 est donc biais. On a en eet [mv ] = mais ce biais est dautant plus ngligeable que le nombre dobservations est grand.

Avant de passer aux lois des estimateurs et aux intervalles de conance qui sen dduisent, faisons quelques rappels sur les lois usuelles dans ce contexte.

1.4.2

Rappels sur les lois usuelles

Outre la loi normale, trois lois seront dusage constant dans la suite : la loi du 2 , la loi de Student et la loi de Fisher.

Figure 1.4 Densit dun 2 (trait gras) et densit dune N (50, 100) (trait n). 50 Dnition 1.4 (Loi du 2 ) Soit X1 , . . . , Xn des variables alatoires i.i.d. suivant une loi normale centre rduite. La loi de la variable X = n Xi2 est appele loi du 2 n degrs de libert (ddl), not X 2 . n i=1 Rgression Arnaud Guyader - Rennes 2

12

Chapitre 1. La rgression linaire simple On a [X] = n et Var(X) = 2n. Lorsque n est grand, on sait par le Thorme Central Limite que X suit approximativement une loi normale de moyenne n et de variance 2n : X N (n, Ainsi, 2n). pour n grand, environ 95% des valeurs de X se situent dans lintervalle [n 2 2n, n + 2 2n]. Ceci est illustr gure 3.1 pour n = 50 ddl.

Dnition 1.5 (Loi de Student) Soit Z une variable alatoire suivant une loi normale centre rduite et X une variable suivant une loi du 2 n degrs de libert, avec Z et X indpendantes. La loi de la variable T = Z est
X/n

appele loi de Student n degrs de libert et on note T Tn .

Figure 1.5 Densit dune T10 (trait gras) et densit dune N (0, 1) (trait n).

Lorsque n = 1, T suit une loi de Cauchy et na donc pas desprance (ni, a fortiori, de variance). n Pour n = 2, T est centre mais de variance innie. Pour n 3, T est centre et de variance n2 . Dautre part, lorsque n devient grand, on sait par la Loi des Grands Nombres que le dnominateur tend presque srement vers 1. De fait, on peut montrer que pour n grand, T tend en loi vers une gaussienne centre rduite : T N (0, 1). Ceci est illustr gure 1.5 pour n = 10 ddl. Par consquent, lorsque n sera grand, on pourra remplacer les quantiles dune loi de Student Tn par ceux dune loi N (0, 1) (cf. tables en Annexe C.3).

Dnition 1.6 (Loi de Fisher) Soit U1 une variable alatoire suivant une loi du 2 n1 degrs de libert et U2 une variable alatoire suivant une loi du 2 n2 degrs de libert, avec U1 et U2 indpendantes. La loi de la n1 variable F = U1 /n1 est appele loi de Fisher (n1 , n2 ) degrs de libert et on note F Fn2 . U2 /n2

n1 Pour n2 > 2, la variance dune loi de Fisher Fn2 est n2 /(n2 2). Dans la suite, typiquement, n2 sera grand, de sorte qu nouveau la Loi des Grands Nombres implique que U2 /n2 tend vers 1. Dans ce cas, F peut se voir comme un chi-deux normalis par son degr de libert : F 2 1 /n1 . n Ceci est illustr gure 1.6 pour n1 = 2 et n2 = 10.

Arnaud Guyader - Rennes 2

Rgression

1.4. Cas derreurs gaussiennes

13

2 Figure 1.6 Densit dune F10 (trait gras) et densit dun

2 2 2

(trait n).

1.4.3

Lois des estimateurs et rgions de conance

Nous allons maintenant voir comment les lois prcdentes interviennent dans nos estimateurs. An de faciliter la lecture de cette partie, considrons les notations suivantes : c =
2 1 = 2 2 2 =

2 x (xi x)2 n 2 (xi x)2

2 =

x2 i (xi x)2

1 n2

2 i x2 i (xi x)2

1 = 2 2 2 = 2

n 2 . (xi x)2

2 2 Les variances 1 et 2 interviennent dans la vraie loi de lestimateur des moindres carrs ordinaires, comme le prcise le rsultat suivant.

Proprits 1.1 (Lois des estimateurs avec variance connue) Les lois des estimateurs des MCO avec variance 2 connue sont : 1 (i) = 1 N , 2 V o = et 2 2 V = 1 (xi x)2 x2 /n x i x 1 = 1 2
2 1 c 2 c 2

(ii)

(n 2) 2 2 , loi du 2 (n 2) degrs de libert. n2 2 et 2 sont indpendants. (iii)

Remarque. Ces proprits, comme celles venir, ne sont pas plus faciles montrer dans le cadre de la rgression linaire simple que dans celui de la rgression linaire multiple. Cest pourquoi nous reportons les preuves au Chapitre 3. Le problme des proprits ci-dessus vient de ce quelles font intervenir la variance thorique 2 , gnralement inconnue. La faon naturelle de procder est de la remplacer par son estimateur 2 . Les lois intervenant dans les estimateurs sen trouvent de fait lgrement modies.

Rgression

Arnaud Guyader - Rennes 2

14

Chapitre 1. La rgression linaire simple Proprits 1.2 (Lois des estimateurs avec variance estime) Les lois des estimateurs des MCO avec variance 2 estime sont : 1 1 (i) Tn2 , o Tn2 est une loi de Student (n 2) degrs de libert. 1 2 2 (ii) Tn2 . 2 1 2 ( ) V 1 ( ) Fn2 , loi de Fisher de paramtres (2, n 2). (iii) 2 2 Ces dernires proprits nous permettent de donner des intervalles de conance (IC) ou des rgions de conance (RC) des estimateurs. En eet, la valeur ponctuelle dun estimateur est de peu dintrt en gnral et il est intressant de lui associer un intervalle de conance. Les rsultats sont donns pour un gnral, en pratique on prend typiquement = 0, 05.

0
1

Figure 1.7 Comparaison entre ellipse de conance et rectangle de conance. Proprits 1.3 (Intervalles et rgions de conance) (i) IC(1 ) : 1 tn2 (1 /2)1 , o tn2 (1 /2) est le quantile de niveau (1 /2) dune loi Tn2 . (ii) IC(2 ) : 2 tn2 (1 /2)2 . (iii) RC() : Une rgion de conance simultane pour 1 et 2 au niveau (1 ) est 1 n(1 1 )2 + 2n(1 1 )(2 2 ) + x 2 2
2 x2 (2 2 )2 fn2 (1 ), i

2 2 o fn2 (1 ) est le quantile de niveau (1 ) dune loi Fn2 . 2 est donn par : (iv) Un intervalle de conance de

(n 2) 2 (n 2) 2 , , cn2 (1 /2) cn2 (/2) o cn2 (1 /2) est le quantile de niveau (1 /2) dune loi 2 . n2 Arnaud Guyader - Rennes 2 Rgression

1.5. Exemple Remarque : (iii) donne la rgion de conance simultane des paramtres (1 , 2 ) de la rgression, appele ellipse de conance, tandis que (i) et (ii) donnent des intervalles de conance pour 1 et 2 sans tenir compte de la corrlation entre 1 et 2 . La gure 1.7 montre la dirence entre ces deux notions.

15

1.4.4

Prvision

Pour lesprance et la variance, nous avons videmment les mmes rsultats que ceux obtenus en section 1.2.4. De plus, puisque yn+1 est linaire en 1 , 2 et n+1 , on peut prciser sa loi : yn+1 yn+1 N 0, 2 1 + 1 (xn+1 x)2 + (xi x)2 n .

A nouveau on ne connat pas 2 et on lestime donc par 2 . Comme (yn+1 yn+1 ) et 2 (n 2)/ 2 sont indpendants, on peut noncer un rsultat donnant des intervalles de conance pour yn+1 . Proposition 1.3 (Loi et intervalle de conance pour la prdiction) Avec les notations et hypothses prcdentes, on a : yn+1 yn+1 1+
1 n

(xn+1 )2 x (xi )2 x

Tn2 ,

do lon dduit lintervalle de conance pour yn+1 : yn+1 tn2 (1 /2) 1+ 1 (xn+1 x)2 + . n (xi x)2

De ce rsultat, il dcoule que lintervalle de conance pour la valeur prdite est une hyperbole. Nous retrouvons aussi la remarque dj faite : plus le point prvoir admet pour abscisse xn+1 une valeur loigne de x, plus lintervalle de conance sera grand.

1.5

Exemple

Nous allons traiter 50 donnes journalires prsentes en Annexe D. La variable expliquer est la concentration en ozone, note O3, et la variable explicative est la temprature midi, note T12. Les donnes sont traites avec le logiciel R. > a <- lm(O3 T12) > summary(a) Call: lm(formula = O3 T12) Residuals: Min -45.256 Coefficients : (Intercept) T12 Rgression Estimate 31.4150 2.7010 Std. Error 13.0584 0.6266 t value 2.406 4.311 Pr(>|t|) 0.0200 8.04e-05 * *** Arnaud Guyader - Rennes 2 1Q -15.326 Median -3.461 3Q 17.634 Max 40.072

16

Chapitre 1. La rgression linaire simple Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 20.5 on 48 degrees of freedom Multiple R-Squared: 0.2791, Adjusted R-squared: 0.2641 F-statistic: 18.58 on 1 and 48 DF, p-value: 8.041e-05 Les sorties du logiciel donnent les valeurs estimes des paramtres, leur cart-type, la statistique de test sous lhypothse H0 : i = 0. Nous rejetons H0 pour les deux paramtres estims.

1.6

Exercices

Exercice 1.1 (QCM) 1. Lors dune rgression simple, si le R2 vaut 1, les points sont-ils aligns ? A. Non ; B. Oui ; C. Pas obligatoirement. 2. La A. B. C. droite des MCO dune rgression simple passe-t-elle par le point (, y ) ? x Toujours ; Jamais ; Parfois.

3. Nous avons eectu une rgression simple, nous recevons une nouvelle observation xN et nous calculons la prvision correspondante yN . La variance de la valeur prvue est minimale lorsque A. xN = 0 ; B. xN = x ; C. Aucun rapport. 4. Le vecteur Y est-il orthogonal au vecteur des rsidus estims ? A. Toujours ; B. Jamais ; C. Parfois. Exercice 1.2 (R2 et corrlation empirique) Montrer que le coecient de dtermination R2 est gal au carr du coecient de corrlation empirique entre x et y, not r(x, y), cest--dire quon a : R = r(x, y) =
2 2 n i=1 (xi n i=1 (xi

x)2

x)(yi y )
n i=1 (yi

y )2

Exercice 1.3 (Poids des pres et des ls) Ltude statistique ci-dessous porte sur les poids respectifs des pres et de leur l an. Pre 65 63 67 64 68 62 70 66 68 67 69 71 Fils 68 66 68 65 69 66 68 65 71 67 68 70 Voici les rsultats numriques que nous avons obtenus :
12 12 12 12 12

pi = 800
i=1 i=1

p2 = 53418 i
i=1

pi fi = 54107
i=1

fi = 811
i=1

fi2 = 54849.

Arnaud Guyader - Rennes 2

Rgression

1.6. Exercices 1. Calculez la droite des moindres carrs du poids des ls en fonction du poids des pres. 2. Calculez la droite des moindres carrs du poids des pres en fonction du poids des ls. 3. Que vaut le produit des pentes des deux droites ? Exercice 1.4 (Hauteur dun arbre) Nous souhaitons exprimer la hauteur y (en pieds) dun arbre dune essence donne en fonction de son diamtre x (en pouces) 1m30 du sol. Pour ce faire, nous avons mesur 20 couples (diamtre,hauteur) et eectu les calculs suivants : x = 4.53, y = 8.65 et 1 20
20 i=1

17

(xi x) = 10.97

1 20

20 i=1

(yi y ) = 2.24

1 20

20 i=1

(xi x)(yi y ) = 3.77

1. On note y = 0 + 1 x la droite de rgression. Calculer 0 et 1 . 2. Donner et commenter une mesure de la qualit de lajustement des donnes au modle. Exprimer cette mesure en fonction des statistiques lmentaires. Commenter le rsultat. 3. On donne les estimations de lcart-type de 0 , 0 = 1.62, et de 1 , 1 = 0.05. On suppose les perturbations i gaussiennes, centres, de mme variance et indpendantes. Tester H0 : j = 0 contre H1 : j = 0 pour j = 0, 1. Pourquoi ce test est-il intressant dans notre contexte ? Que pensez-vous du rsultat ? Exercice 1.5 (Droite de rgression et points aberrants) Douze personnes sont inscrites une formation. Au dbut de la formation, ces stagiaires subissent une preuve A note sur 20. A la n de la formation, elles subissent une preuve B de niveau identique. Les rsultats sont donns dans le tableau suivant : Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4 Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19 1. Reprsenter le nuage de points. Dterminer la droite de rgression. Calculer le coecient de dtermination. Commenter. 2. Deux stagiaires semblent se distinguer des autres. Les supprimer et dterminer la droite de rgression sur les dix points restants. Calculer le coecient de dtermination. Commenter. Exercice 1.6 (La hauteur des eucalyptus) On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol. On a relev n = 1429 couples (xi , yi ), le nuage de points tant x reprsent gure 1.8. On a obtenu (, y ) = (47, 3; 21, 2) et :
n i=1 n n

(xi x)2 = 102924

i=1

(yi y )2 = 8857

i=1

(xi x)(yi y ) = 26466

1. Calculer la droite des moindres carrs pour le modle y = 1 + 2 x + et la reprsenter sur la gure 1.8. 2. Calculer le coecient de dtermination R2 . Commenter la qualit de lajustement des donnes au modle. 3. Avec ces estimateurs, la somme des carrs des rsidus vaut alors n (yi yi )2 = 2052. Si i=1 on suppose les perturbations i gaussiennes, centres, indpendantes et de mme variance 2 , en dduire un estimateur non biais 2 de 2 . Rgression Arnaud Guyader - Rennes 2

18
28

Chapitre 1. La rgression linaire simple

hauteur

26

24

22

20

18

16

14

12

Circonfrence
10 20 30 40 50 60 70 80

Figure 1.8 Nuage de points pour les eucalyptus.

4. Donner un estimateur 1 de la variance de 1 . 2 5. Tester lhypothse H0 : 1 = 0 contre H1 : 1 = 0. Exercice 1.7 (Forrest Gump for ever) On appelle frquence seuil dun sportif amateur sa frquence cardiaque obtenue aprs trois quarts dheure dun eort soutenu de course pied. Celle-ci est mesure laide dun cardio-frquencemtre. On cherche savoir si lge dun sportif a une inuence sur sa frquence seuil. On dispose pour cela de 20 valeurs du couple (xi , yi ), o xi est lge et yi la frquence seuil du sportif. On a obtenu (, y ) = (35, 6; 170, 2) et : x
n i=1 n n

(xi x)2 = 1991

i=1

(yi y )2 = 189, 2

i=1

(xi x)(yi y ) = 195, 4

1. Calculer la droite des moindres carrs pour le modle y = 1 + 2 x + . 2. Calculer le coecient de dtermination R2 . Commenter la qualit de lajustement des donnes au modle. n 3. Avec ces estimateurs, la somme des carrs des rsidus vaut 2 i=1 (yi yi ) = 170. Si on suppose les perturbations i gaussiennes, centres, indpendantes et de mme variance 2 , en dduire un estimateur non biais 2 de 2 . 2 de la variance de . 2 4. Donner un estimateur 2 5. Tester lhypothse H0 : 2 = 0 contre H1 : 2 = 0 pour un risque de 5%. Conclure sur la question de linuence de lge sur la frquence seuil. Exercice 1.8 (Comparaison destimateurs) Nous considrons le modle statistique suivant : yi = xi + i , i = 1, , n,

o nous supposons que les perturbations i sont telles que [i ] = 0 et Cov(i , i ) = 2 i,j . 1. En revenant la dnition des moindres carrs, montrer que lestimateur des moindres carrs de vaut =
n i=1 xi yi n 2 . i=1 xi

Arnaud Guyader - Rennes 2

Rgression

1.6. Exercices 2. Montrer que la droite passant par lorigine et le centre de gravit du nuage de points est y = x, avec =
n i=1 yi . n i=1 xi

19

3. Montrer que et sont tous deux des estimateurs sans biais de . 4. Montrer que V ( ) > V () sauf dans le cas o tous les xi sont gaux (penser lingalit de Cauchy-Schwarz). Ce rsultat tait-il prvisible ? Exercice 1.9 (Rgression simple) On dispose de n points (xi , yi )1in et on sait quil existe une relation de la forme : yi = axi +b+i , o les erreurs i sont des variables centres, dcorrles et de mme variance 2 . 1. Rappeler les formules des estimateurs des moindres carrs a et ainsi que leurs variances b, respectives. 2. Dans cette question, on suppose connatre b, mais pas a. (a) En revenant la dnition des moindres carrs, calculer lestimateur a des moindres carrs de a. (b) Calculer la variance de a. Montrer quelle est infrieure celle de a. 3. Dans cette question, on suppose connatre a, mais pas b. (a) En revenant la dnition des moindres carrs, calculer lestimateur des moindres b carrs de b. (b) Calculer la variance de Montrer quelle est infrieure celle de b. b. Exercice 1.10 (Forces de frottement et vitesse) Au 17me sicle, Huygens sest intress aux forces de rsistance dun objet en mouvement dans un uide (eau, air, etc.). Il a dabord mis lhypothse selon laquelle les forces de frottement taient proportionnelles la vitesse de lobjet, puis, aprs exprimentation, selon laquelle elles taient proportionnelles au carr de la vitesse. On ralise une exprience dans laquelle on fait varier la vitesse x dun objet et on mesure les forces de frottement y. Ensuite, on teste la relation existant entre ces forces de frottement et la vitesse. 1. Quel(s) modle(s) testeriez-vous ? 2. Comment feriez-vous pour dterminer le modle adapt ? Exercice 1.11 (Prix dun appartement en fonction de sa supercie) En juin 2005, on a relev dans les petites annonces les supercies (en m2 ) et les prix (en euros) de 108 appartements de type T3 louer sur lagglomration de Rennes (cf. gure 1.9). 1. Daprs le listing du tableau 1.2, donner une estimation du coecient de corrlation entre le prix et la supercie dun appartement T3. 2. Proposer un modle permettant dtudier la relation entre le prix des appartements et leur supercie. Prciser les hypothses de ce modle. 3. Daprs le tableau 1.2, est-ce que la supercie joue un rle sur le prix des appartements de type 3 ? Considrez-vous ce rle comme important ? 4. Quelle est lestimation du coecient (coecient de la supercie dans le modle) ? Comment interprtez-vous ce coecient ? 5. La supercie moyenne des 108 appartements est de 68.74 m2 et le prix moyen des appartements est de 591.95 euros. Quel est le prix moyen dun mtre carr ? Pourquoi ce prix moyen est dirent de lestimation de ? Rgression Arnaud Guyader - Rennes 2

20

Chapitre 1. La rgression linaire simple

prix

400 50

600

800

1000

60

70

80

90

100

110

120

superficie

Figure 1.9 Prix de location des appartements en fonction de leur supercie.

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 134.3450 45.4737 2.954 0.00386 Superficie 6.6570 0.6525 10.203 < 2e-16 Residual standard error: 77.93 on 106 degrees of freedom Multiple R-Squared: 0.4955, Adjusted R-squared: 0.4907 F-statistic: 104.1 on 1 and 106 DF, p-value: < 2.2e-16

Table 1.2 Prix en fonction de la supercie : rsultats de la rgression linaire simple (sortie R). 6. Dans lchantillon dont on dispose, comment savoir quels sont les appartements bon march du seul point de vue de la surface ? Exercice 1.12 (Total Least Squares (TLS)) Nous avons un nuage de points observs (xi , yi ) pour i = 1, , n, et nous cherchons un couple (, y ) vriant la relation linaire suivante x y = , x tel que la norme matricielle [x, y] [, y ] x
F

soit minimale (rappel : A

F

Tr(AA )).

1. Que reprsente la norme matricielle [x, y] [, y ] x

dun point de vue gomtrique ?

2. Supposons pour simplier que x = y = 0, cest--dire que le centre de gravit du nuage de points est en lorigine du repre. Quel rapport voyez-vous entre TLS et ACP ?

1.7

Corrigs

Exercice 1.1 (QCM) Cest le B.A.-BA. Arnaud Guyader - Rennes 2 Rgression

1.7. Corrigs Exercice 1.2 (R2 et corrlation empirique) Le coecient R2 scrit R2 = = =

n n i=1 y 2 x + 2 xi y i=1 1 + 2 xi y Y y 2 = = n n 2 Y y 2 2 i=1 (yi y ) i=1 (yi y ) 2 [ n (xi x)(yi y )]2 n (xi x)2 2 n (xi x)2 i=1 i=1 i=1 = n 2 2 n n [ i=1 (xi x)2 ] 2 i=1 (yi y ) i=1 (yi y ) 2 2

21

x)(yi y )]2 = r(x, y)2 . n (xi x)2 n (yi y )2 i=1 i=1 [

n i=1 (xi

Exercice 1.3 (Poids des pres et des ls) 1. La droite des moindres carrs du poids des ls en fonction du poids des pres scrit (cf. gure 1.10 gauche) : f = 1 + 2 p = 35.8 + 0.48p. 2. La droite des moindres carrs du poids des ls en fonction du poids des pres scrit (cf. gure 1.10 droite) : p = 1 + 2 f = 3.38 + 1.03f . 3. Le produit des pentes des deux droites est 2 2 = (fi f )(pi p) = R2 , n 2) )2 ( (fi f i=1 (pi p)
2

o R2 est le coecient de dtermination, carr du coecient de corrlation linaire.

Figure 1.10 Nuages de points et droites de rgression pour les poids des pres et des ls.

Exercice 1.4 (Hauteur dun arbre) Nous souhaitons exprimer la hauteur y (en pieds) dun arbre dune essence donne en fonction de son diamtre x (en pouces) 1m30 du sol. Pour ce faire, nous avons mesur 20 couples (diamtre,hauteur) et eectu les calculs suivants : x = 4.53, y = 8.65 et 1 20
20 i=1

(xi x)2 = 10.97

1 20

20 i=1

(yi y )2 = 2.24

1 20

20 i=1

(xi x)(yi y ) = 3.77

1. Les estimateurs de la droite des moindres carrs y = 0 + 1 x sont respectivement : 1 = Rgression (xi x)(yi y ) 0.344 2 (xi x) Arnaud Guyader - Rennes 2

22 et

Chapitre 1. La rgression linaire simple

0 = y 1 x 7.09 2. Une mesure de la qualit de lajustement des donnes au modle est donne par le coecient de dtermination R2 , dont on a vu quil correspond au carr du coecient de corrlation linaire empirique : R =
2 n i=1 (xi n i=1 (xi

x)2

x)(yi y )
n i=1 (yi

y )2

0.58.

Le modle de rgression linaire simple explique donc un peu plus de la moiti de la variance prsente dans les donnes. 3. Sous H0 , on sait que 0 T18 , 0

loi de Student 18 degrs de libert. Pour un niveau de conance de 95%, on compare donc la valeur absolue obtenue dans notre cas particulier, savoir |0 /0 | 4.38 au quantile t18 (0.975) 2.1. On en dduit quon rejette lhypothse selon laquelle 0 serait nul. De mme pour le test dhypothse sur 1 , ce qui donne la statistique de test : 1 6.88 > 2.1 1 donc on rejette galement lhypothse selon laquelle 1 serait nul. A priori, un arbre de diamtre nul a une hauteur gale zro, donc on aurait pu sattendre ce que le coecient 0 soit nul. Ceci est en contradiction avec le rsultat du test dhypothse ci-dessus, mais il ny a rien dtonnant a : le modle de rgression propos est pertinent dans lintervalle considr, cest--dire pour des arbres de hauteur moyenne 8.65 pieds, avec un cart-type gal 2.24 1.5, non pour des arbres tout petits. Exercice 1.5 (Droite de rgression et points aberrants) Douze personnes sont inscrites une formation. Au dbut de la formation, ces stagiaires subissent une preuve A note sur 20. A la n de la formation, elles subissent une preuve B de niveau identique. Les rsultats sont donns dans le tableau suivant : Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4 Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19 1. Pour lexplication de la note B partir de la note A, la droite de rgression (cf. gure 1.11 gauche) est donne par y = 1 + 2 x, o : 2 =
n i=1 (xi x)(yi n 2 i=1 (xi x)

y)

0.11

et 1 = y 2 x 12.0 Le coecient de dtermination vaut : R2 = ( ( n (xi x)(yi y ))2 i=1 n 2 ) ( n (y y )2 ) i=1 (xi x) i=1 i 0, 01

Le modle de rgression linaire expliquerait donc 1% de la variance des donnes, ce qui est trs faible. Arnaud Guyader - Rennes 2 Rgression

1.7. Corrigs

23

Figure 1.11 Droites de rgression et points aberrants.

2. Si on supprime les deux derniers stagiaires, on obtient cette fois (cf. gure 1.11 droite) y = 1 + 2 x = 5.47 + 0.90x et R2 0.81. Sans ces deux stagiaires, le modle de r gression linaire expliquerait donc 81% de la variance des donnes, ce qui le rend tout fait pertinent. Les deux derniers stagiaires correspondent ce quon appelle des points aberrants.

Exercice 1.6 (La hauteur des eucalyptus) Cet exercice est corrig en annexe (dcembre 2009). Exercice 1.7 (Forrest Gump for ever) 1. La mthode des moindres carrs ordinaires donne pour estimateur de 2 : 2 = Et pour estimateur de 1 : 1 = y 2 x 173.7. 2. Le coecient de dtermination R2 est gal au carr du coecient de corrlation linaire entre les variables x et y, ce qui donne : R2 = x)(yi y ))2 0, 101. n 2 ) ( n (y y )2 ) i=1 (xi x) i=1 i (
n i=1 (xi n i=1 (xi x)(yi n 2 i=1 (xi x)

y)

0, 098.

On en conclut que 10% de la variance des frquences seuils yi est explique par lge. Ce modle de rgression linaire simple ne semble donc pas ecace. 3. Un estimateur non biais 2 de 2 est tout simplement : 2 =
n i=1 (yi

yi )2 = n2

n i=1 (yi

18

yi )2

9.44.

4. Un estimateur 2 de la variance de 2 est alors donn par : 2 2 = 2 Rgression 2 0, 0047. n 2 i=1 (xi x) Arnaud Guyader - Rennes 2

24

Chapitre 1. La rgression linaire simple 5. On sait que lestimateur centr et normalis de 2 suit une loi de Student (n 2) = 18 degrs de libert : 2 2 T18 , 2
2 donc sous lhypothse H0 : 2 = 0, ceci se simplie en 2 T18 , et cette statistique de test donne ici : 0, 098 1.43 > 2.101 = t18 (0.025). t = T () 0, 0047

Ainsi on accepte lhypothse H0 selon laquelle la pente de la droite de rgression est nulle. Ceci signie quau vu des donnes dont nous disposons, on peut considrer que lge na pas dinuence sur la frquence seuil. Exercice 1.8 (Comparaison destimateurs) Nous considrons le modle statistique yi = xi + i , i = 1, , n, [i ] = 0 et Cov(i , i ) = 2 i,j .

o nous supposons que les perturbations i sont telles que

n

1. Par dnition, lestimateur des moindres carrs de vrie = arg min

i=1

(yi xi )2 = arg min S().

Cette fonction S est strictement convexe et admet donc un unique minimum au point o sa drive sannule :
n n n

S () = 2 Ceci mne bien :

i=1

xi (yi xi ) = 2

i=1

x2 i

xi y i
i=1

n i=1 xi yi n 2 . i=1 xi

2. La droite passant par lorigine et le centre de gravit (, y ) du nuage de points admet pour x x, o quation y = = y = x
n i=1 yi . n i=1 xi

3. Commencons par rcrire les estimateurs obtenus grce la relation yi = xi + i . Pour le premier, ceci donne : =+ et pour le second : = +
n i=1 i . n i=1 xi n i=1 xi i n 2 , i=1 xi

Puisque par hypothse les erreurs sont centres (i.e. [i ] = 0), il en dcoule que [ ] = , cest--dire que les deux estimateurs sont sans biais. Arnaud Guyader - Rennes 2

[] =

Rgression

1.7. Corrigs 4. On rutilise les expressions prcdentes des estimateurs pour cette question. Puisque les erreurs sont dcorrles, la variance de vaut V () = La variance de vaut quant elle V ( ) =
2. n i=1 xi ) n 2 2 i=1 xi n 2 2 i=1 xi

25

n 2. i=1 xi

n 2

Lingalit de Cauchy-Schwarz dit que la valeur absolue du produit scalaire de deux vecteurs est infrieure ou gale au produit de leurs normes, cest--dire : pour tous vecteurs u = [u1 , . . . , un ] et v = [v1 , . . . , vn ] de n , | u, v | u v , ou encore en passant aux carrs :
n 2 n n

ui vi
i=1

u2 i
i=1 i=1

2 vi

avec galit si et seulement si u et v sont colinaires. En prenant u = [x1 , . . . , xn ] et v = [1, . . . , 1] , on en dduit que V ( ) V (), avec galit si et seulement si u et v sont colinaires, cest--dire si et seulement si tous les xi sont gaux. Puisque les deux estimateurs sont linaires en y et que est celui des moindres carrs, ce rsultat nest pas tonnant si lon repense au thorme de Gauss-Markov. Exercice 1.9 (Rgression simple) Cet exercice est corrig en annexe, sujet de dcembre 2010. Exercice 1.10 (Forces de frottement et vitesse) Cet exercice est corrig en annexe, sujet de dcembre 2010. Exercice 1.11 (Prix dun appartement en fonction de sa supercie) Cet exercice est corrig en annexe, sujet de dcembre 2011.

Rgression

Arnaud Guyader - Rennes 2

Chapitre 2

La rgression linaire multiple

Introduction
La modlisation de la concentration dozone dans latmosphre voque au Chapitre 1 est relativement simpliste. En eet, dautres variables peuvent expliquer cette concentration, par exemple le vent qui pousse les masses dair. Ce phnomne physique est connu sous le nom dadvectance (apport dozone) ou de dilution. Dautres variables telles le rayonnement, la prcipitation, etc. ont une inuence certaine sur la concentration dozone. Lassociation Air Breizh mesure ainsi en mme temps que la concentration dozone dautres variables susceptibles davoir une inuence sur celle-ci (voir Annexe D). Voici quelques-unes de ces donnes : T12 V N12 O3 23.8 9.25 5 115.4 16.3 -6.15 7 76.8 27.2 -4.92 6 113.8 7.1 11.57 5 81.6 25.1 -6.23 2 115.4 27.5 2.76 7 125 19.4 10.15 4 83.6 19.8 13.5 6 75.2 32.2 21.27 1 136.8 20.7 13.79 4 102.8

Table 2.1 10 donnes journalires de temprature, vent, nbulosit et ozone.

La variable V est une variable synthtique. En eet, le vent est normalement mesur en degrs (direction) et mtres par seconde (vitesse). La variable V que nous avons cre est la projection du vent sur laxe Est-Ouest, elle tient donc compte la fois de la direction et de la vitesse. Pour analyser la relation entre la temprature T , le vent V , la nbulosit midi N et lozone O3 , nous allons chercher une fonction f telle que : O3i f (Ti , Vi , Ni ). An de prciser , il va falloir dnir comme au Chapitre 1 un critre quantiant la qualit de lajustement de la fonction f aux donnes, ou inversement le cot de non-ajustement. Cette notion de cot permet dapprhender de manire aise les problmes dajustement conomique dans certains modles, do son nom. Minimiser un cot ncessite aussi la connaissance de lespace sur lequel on minimise, cest--dire la classe de fonctions F dans laquelle nous supposerons que se trouve la vraie fonction inconnue. Le problme mathmatique peut scrire de la faon suivante :
n

arg min
f F i=1

L(yi f (xi )),

(2.1)

28

Chapitre 2. La rgression linaire multiple o n reprsente le nombre de donnes analyser, L(.) est appele fonction de cot, ou de perte, et xi est une variable vectorielle pour tout i. La fonction de cot sera la mme que celle utilise prcdemment, cest--dire le cot quadratique. En ce qui concerne le choix de la classe F, nous utiliserons la classe des fonctions linaires : p j xj . F = f : P , f (x1 , , xp ) =
j=1

Ce chapitre est donc la gnralisation naturelle du prcdent, mais nous allons cette fois manipuler sytmatiquement des vecteurs et des matrices la place des scalaires.

2.1

Modlisation

Le modle de rgression linaire multiple est une gnralisation du modle de rgression simple lorsque les variables explicatives sont en nombre quelconque. Nous supposons donc que les donnes collectes suivent le modle suivant : yi = 1 xi1 + 2 xi2 + + p xip + i , i = 1, . . . , n (2.2)

o : les xij sont des nombres connus, non alatoires, la variable xi1 valant souvent 1 pour tout i ; les paramtres j du modle sont inconnus, mais non alatoires ; les i sont des variables alatoires inconnues. En utilisant lcriture matricielle de (2.2) nous obtenons la dnition suivante : Dnition 2.1 (Modle de rgression linaire multiple) Un modle de rgression linaire est dni par une quation de la forme : Y = X + o : Y est un vecteur alatoire de dimension n, X est une matrice de taille n p connue, appele matrice du plan dexprience, est le vecteur de dimension p des paramtres inconnus du modle, est le vecteur de dimension n des erreurs. Les hypothses concernant le modle sont (H) (H1 ) : rg(X) = p (H2 ) : [] = 0, Var() = 2 In

Lhypothse (H2 ) signie que les erreurs sont centres, de mme variance (homoscdasticit) et non corrles entre elles. Notation. On notera X = [X1 | . . . |Xp ], o Xj est le vecteur de taille n correspondant la j-me variable. La i-me ligne de la matrice X sera quant elle note x = [xi1 , . . . , xip ]. Ainsi lquation i (2.2) scrit aussi : i {1, . . . , n} yi = x + i i Arnaud Guyader - Rennes 2 Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires

29

2.2

Estimateurs des Moindres Carrs Ordinaires

Comme pour la rgression linaire simple, on va prendre ici une fonction de cot quadratique. On parle encore de Moindres Carrs Ordinaires (MCO). Dnition 2.2 (Estimateur des MCO) Lestimateur des moindres carrs est dni comme suit :
n

= arg min p
i=1

p j=1

Dans la suite de cette section, nous allons donner lexpression de lestimateur ainsi que certaines de ses proprits.

yi

j xij = arg min Y X 2 . p

(2.3)

2.2.1

Calcul de

Pour dterminer , une mthode consiste se placer dans lespace des variables, comme on la fait au Chapitre 1, Section 1.3.1. Rappelons brivement le principe : Y = [y1 , . . . , yn ] est le vecteur des variables expliquer. La matrice du plan dexprience X = [X1 | . . . |Xp ] est forme de p vecteurs colonnes (la premire colonne tant gnralement constitue de 1). Le sous-espace de n engendr par les p vecteurs colonnes de X est appel espace image, ou espace des solutions, et not M(X). Il est de dimension p par lhypothse (H1 ) et tout vecteur de cet espace est de la forme X, o est un vecteur de p : X = 1 X1 + + p Xp M (X) Y

M(X)

X X X

Figure 2.1 Reprsentation de X dans lespace des variables.

Selon le modle de la Dnition 2.1, le vecteur Y est la somme dun lment de M(X) et dun bruit lment de n , lequel na aucune raison dappartenir M(X). Minimiser Y X 2 revient chercher un lment de M(X) qui soit le plus proche de Y au sens de la norme euclidienne classique. Cet unique lment est, par dnition, le projet orthogonal de Y sur M(X). Il sera not Y = PX Y , o PX est la matrice de projection orthogonale sur M(X). Cet lment de M(X) est aussi not Y = X , o est lestimateur des MCO de . Lespace orthogonal M(X), not M (X), est souvent appel espace des rsidus. Il est bien entendu de dimension np = dim(n )dim(M(X)). Proposition 2.1 (Expression de ) des Moindres Carrs Ordinaires a pour expression : Lestimateur = (X X)1 X Y, Rgression Arnaud Guyader - Rennes 2

30

Chapitre 2. La rgression linaire multiple et la matrice PX de projection orthogonale sur M(X) scrit : PX = X(X X)1 X . Remarque. Lhypothse (H1 ) assure que la matrice X X est bien inversible. Supposons en eet quil existe un vecteur de p tel que (X X) = 0. Ceci impliquerait que X 2 = (X X) = 0, donc X = 0, do = 0 puisque rg(X) = p. Autrement dit la matrice symtrique X X est dnie positive. Preuve. On peut prouver ce rsultat de plusieurs faons. 1. Par direntiation : on cherche p qui minimise la fonction S() = Y X
2

= (X X) (Y X + X Y ) + Y

Or S est une forme quadratique en , avec X X qui est symtrique dnie positive, donc le problme admet une unique solution : cest le point o la drive de S par rapport est nulle. Ceci scrit : S () = 2X X 2X Y = 0. Puisque la matrice X X est inversible par (H1 ), ceci donne = (X X)1 X Y et puisque X)1 X Y et que cette relation est valable pour tout par dnition Y = PX Y = X = X(X n , on en dduit que P = X(X X)1 X . Y X 2. Par projection : une autre faon de procder consiste dire que le projet orthogonal Y = Y est dni comme lunique vecteur tel que (Y Y ) soit orthogonal M(X). Puisque M(X) est engendr par les vecteurs X1 , . . . , Xp , ceci revient dire que (Y Y ) est orthogonal chacun des Xi : X1 , Y X = 0 . . . Xp , Y X = 0 Ces p quations se regroupent en une seule : X (Y X ) = 0, do lon dduit bien lexpres puis celle de PX . sion de ,

Dornavant nous noterons PX = X(X X)1 X la matrice de projection orthogonale sur M(X) et PX = (I PX ) la matrice de projection orthogonale sur M (X). La dcomposition Y = Y + (Y Y ) = PX Y + (I PX )Y = PX Y + PX Y nest donc rien de plus quune dcomposition orthogonale de Y sur M(X) et M (X). Achtung ! La dcomposition Y = 1 X1 + + p Xp

signie que les i sont les coordonnes de Y dans la base (X1 , . . . , Xp ) de M(X). Il ne faudrait i sont les coordonnes des projections de Y sur les Xi : ceci nest pas croire pour autant que les vrai que si la base (X1 , . . . , Xp ) est orthogonale, ce qui nest pas le cas en gnral. Rappels sur les projecteurs. Soit P une matrice carre de taille n. On dit que P est une matrice de projection si P 2 = P . Ce nom est d au fait que pour tout vecteur x de n , P x est la projection de x sur Im(P ) paralllement Ker(P ). Si en plus de vrier P 2 = P , la matrice P est symtrique, Arnaud Guyader - Rennes 2 Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires alors P x est la projection orthogonale de x sur Im(P ) paralllement Ker(P ), cest--dire que dans la dcomposition x = P x + (x P x), les vecteurs P x et (x P x) sont orthogonaux. Cest ce cas de gure qui nous concernera dans ce cours. Toute matrice symtrique relle tant diagonalisable en base orthonorme, il existe une matrice orthogonale U (i.e. U U = In , ce qui signie que les colonnes de U forment une base orthonorme de n ) et une matrice diagonale telles que P = U U . On voit alors facilement que la diagonale de est compose de p 1 et de (n p) 0, o p est la dimension de Im(P ), espace sur lequel on projette.
2 Revenons nos moutons : on a vu que PX = X(X X)1 X . On vrie bien que PX = PX et que PX est symtrique. Ce qui prcde assure galement que Tr(PX ) = p et Tr(PX ) = n p. Cette dernire remarque nous sera utile pour construire un estimateur sans biais de 2 . Dautre part, la matrice PX est souvent note H (comme Hat) dans la littrature anglo-saxonne, car elle met des chapeaux sur les vecteurs : PX Y = Y . De fait, les lements de PX sont nots (hij )1i,jn .

31

2.2.2

Quelques proprits

Comme en rgression simple, lestimateur obtenu est sans biais. On obtient de plus une expression trs simple pour sa matrice de covariance Var(). On rappelle que la matrice de covariance du vecteur alatoire , ou matrice de variance-covariance, ou matrice de dispersion, est par dnition : Var() = [( [])( []) ] = [ ] [] [] .

Puisque est de dimension p, elle est de dimension p p. De plus, pour pour toute matrice A de taille m p et tout vecteur B de dimension m dterministes, on a : Var(A + B) = AVar()A . Cette proprit sera dutilit constante dans la suite. Proposition 2.2 (Biais et matrice de covariance) Lestimateur des moindres carrs est sans biais, i.e. [] = , et sa matrice de covariance est : V () = 2 (X X)1 . Preuve. Pour le biais il sut dcrire : [] = et puisque [(X X)1 X Y ] = (X X)1 X [Y ] = (X X)1 X [X + ], [] = (X X)1 X X = . Pour la variance, on procde de mme : Var() = Var((X X)1 X Y ) = (X X)1 X Var(Y )X(X X)1 , or Var(Y ) = Var(X + ) = Var() = 2 In , donc : Var() = 2 (X X)1 X X(X X)1 = 2 (X X)1 .

[] = 0, il vient :

Lestimateur des MCO est optimal en un certain sens. Cest ce que prcise le rsultat suivant, gnralisation de celui vu en rgression linaire simple. Thorme 2.1 (Gauss-Markov) Lestimateur des MCO est de variance minimale parmi les estimateurs linaires sans biais de . Rgression Arnaud Guyader - Rennes 2

32 Remarques :

Chapitre 2. La rgression linaire multiple

1. Linaire signie linaire par rapport Y , cest--dire de la forme AY o A est une matrice (p, n) : en ce sens, lestimateur des MCO est bien linaire puisque = (X X)1 X Y . 2. Rappelons quil existe une relation dordre partielle entre matrices symtriques relles : dire que S1 S2 signie que S = (S2 S1 ) est une matrice symtrique relle positive, cest--dire que pour tout vecteur x, on a x S1 x x S2 x. Ceci revient encore dire que les valeurs propres de S sont toutes suprieures ou gales 0. Preuve. Nous allons montrer que, pour tout autre estimateur de linaire et sans biais, Var() o lingalit entre matrices de variance-covariance est comprendre au sens prcis ciVar(), dessus. Rappelons la formule gnrale pour la matrice de covariance de la somme deux vecteurs alatoires U et V : Var(U + V ) = Var(U ) + Var(V ) + Cov(U, V ) + Cov(V, U ), o Cov(U, V ) = [U V ] [U ] [V ] = Cov(V, U ) . Dcomposons ainsi la variance de :

Var() = Var( + ) = Var( ) + Var() + Cov( , ) + Cov(, ). Les variances tant semi-dnies positives, si nous montrons que Cov( , ) = 0, nous aurons est linaire, = AY . De plus, nous savons quil est sans biais, ni la dmonstration. Puisque cest--dire [] = pour tout , donc AX = I. La covariance devient : Cov( , ) = Cov(AY, (X X)1 X Y ) Var()

= 2 AX(X X)1 2 (X X)1 = 0.

2.2.3

Rsidus et variance rsiduelle

Les rsidus sont dnis par = [1 , . . . , n ] = Y Y = (I PX )Y = PX Y = PX , car Y = X + et X M(X). On peut alors noncer les rsultats suivants. Proprits 2.1 (Biais et Variance de et Y ) Sous le jeu dhypothses (H), on a : 1. [] = 0. 2. Var() = 2 PX . 3. [Y ] = X. 4. Var(Y ) = 2 PX . 5. Cov(, Y ) = 0. Preuve. 1. 3. [] = [PX ] = PX [] = 0. [] = 0.
2. Var() = PX Var()PX = PX Var()PX = 2 PX PX = 2 PX .

[Y ] = [Y ] = [Y ] [] = [Y ] = [X + ] = X, car 4. Var(Y ) = PX Var(Y )PX = PX Var(Y )PX = 2 PX . Arnaud Guyader - Rennes 2

Rgression

2.2. Estimateurs des Moindres Carrs Ordinaires 5. Rappelons que la covariance entre deux vecteurs alatoires est une application bilinaire et que Cov(U, U ) = Var(U ). Ici ceci donne : Cov(, Y ) = Cov(, Y ) = Cov(, Y ) Var() = Cov(PX Y, Y ) 2 PX et puisque Var(Y ) = 2 In , nous avons : Cov(, Y ) = PX Var(Y ) 2 PX = 0.

33

Comme en rgression linaire simple, un estimateur naturel de la variance rsiduelle est donn par : 1 n
n

i =
i=1

1 2. n

Malheureusement on va voir que cet estimateur est biais. Ce biais est nanmoins facile corriger, comme le montre le rsultat suivant. Cest une bte gnralisation du rsultat obtenu en rgression linaire simple, en remplaant n 2 par n p. Proposition 2.3 La statistique 2 =
2 np

SCR np

est un estimateur sans biais de 2 .

Preuve. Nous calculons ce qui donne :

[ 2 ]. Ruse de sioux : puisque cest un scalaire, il est gal sa trace, [ 2] = [Tr( 2 )] = [Tr( )],
i,j

et puisque pour toute matrice A, on a Tr(AA ) = Tr(A A) = [ 2] =

a2 , il vient : ij

[Tr( )] = Tr( [ ]) = Tr(Var()) = Tr( 2 PX ).

Et comme PX est la matrice de la projection orthogonale sur un espace de dimension (n p), on a bien : [ 2 ] = (n p) 2 . On dduit de cet estimateur de 2 de la variance rsiduelle 2 un estimateur de la variance 2 = 2 (X X)1 : Var() = 2 (X X)1 = 2 SCR 1 2 (X X)1 = (X X) . np np

En particulier, un estimateur de lcart-type de lestimateur j du j-me coecient de la rgression est tout simplement : j = [(X X)1 ]jj .

An dallger les notations, on crira parfois j pour j . Rgression Arnaud Guyader - Rennes 2

34

Chapitre 2. La rgression linaire multiple

2.2.4

Prvision

Un des buts de la rgression est de proposer des prdictions pour la variable expliquer y lorsque nous avons de nouvelles valeurs de x. Soit donc x n+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour laquelle nous voudrions prdire yn+1 , dni par yn+1 = x + n+1 , avec [n+1 ] = 0, n+1 Var(n+1 ) = 2 et Cov(n+1 , i ) = 0 pour i = 1, . . . , n. La mthode naturelle est de prdire la valeur correspondante grce au modle ajust : yn+1 = x . Lerreur de prvision est nouveau n+1 + n+1 . Deux types derreurs vont alors entacher dnie par n+1 = yn+1 yn+1 = xn+1 ( ) notre prvision : la premire due lincertitude sur n+1 et lautre lincertitude inhrente les timateur . Proposition 2.4 (Erreur de prvision) Lerreur de prvision n+1 = (yn+1 yn+1 ) satisfait les proprits suivantes : [n+1 ] = 0 Var(n+1 ) = 2 (1 + x (X X)1 xn+1 ). n+1 Preuve. Puisque [n+1 ] = 0 et que est un estimateur sans biais de , il est clair que [n+1 ] = 0. Autrement dit, en moyenne, notre estimateur ne se trompe pas. Calculons la variance de lerreur de prvision. Puisque dpend uniquement des variables alatoires (i )1in , dont n+1 est dcorrle, il vient : Var (n+1 ) = Var(n+1 + x ( )) = 2 + x Var()xn+1
n+1 n+1

= 2 (1 + x (X X)1 xn+1 ). n+1

Nous retrouvons bien lincertitude dobservation 2 laquelle vient sajouter lincertitude destimation.

2.3

Interprtation gomtrique

M (X) Y

0 Y = X M(X) y

Figure 2.2 Reprsentation des variables.

Arnaud Guyader - Rennes 2

Rgression

2.4. Exemple Le thorme de Pythagore nous donne directement : SCT Y

2

35

= SCE + SCR = Y 2+ 2 = X
2

+ Y X 2.

Si la constante fait partie du modle alors nous avons, toujours par Pythagore : SCT Y y
2

Variation totale = V. explique par le modle + V. rsiduelle. Dnition 2.3 Le coecient de dtermination R2 est dni par : R2 = cos2 0 = Y Y
2 2

= SCE + SCR = Y y 2 +

=1

2 2

=1

SCR , SCT

et si la constante fait partie de M(X) par : R2 = cos2 = V. explique par le modle Y y = Variation totale Y y
2 2

=1

2 Y y

=1

SCR . SCT

Ce coecient mesure le cosinus carr de langle entre les vecteurs Y et Y pris lorigine ou pris en y . Ce dernier est toujours plus grand que le premier, puisque Y y Y . Nanmoins, ce coecient ne tient pas compte de la dimension de lespace de projection M(X), un R2 ajust est donc dni. Dnition 2.4 2 Le coecient de dtermination ajust Ra est dni par :
2 Ra = 1

n np Y

2 2

=1

n SCR , n p SCT

et si la constante fait partie de M(X) par :

2 Ra = 1

2 n1 n p Y y

=1

n 1 SCR . n p SCT

Avec le logiciel R, le coecient de dtermination R2 est appel Multiple R-Squared, tandis que 2 le coecient de dtermination ajust Ra est appel Adjusted R-Squared (cf. infra).

2.4

Exemple

Nous allons traiter les 50 donnes journalires prsentes en Annexe D. La variable expliquer est la concentration en ozone note O3 et les variables explicatives sont la temprature T12, le vent Vx et la nbulosit Ne12. Les donnes sont traites avec le logiciel R. > a <- lm(O3 T12+Vx+Ne12,data=DONNEE) > summary(a) Call: lm(formula = O3 T12 + Vx + Ne12, data = DONNEE)) Rgression Arnaud Guyader - Rennes 2

36 Residuals: Min -29.0441 Coefficients : (Intercept) T12 Vx Ne12 Estimate 84.5483 1.3150 0.4864 -4.8935 Std. Error 13.6065 0.4974 0.1675 1.0270 t value 6.214 2.644 2.903 -4.765 1Q -8.4833 Median 0.7857

Chapitre 2. La rgression linaire multiple

3Q 7.7011

Max 28.2919

Pr(>|t|) 1.38e-07 0.01118 0.00565 1.93e-05

*** * ** ***

Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 13.91 on 46 degrees of freedom Multiple R-Squared: 0.6819, Adjusted R-squared: 0.6611 F-statistic: 32.87 on 3 and 46 DF, p-value: 1.663e-11 Les interprtations des sorties sont similaires celles obtenues pour la rgression simple. Noter que le Residual standard error correspond lcart-type rsiduel, cest--dire .

2.5

Exercices

Exercice 2.1 (Rgression simple et Rgression multiple) Considrons le modle de rgression linaire simple y = 1 + 2 x + . On dispose dun chantillon de n couples (xi , yi )1in . 1. Rappeler les formules de 1 et 2 , estimateurs des moindres carrs ordinaires du Chapitre 1. 2. Donner la formule de = [1 , 2 ] , estimateur des moindres carrs ordinaires du Chapitre 2. 3. Retrouver le rsultat de la question 1 partir de celui de la question 2. 4. Soit xn+1 une nouvelle mesure et yn+1 la valeur prdite associe. Retrouver la variance de lerreur de prdiction n+1 = yn+1 yn+1 vue au Chapitre 1 partie de celle du Chapitre 2. Exercice 2.2 (Rle de la constante) Soit X(n,p) une matrice de rang p. Soit Y la projection orthogonale dun vecteur Y de n sur lespace engendr par les colonnes de X. On note le vecteur de n uniquement compos de 1. 1. Exprimer le produit scalaire Y, en fonction des yi . 2. Soit = Y Y et supposons que lun des vecteurs colonnes de X est constant (non nul). Que vaut , ?
n i=1 yi

3. En dduire que lorsque la constante fait partie du modle,

n i=1 yi .

Exercice 2.3 (Le R2 et les modles embots) Soit Z(n,q) une matrice (n, q) de rang q et soit X(n,p) une matrice (n, p) de rang p compose des q vecteurs colonnes de Z et de p q autres vecteurs linairement indpendants. Nous avons les deux modles suivants : Y Y = Z + = X + .

Supposons pour simplier que la constante ne fait partie daucun modle. Montrer que PX Y 2 = PZ Y 2 + PXZ Y 2 . Comparer alors les R2 dans ces deux modles. Discuter de lutilisation du R2 pour le choix de variables. Arnaud Guyader - Rennes 2 Rgression

2.5. Exercices Exercice 2.4 (Deux variables explicatives) On examine lvolution dune variable y en fonction de deux variables exognes x et z. On dispose de n observations de ces variables. On note X = [ x z] o est le vecteur constant et x, z sont les vecteurs des variables explicatives. 1. Nous avons obtenu les rsultats suivants : 25 0 0 0.04 0 0 X X = ? 9.3 5.4 (X X)1 = 0 0.1428 0.0607 . ? ? 12.7 0 0.0607 0.1046 (a) Donner les valeurs manquantes. (b) Que vaut n ? (c) Calculer le coecient de corrlation linaire empirique entre x et z. 2. La rgression linaire de Y sur (, x, z) donne Y = 1.6 + 0.61x + 0.46z + , (a) Dterminez la moyenne empirique y . (b) Calculer la somme des carrs explique (SCE), la somme des carrs totale (SCT ) et le coecient de dtermination. Exercice 2.5 (Rgression sur variables orthogonales) Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p compose de p vecteurs orthogonaux, p et n . Considrons Z la matrice des q premires colonnes de X et U la matrice des (p q) dernires colonnes de X. Nous avons obtenu par les MCO les estimations suivantes : YX YZ YU X X = 1 X1 + + p Xp = Z X1 + + Z Xq
1 q 2

37

SCR =

= 0.3.

U U = q+1 Xq+1 + + p Xp .

Notons galement SCE(A) la norme au carr de PA Y . 1. Montrer que SCE(X) = SCE(Z) + SCE(U ). X 2. Donner lexpression de 1 en fonction de Y , X1 et X1 . 3. En dduire que X = Z .
1 1

Exercice 2.6 (Rgression sur variables centres) Nous considrons le modle de rgression linaire Y = X + , (2.4)

o Y n , X est une matrice de taille n p de rang p, p et n . La premire colonne de X est le vecteur constant . X peut donc scrire X = [, Z] o Z = [X2 , . . . , Xp ] est la matrice n (p 1) des (p 1) derniers vecteurs colonnes de X. Le modle peut donc scrire sous la forme : Y = 1 + Z(1) + , o 1 est la premire coordonne du vecteur et (1) reprsente le vecteur priv de sa premire coordonne. Rgression Arnaud Guyader - Rennes 2

38

Chapitre 2. La rgression linaire multiple 1. Donner P , matrice de projection orthogonale sur le sous-espace engendr par le vecteur . 2. En dduire la matrice de projection orthogonale P sur le sous-espace vecteur . 3. Calculer P Z. 4. En dduire que lestimateur de des Moindres Carrs Ordinaires du modle (2.4) peut tre obtenu en minimisant par les MCO le modle suivant : Y = Z(1) + , (2.5)

orthogonal au

o Y = P Y et Z = P Z. 5. Ecrire la SCR estime dans le modle (2.5) en fonction des variables du modle (2.5). Vrier que la SCR du modle (2.5) est identique celle qui serait obtenue par lestimation du modle (2.4). Exercice 2.7 (QCM) Ce questionnaire fait appel non seulement au cours, mais galement certains des rsultats vus dans les exercices qui prcdent. 1. Nous avons eectu une rgression multiple, une des variables explicatives est la constante, la somme des rsidus calculs vaut : A. 0 ; B. Approximativement 0 ; C. Parfois 0. 2. Le vecteur Y est-il orthogonal au vecteur des rsidus estims ? A. Oui ; B. Non ; C. Seulement si fait partie des variables explicatives. 3. Un estimateur de la variance de , estimateur des MC de , vaut : A. 2 (X X)1 ; B. 2 (X X)1 ; C. 2 (XX )1 . 4. Un autre estimateur que celui des moindres carrs (moindres valeurs absolues ou autre) a t calcul. La SCR obtenue avec cet estimateur est : A. Plus petite que la SCR obtenue avec lestimateur des MC classique ; B. Plus grande que la SCR obtenue avec lestimateur des MC classique ; C. Aucun rapport. 5. Une rgression a t eectue et le calcul de la SCR a donn la valeur note SCR1. Une variable est ajoute, le calcul de la SCR a donn une nouvelle valeur note SCR2. Nous savons que : A. SCR1 SCR2 ; B. SCR1 SCR2 ; C. Cela dpend de la variable ajoute. 6. Une rgression a t eectue et un estimateur de la variance rsiduelle a donn la valeur note 1 . Une variable est rajoute et un estimateur de la variance rsiduelle vaut maintenant 2 2 . Nous savons que : 2 A. 1 2 ; 2 2 B. 1 2 ; 2 2 C. On ne peut rien dire.

Arnaud Guyader - Rennes 2

Rgression

2.6. Corrigs

39

2.6

Corrigs

Exercice 2.1 (Rgression simple et Rgression multiple) On dispose donc dun chantillon de n points (xi , yi )1in . 1. On a vu au Chapitre 1 que les estimateurs des MCO ont pour expressions : 1 = y 2 x, avec 2 =
n i=1 (xi x)(yi n (xi x)2 i=1

y)

n i=1 (xi x)yi . n (xi x)2 i=1

2. Conformment aux conventions du Chapitre 2, on note X la matrice n 2 dont la premire colonne est uniquement compose de 1 et la seconde est compose des xi . De mme, Y = [y1 , . . . , yn ] est un vecteur colonne de taille n. On a vu que lestimateur = [1 , 2 ] des moindes carrs scrit alors : = (X X)1 X Y 3. Les calculs de (X X)1 et de X Y donnent : (X X)1 X Y = do : (X X)1 X Y = Il sut alors de voir que n x2 i 1 n 2 x2 1 (xi x)2 x2 n x i n n x y n y xi y i ,

x2 x xi y i i xi yi ny x

xi yi ny = x

(xi x)(yi y )

pour vrier que la seconde composante de ce vecteur correspond bien la formule de 2 de la premire question. Pour la premire composante, on crit : y y x2 x xi y i i = 2 (xi x) (xi x)2 x( xi yi ny ) x = y 2 x 2 (xi x)

et la messe est dite. 4. En notant x n+1 = [1, xn+1 ], nous avons vu en Section 2.2.4 que la variance de lerreur destimation vaut : Var(n+1 ) = 2 (1 + x (X X)1 xn+1 ). n+1 Puisque (X X)1 = on obtient x (X X)1 xn+1 = n+1 donc x (X X)1 xn+1 = n+1 Rgression n 1 (xi x)2 (xi x)2 + n2 2nxn+1 + nx2 x x n+1 , Arnaud Guyader - Rennes 2 n 1 (xi x)2 x2 2nxn+1 + nx2 x i n+1 , n x2 i 1 n 2 x2 x2 n x i n n x = n 1 (xi x)2 x2 n x i n n x ,

40 cest--dire x (X X)1 xn+1 = n+1 do au nal

Chapitre 2. La rgression linaire multiple

(xn+1 x)2 1 + n n 2 i=1 (xi x) (xn+1 x)2 1 + n 2 n i=1 (xi x) ,

2 (1 + x (X X)1 xn+1 ) = 2 1 + n+1 qui est bien la formule de la Proposition 1.2.

Exercice 2.2 (Rle de la constante) Soit X(n,p) une matrice de rang p. Soit Y la projection dun vecteur Y de n sur lespace engendr par les colonnes de X. On note le vecteur de n uniquement compos de 1. 1. Par dnition du produit scalaire usuel dans

n , on a tout simplement :
yi

Y, =

2. Puisque Y est la projection orthogonale de Y sur le sous-espace engendr par les colonnes de X, le vecteur = Y Y est orthogonal toutes les colonnes de X. En particulier, si lune dentre elles est constante et vaut c (c suppos non nul), on en dduit que : , c = 0 , = 0.

Autrement dit, lorsque la constante fait partie du modle, la somme des rsidus vaut 0. 3. Dire que la constante fait partie du modle signie typiquement que la premire colonne de X est le vecteur . Daprs la question prcdente, on sait que dans ce cas : , = 0 yi = yi .

Exercice 2.3 (Le R2 et les modles embots) Soit Z(n,q) une matrice (n, q) de rang q et soit X(n,p) une matrice (n, p) de rang p compose des q vecteurs colonnes de Z et de p q autres vecteurs. Nous avons les deux modles suivants : Y Y = Z + = X + .

Rappelons la proprit suivante des projecteurs orthogonaux : si PA et PB dsignent respectivement les projections orthogonales sur les sous-espaces A et B, alors PA PB = PB PA = PAB , projection orthogonale sur le sous-espace A B. Dans notre contexte, notons respectivement PX et PZ les projections orthogonales sur les sousespaces M(X) et M(Z) engendrs par les p colonnes de X et les q colonnes de Z. Notons enn PXZ la projection orthogonale sur le sous-espace M(X) M(Z) , orthogonal de M(Z) dans M(X), autrement dit : M(X) = M(Z) (M(X) M(Z) ). PX Y
2

Par le thorme de Pythagore, on a : = PZ Y

2

+ PXZ Y

Supposons pour simplier les critures que la constante ne fait partie daucun modle. Dans le premier modle, le R2 vaut : PZ Y 2 2 , RZ = Y 2 Arnaud Guyader - Rennes 2 Rgression

2.6. Corrigs et dans le second :

2 RX =

41

PX Y Y 2

PZ Y

+ PXZ Y Y 2

PZ Y 2 2 = RZ . Y 2

Ceci montre la chose suivante : ds lors que deux modles sont embots, le coecient de dtermination du plus gros sera suprieur celui du plus petit. Autrement dit, ds que lon ajoute des variables un modle, on amliore le pourcentage de variation explique, mme si les variables explicatives supplmentaires ne sont pas pertinentes ! En ce sens, le coecient de dtermination ajust est prfrable, ayant au moins le mrite de tenir compte des dimensions des dirents modles. Plus prcisment, nous verrons au Chapitre 3 comment eectuer des tests dhypothses entre modles embots. Exercice 2.4 (Deux variables explicatives) On examine lvolution dune variable y en fonction de deux variables exognes x et z. On dispose de n observations de ces variables. On note X = [ x z] o est le vecteur constant et x, z sont les vecteurs des variables explicatives. 1. Nous avons obtenu les rsultats suivants : 25 0 0 0.04 0 0 X X = ? 9.3 5.4 (X X)1 = 0 0.1428 0.0607 . ? ? 12.7 0 0.0607 0.1046 (a) Les 3 valeurs manquantes se dduisent de la symtrie de la matrice X X. (b) Puisque X = [ x z], il vient n = (X X)1,1 = 25. (c) Le coecient de corrlation linaire empirique entre x et z se dduit lui aussi de la matrice X X. On remarque tout dabord que les moyennes empiriques sont nulles puisque x= Par consquent rx,z = ce qui donne rx,z = (xi x)2 (xi x)(zi z ) (zi z )2 = xi zi x2 i
2 zi

(X X)1,2 (X X)1,3 =0= =z n n (X X)2,3 (X X)2,2 (X X)3,3

5.4 0.5 9.3 12.7

2. La rgression linaire de Y sur (, x, z) donne Y = 1.6 + 0.61x + 0.46z + , SCR =

2

= 0.3.

(a) Puisque la constante fait partie du modle, la moyenne empirique des rsidus est nulle : = 0. On en dduit que y = 1.6 + 0.61 + 0.46 + = 1.6 x z (b) Puisque la constante fait partie du modle, la somme des carrs explique par le modle est SCE = Y y 2 = (yi y )2 = (0.61xi + 0.46zi )2 cest--dire SCE = Y y Rgression
2

= 0.612

x2 + 2 0.61 0.46 i

xi zi + 0.462

2 zi

Arnaud Guyader - Rennes 2

42

Chapitre 2. La rgression linaire multiple ce qui se calcule nouveau grce la matrice X X : SCE = Y y
2

= 0.612 (X X)2,2 + 2 0.61 0.46(X X)2,3 + 0.462 (X X)3,3 = 9.18

La somme des carrs totale est alors immdiate, en vertu de la sacro-sainte formule de dcomposition de la variance : SCT = SCE + SCR = 9.18 + 0.3 = 9.48 Le coecient de dtermination vaut donc R2 = SCE 0.97 SCT

Autrement dit, 97% de la variance des donnes est explique par ce modle de rgression. Exercice 2.5 (Rgression sur variables orthogonales) Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p compose de p vecteurs orthogonaux, p et n . Considrons Z la matrice des q premires colonnes de X et U la matrice des p q dernires colonnes de X. Nous avons obtenu par les MCO les estimations suivantes : YX YZ YU X X = 1 X1 + + p Xp = Z X1 + + Z Xq
1 q

U U = q+1 Xq+1 + + p Xp .

Notons galement SCE(A) la norme au carr de PA Y . 1. Rappelons nouveau la proprit suivante des projecteurs orthogonaux : si PA et PB dsignent respectivement les projections orthogonales sur les sous-espaces A et B, alors PA PB = PB PA = PAB , projection orthogonale sur le sous-espace A B. Ici, ceci se traduit comme suit : YX = PX Y = (PZ + PZ )PX Y = PZ PX Y + PZ PX Y, or dune part PZ PX = PZX = PZ , dautre part PZ PX = PZ X = PU projection orthogonale sur le sous-espace engendr par les colonnes de U puisque les colonnes de X sont orthogonales. Au total, on obtient la dcomposition orthogonale YX = YZ + YU et le thorme de Pythagore assure donc que SCE(X) = SCE(Z) + SCE(U ). X 2. Pour lexpression de 1 , on part tout simplement de la formule gnrale X = (X X)1 X Y Puisque les colonnes de X sont orthogonales, la matrice X X est diagonale, de termes diagonaux Xi 2 . Par ailleurs, X Y est un vecteur colonne de taille p, dont les coordonnes sont les produits scalaires Xi Y = Xi , Y . Ainsi X = Arnaud Guyader - Rennes 2 Xp , Y X1 , Y ,..., 2 X1 Xp 2

X1 , Y X 1 = . X1 2 Rgression

2.6. Corrigs X 3. La premire colonne de Z tant X1 , le raisonnement prcdent appliqu 1 montre que X = Z . Ainsi, lorsque les variables explicatives sont orthogonales, eectuer une rgression 1 1 multiple revient eectuer p rgression simples. En pratique, nanmoins, il arrive rarement que les variables explicatives soient eectivement orthogonales... Exercice 2.6 (Rgression sur variables centres) Nous considrons le modle de rgression linaire Y = X + , (2.6)

43

o Y n , X est une matrice de taille n p de rang p, p et n . La premire colonne de X est le vecteur constant . X peut ainsi scrire X = [, Z], o Z = [X2 , . . . , Xp ] est la matrice n (p 1) des (p 1) derniers vecteurs colonnes de X. Le modle peut donc scrire sous la forme : Y = 1 + Z(1) + , o 1 est la premire coordonne du vecteur et (1) reprsente le vecteur priv de sa premire coordonne. 1. La matrice de la projection orthogonale sur le sous-espace engendr par le vecteur P = ( )1 = 1 1 = J, n n

scrit

2. La matrice de projection orthogonale P sur le sous-espace 1 donc : P = I n J.

o J = est la matrice n n compose uniquement de 1.

orthogonal au vecteur est

1 3. On a ainsi P Z = Z n JZ. Si on note x2 , . . . , xn les moyennes empiriques des colonnes x X2 , . . . , Xn , P Z est donc la matrice n(p1) dont les colonnes sont X2 2 , . . . , Xn n . x Autrement dit P Z est la matrice (individus variables) pour laquelle chaque variable xi a t centre.

4. Lestimateur de des Moindres Carrs Ordinaires du modle (2.6) est dni par = arg min Y X 2 . p
En dcomposant le vecteur sous la forme = [1 , (1) ] , ceci peut encore scrire :

(1 , (1) ) = arg Puisque P + P = In , il vient : (1 , (1) ) = arg

1 ,(1) p1

1 ,(1) p1

min

Y 1 Z(1) 2 .

min

(P Y 1 P Z(1) ) + (P Y P Z(1) ) 2 .

Le premier vecteur entre parenthses est dans le sous-espace engendr par le vecteur second dans son orthogonal, donc par Pythagore : (1 , (1) ) = arg
1 ,(1)

, le

min

p1

P Y 1 P Z(1)

+ P Y P Z(1) 2 .

Or P Y = y, P Y = Y y = Y et P Z = Z, donc ceci se rcrit : (1 , (1) ) = arg Rgression

1 ,(1) p1

min

y 1 Z(1)

+ Y Z(1) 2 . Arnaud Guyader - Rennes 2

44

Chapitre 2. La rgression linaire multiple Minimiser cette somme de deux termes en (1 , (1) ) revient commencer par minimiser le second terme en (1) , ce qui fournit (1) , et prendre ensuite 1 = y Z (1) . Or la minimisation du premier terme revient chercher lestimateur des moindres carrs ordinaires pour le modle suivant : Y = Z(1) + , o Y = P Y et Z = P Z. 5. La SCR estime dans le modle (2.7) est SCR = Y Y Or pour tout i, yi = yi y et : yi = 2 xi2 + + p xip = 2 (xi2 x2 ) + + p (xip xp ), do : SCR =
i=1 n n 2

(2.7)

=
i=1

(yi yi )2 .

(yi y 2 (xi2 x2 ) p (xip xp ))2 .

Lorsque la constante appartient au modle, la somme des rsidus est nulle, donc : y = Y = 1 + 2 x2 + + p xp , ce qui, report dans lquation prcdente, donne :
n

SCR =
i=1

(yi (1 + 2 xi2 + + p xip )2 .

Autrement dit, la SCR du modle (2.7) est identique celle qui serait obtenue par lestimation du modle (2.6). Ouf ! Exercice 2.7 (QCM) AABBBC.

Arnaud Guyader - Rennes 2

Rgression

Chapitre 3

Le modle gaussien
Introduction
Rappelons le contexte du chapitre prcdent. Nous avons suppos un modle de la forme : yi = x + i = 1 xi1 + 2 xi2 + + p xip + i , i que nous avons rcrit sous la forme matricielle : Yn1 = Xnp p1 + n1 o les dimensions sont indiques en indices. Les hypothses concernant le modle taient : (H) (H1 ) : rg(X) = p (H2 ) : [] = 0, Var() = 2 In i = 1, . . . , n

Dans tout ce chapitre et comme en n de Chapitre 1, nous allons faire une hypothse plus forte, savoir celle de gaussianit des rsidus. Nous supposerons donc dsormais : (H) (H1 ) : rg(X) = p (H2 ) : N (0, 2 In )

Ceci signie que les rsidus sont indpendants et identiquement distribus. Lintrt de supposer la gaussianit des rsidus est de pouvoir en dduire les lois de nos estimateurs, donc de construire des rgions de conance et des tests dhypothses.

3.1

Estimateurs du Maximum de Vraisemblance

Nous allons commencer par faire le lien entre lestimateur du maximum de vraisemblance et lestimateur des moindres carrs vu au chapitre prcdent. Commenons par remarquer que les yi sont eux-mmes gaussiens : i N (0, 2 ) yi = x + i N (x , 2 ) i i et mutuellement indpendants puisque les erreurs i le sont. La vraisemblance sen dduit :
n n n i=1

L(Y, , 2 ) = =

fY (yi ) =
i=1

1 2 2

exp

1 2 2
2

y i x i

1 2 2

exp

1 Y X 2 2

46 Do lon dduit la log-vraisemblance :

Chapitre 3. Le modle gaussien

n 1 n log L(Y, , 2 ) = log 2 log 2 2 Y X 2 . 2 2 2 On cherche les estimateurs mv et mv qui maximisent cette log-vraisemblance. Il est clair quil faut 2 minimiser la quantit Y X 2 , ce qui est justement le principe des moindres carrs ordinaires, donc : mv = = (X X)1 X Y. Une fois ceci fait, on veut maximiser sur une fonction de la forme (x) = a log x + + qui ne pose aucun souci en passant par la drive : L(Y, , 2 ) 2 do il vient : mv = 2 Y X n
2 b x

+ c, ce

n 1 + 4 Y X 2, 2 2 2

.
Y X np
2

Si lon compare ce quon a obtenu au chapitre prcdent, o nous avons not 2 = lestimateur de la variance 2 , nous avons donc : mv = 2 np 2 . n

On voit donc que lestimateur mv du maximum de vraisemblance est biais, mais dautant moins 2 que le nombre p de variables explicatives est petit devant le nombre n dobservations. Dans la suite, nous continuerons considrer lestimateur 2 des moindres carrs vu au chapitre prcdent et nous conserverons aussi la notation adopte pour les rsidus i , de sorte que : 2 =
n 2 i=1 i

np

2 Y X = np np

3.2

Lois des estimateurs

Nous commenons cette section par un rappel sur les vecteurs gaussiens.

3.2.1

Quelques rappels

Un vecteur alatoire Y de n est dit gaussien si toute combinaison linaire de ses composantes est une variable alatoire gaussienne. Ce vecteur admet alors une esprance = [Y ] et une matrice de variance-covariance Y = [(Y )(Y ) ] qui caractrisent compltement sa loi. On note dans ce cas Y N (, Y ). On montre alors que les composantes dun vecteur gaussien Y = [Y1 , , Yn ] sont indpendantes si et seulement si Y est diagonale. Soit Y N (, Y ) un vecteur gaussien. Il admet une densit f sur n si et seulement si sa matrice de dispersion Y est inversible, auquel cas : f (y) = 1 (2)n/2 det(Y ) e 2 (y) Y
1 1

(y)

Dans ce cas, on montre aussi la proprit suivante. Arnaud Guyader - Rennes 2 Rgression

3.2. Lois des estimateurs Proposition 3.1 (Vecteur gaussien et Loi du 2 ) Soit Y N (, Y ) un vecteur gaussien. Si Y est inversible, alors (Y ) 1 (Y ) 2 n Y loi du chi-deux n degrs de libert. Le thorme de Cochran, trs utile dans la suite, assure que la dcomposition dun vecteur gaussien sur des sous-espaces orthogonaux donne des variables indpendantes dont on peut expliciter les lois. Thorme 3.1 (Cochran) Soit Y N (, 2 In ), M un sous-espace de n de dimension p et P la matrice de projection orthogonale sur M. Nous avons les proprits suivantes : (i) P Y N (P , 2 P ) ; (ii) les vecteurs P Y et (Y P Y ) sont indpendants ; 2 (iii) P (Y) 2 , loi du chi-deux p degrs de libert. 2 p Nous pouvons appliquer ce rsultat dans notre cadre, comme nous allons le voir en section suivante.

47

3.2.2

Nouvelles proprits

Notons au pralable que, pour ce qui nous concerne, la gaussianit des rsidus implique celle du vecteur Y : N (0, 2 In ) Y = X + N (X, 2 In ). Proprits 3.1 (Lois des estimateurs avec variance connue) Sous les hypothses (H), nous avons : (i) est un vecteur gaussien de moyenne et de variance 2 (X X)1 : N (, 2 (X X)1 ) ; et 2 sont indpendants ; (ii) 2 (iii) (n p) 2 2 . np Preuve. (i) Nous avons vu que = (X X)1 X Y = (X X)1 X (X + ), or par hypothse 2 I ) est un vecteur gaussien. On en dduit que est lui aussi un vecteur gaussien, sa N (0, n loi est donc entirement caractrise par la donne de sa moyenne et de sa matrice de dispersion, lesquelles ont t calcules au Chapitre 2 (Proposition 2.2). (ii) Comme dans le chapitre prcdent, notons M(X) le sous-espace de n engendr par les colonnes de X et PX = X(X X)1 X la projection orthogonale sur ce sous-espace. On peut noter que : = (X X)1 X Y = (X X)1 X (X(X X)1 X )Y = (X X)1 X PX Y, donc est un vecteur alatoire fonction de PX Y , tandis que : 2 = Y PX Y 2 = np np
2

est une variable alatoire fonction de (Y PX Y ). Par le thorme de Cochran, nous savons que les vecteurs PX Y et (Y PX Y ) sont indpendants, il en va donc de mme pour toutes fonctions de lun et de lautre. Rgression Arnaud Guyader - Rennes 2

48

Chapitre 3. Le modle gaussien (iii) En notant PX la projection orthogonale sur M (X), sous-espace de dimension (n p) de n , on a : = (Y PX Y ) = PX Y = PX (X + ) = PX , o N (0, 2 In ). Il sensuit par le thorme de Cochran que : (n p) PX 2 = 2 2
2

PX ( 2

[])

2 . np

Bien entendu le premier point du rsultat prcdent nest pas satisfaisant pour obtenir des rgions de conance sur car il suppose la variance 2 connue, ce qui nest pas le cas en gnral. La proposition suivante pallie cette insusance. Proprits 3.2 (Lois des estimateurs avec variance inconnue) Sous les hypothses (H) : j j j j = Tnp . (i) pour j = 1, . . . , p, nous avons Tj = j (X X)1
jj

(ii) Soit R une matrice de taille q p de rang q (q p) alors : 1 (R( )) R(X X)1 R q 2
1 q R( ) Fnp .

Preuve. (i) Daprs la proposition prcdente, on sait dune part que j N (j , 2 (X X)1 ), dautre jj 2 part que (n p) 2 2 et enn que j et 2 sont indpendants. Il reste alors crire Tj sous np la forme : Tj =
j j (X X)1 jj

pour reconnatre une loi de Student Tnp . (ii) Commenons par remarquer que la matrice carre R(X X)1 R de taille q est inversible puisque (X X)1 est de rang plein dans p , avec p q. En tant que transforme linaire dun vecteur gaussien, R est un vecteur gaussien de moyenne R et de matrice de covariance 2 R(X X)1 R . On en dduit que : 1 (R( )) R(X X)1 R 2
1

R( ) 2 . q

2 2 Il reste remplacer 2 par 2 en se souvenant que (n p) 2 2 np et que et sont indpendants. On obtient bien alors la loi de Fisher annonce.

De ces rsultats vont dcouler les rgions de conance de la section suivante. Auparavant, donnons un exemple illustrant le second point du rsultat que lon vient dtablir. Exemple. Considrons p 2 et la matrice R dnie comme suit : R= Arnaud Guyader - Rennes 2 1 0 0 0 0 1 0 0 0 0 , Rgression

3.3. Intervalles et rgions de conance de sorte que R( ) =

49

Si on note cij le terme gnral de (X X)1 , on obtient donc : c22 (1 1 )2 2c12 (1 1 )(2 2 ) + c11 (2 2 )2 2 Fnp . 2 (c c c2 ) 2 11 22 12

1 1 2 2

3.3

Intervalles et rgions de conance

Les logiciels et certains ouvrages donnent des intervalles de conance (IC) pour les paramtres pris sparment. Cependant ces intervalles de conance ne tiennent pas compte de la dpendance des paramtres, ce qui conduirait construire plutt des rgions de conance (RC). Nous allons donc traiter les deux cas, en considrant que 2 est inconnu. Thorme 3.2 (Intervalles et Rgions de Conance) (i) Un intervalle de conance de niveau (1 ) de j pour j = 1, , p est : j tnp (1 /2) (X X)1 , j + tnp (1 /2) jj (X X)1 , jj

o tnp (1 /2) est le quantile de niveau (1 /2) dune loi de Student Tnp . (ii) Un intervalle de conance de niveau (1 ) pour 2 est : (n p) 2 (n p) 2 , , cnp (1 /2) cnp (/2) o cnp (1 /2) est le quantile de niveau (1 /2) dune loi 2 . np (iii) Une rgion de conance de niveau (1 ) pour q (q p) paramtres j nots (j1 , , jq ) est lensemble des (j1 , , jq ) tels que 1 q (R( )) (R(X X)1 R )1 (R( )) fnp (1 ), q 2 (3.1)

o R est la matrice de taille q p dont tous les lments sont nuls sauf les Ri,ji , qui valent 1, q q et fnp (1 ) est le quantile de niveau (1 ) dune loi de Fisher Fnp . Preuve. Il sut dappliquer les rsultats de la Proposition 3.2. Exemple. Si on reprend lexemple de la section prcdente pour le choix de la matrice R, le rsultat que lon vient de montrer permet dobtenir une rgion de conance simultane RC(1 , 2 ) pour (1 , 2 ) : (1 , 2 ) 2 : c22 (1 1 )2 2c12 (1 1 )(2 2 ) + c11 (2 2 )2 2 fnp (1 ) . 2 (c c c2 ) 2 11 22 12

Cette rgion de conance est une ellipse qui tient compte de la corrlation entre 1 et 2 . La gure 3.1 permet de faire le distinguo entre intervalles de conance considrs sparment pour 1 et 2 j ne sont et rgion de conance simultane pour (1 , 2 ). Bien entendu, de faon gnrale, si les pas fortement corrls, alors la rgion paralllpipdique dnie par les IC est une approximation acceptable de lellipsode de conance. Rgression Arnaud Guyader - Rennes 2

50

Chapitre 3. Le modle gaussien

0
1

Figure 3.1 Comparaison entre ellipse et rectangle de conance.

3.4

Prvision

Soit x n+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour laquelle nous voulons prdire la variable expliquer yn+1 dnie par : yn+1 = x + n+1 n+1 avec n+1 N (0, 2 ) indpendant des (i )1in . A partir des n observations prcdentes, nous avons pu calculer un estimateur de . Nous nous servons de cet estimateur pour prvoir yn+1 par : yn+1 = x . n+1 Pour quantier lerreur de prvision (yn+1 yn+1 ), on utilise la dcomposition : yn+1 yn+1 = x ( ) + n+1 , n+1 qui est la somme de deux variables gaussiennes indpendantes puisque est construit partir des (i )1in . On en dduit que (yn+1 yn+1 ) est une variable gaussienne, dont moyenne et variance ont t calcules au chapitre prcdent. On en conclut que : yn+1 yn+1 N (0, 2 (1 + x (X X)1 xn+1 )) n+1 Mieux, nous pouvons maintenant donner un intervalle de conance pour yn+1 . Proposition 3.2 (Intervalle de Conance pour la prvision) Un intervalle de conance de niveau (1 ) pour yn+1 est donn par : x + tnp (/2) n+1 Arnaud Guyader - Rennes 2 1 + x (X X)1 xn+1 , x tnp (/2) n+1 n+1 1 + x (X X)1 xn+1 n+1 Rgression

3.5. Tests dhypothses Preuve. Daprs ce qui a t dit auparavant, on a : yn+1 yn+1 N (0, 1).

51

1 + x (X X)1 xn+1 n+1

On procde donc comme dhabitude en faisant intervenir : yn+1 yn+1

1 + x (X X)1 xn+1 n+1

yn+1 n+1 y 1 x 1+x n+1 n+1 (X X)

On remarque que le numrateur suit une loi normale centre rduite, le dnominateur est la racine dun chi-deux (n p) ddl divis par (n p). Il reste voir que numrateur et dnominateur sont indpendants, or yn+1 yn+1 = xn+1 ( ) + n+1 et est indpendant la fois de (cf. Proprits 3.1) et de n+1 (puisque ne dpend que des (i )1in ). On en conclut que : yn+1 yn+1 Tnp ,

1 + x (X X)1 xn+1 n+1

do se dduit lintervalle de conance de lnonc.

Aprs avoir explicit les lois de nos estimateurs et les intervalles ou rgions de conance associs, la suite naturelle est de construire des tests dhypothses. Cest ce que nous allons faire dans la section suivante.

3.5
3.5.1

Tests dhypothses
Introduction

Reprenons lexemple de la prvision des pics dozone vu en dbut de Chapitre 2. Nous avons dcid de modliser les pics dozone O3 par la temprature midi T , le vent V (ou plus prcisment sa projection sur laxe Est-Ouest) et la nbulosit midi N . Il parat alors raisonnable de se poser par exemple les questions suivantes : 1. Est-ce que la valeur de O3 est inuence par la variable vent V ? 2. Y a-t-il un eet nbulosit ? 3. Est-ce que la valeur de O3 est inuence par le vent V ou la temprature T ? Rappelons que le modle utilis est le suivant : O3i = 1 + 2 Ti + 3 Vi + 4 Ni + i En termes de tests dhypothses, les questions ci-dessus se traduisent comme suit : 1. correspond H0 : 3 = 0, contre H1 : 3 = 0. 2. correspond H0 : 4 = 0, contre H1 : 4 = 0. 3. correspond H0 : 2 = 3 = 0, contre H1 : 2 = 0 ou 3 = 0.

Rgression

Arnaud Guyader - Rennes 2

52

Chapitre 3. Le modle gaussien Ces tests dhypothses reviennent tester la nullit dun ou plusieurs paramtres en mme temps. Si lon teste plusieurs paramtres la fois, on parle de nullit simultane des coecients. Ceci signie que, sous lhypthse H0 , certains coecients sont nuls, donc les variables correspondant ceux-ci ne sont pas utiles pour la modlisation du phnomne. Ce cas de gure revient comparer deux modles embots, lun tant un cas particulier de lautre. Le plan dexprience priv de ces variables sera not X0 et les colonnes de X0 engendreront un sous-espace not M0 = M(X0 ). De mme, pour allger les notations, nous noterons M = M(X) lespace engendr par les colonnes de X. Le niveau des tests sera x de faon classique .

3.5.2

Tests entre modles embots

Rappelons tout dabord le modle : (H1 ) : rg(X) = p (H2 ) : N (0, 2 In )

Y = X +

sous les hypothses (H)

En particulier, cela veut dire que [Y ] = X M, sous-espace de dimension p de n engendr par les colonnes de X. Pour faciliter les notations, on suppose vouloir tester la nullit simultane des q = (p p0 ) derniers coecients du modle (avec q p of course !). Le problme scrit alors de la faon suivante : H0 : p0 +1 = = p = 0 contre H1 : j {p0 + 1, , p} : j = 0.

Que signie H0 : p0 +1 = = p = 0 en termes de modle ? Si les q derniers coecients sont nuls, le modle devient (H1 ) : rg(X0 ) = p0 (H2 ) : 0 N (0, 2 In )

Y = X0 0 + 0

sous les hypothses (H)

La matrice X0 , de taille n p0 , est compose des p0 premires colonnes de X et 0 est un vecteur colonne de taille p0 . Puisque X est suppose de rang p, il est clair que X0 est de rang p0 , donc les colonnes de X0 engendrent un sous-espace M0 de n de dimension p0 . Ce sous-espace M0 est bien videmment aussi un sous-espace de M. Sous lhypothse nulle H0 , lesprance de Y , savoir [Y ] = X0 0 , appartiendra ce sous-espace. Maintenant que les hypothses du test sont xes, il faut proposer une statistique de test. Nous allons voir une approche gomtrique et intuitive de laaire.

Approche gomtrique Considrons le sous-espace M0 . Nous avons crit que sous H0 : [Y ] = X0 0 M0 . Dans ce cas, la mthode des moindres carrs consiste projeter Y non plus sur M et obtenir Y , mais sur M0 0 . Visualisons ces direntes projections sur la gure 3.2. et obtenir Y Arnaud Guyader - Rennes 2 Rgression

3.5. Tests dhypothses

53

Y Y0 M M0

Figure 3.2 Reprsentation des projections.

Lide intuitive du test, et donc du choix de conserver ou non H0 , est la suivante : si la projection Y0 de Y dans M0 est proche de la projection Y de Y dans M, alors il semble intuitif de conserver lhypothse nulle. En eet, si linformation apporte par les deux modles est la mme, il vaut mieux conserver le modle le plus petit : cest le principe de parcimonie. Il faut videmment quantier le terme proche. De faon naturelle, nous pouvons utiliser la distance euclidienne entre Y0 et Y , ou son carr Y Y0 2 . Cependant cette distance sera variable selon les donnes et selon les units de mesures utilises. Pour nous aranchir de ce problme dchelle, nous allons standardiser cette distance en la divisant par la norme au carr de lerreur estime 2 = Y Y 2 = (n p) 2 . Les vecteurs alatoires (Y Y0 ) et nappartenant pas des sous-espaces de mme dimension, il faut diviser chaque terme par son degr de libert respectif. Nous arrivons donc la statistique de test suivante : F = Y Y0 2 /(p p0 ) Y Y0 2 /q = . Y Y 2 /(n p) Y Y 2 /(n p)

Pour utiliser cette statistique de test, il faut connatre au moins sa loi sous H0 . Remarquons que cette statistique est le rapport de deux normes au carr. Nous allons donc dterminer la loi du numrateur, du dnominateur et constater leur indpendance. En notant P (resp. P0 ) la matrice de projection orthogonale sur M (resp. M0 ), nous savons que : Y Y0 = P Y P0 Y, or M0 M donc :
Y Y0 = P Y P0 P Y = (In P0 )P Y = P0 P Y.

Nous en dduisons que (Y Y0 ) M M, donc que (Y Y0 ) (Y Y ) puisque (Y Y ) M . 0 La gure 3.2 permet de visualier ces notions dorthogonalit de faon gomtrique. Les vecteurs alatoires (Y Y0 ) et (Y Y ) sont lments despaces orthogonaux, cest--dire quils ont une covariance nulle. Puisque tout est gaussien, ils sont donc indpendants et les normes du numrateur Rgression Arnaud Guyader - Rennes 2

54 et du dnominateur sont indpendantes galement.

Chapitre 3. Le modle gaussien

Le thorme de Cochran gomtrique nous renseigne par ailleurs sur les lois des numrateur et dnominateur. Pour le dnominateur : 1 Y Y 2 et pour le numrateur :
2

1 P Y 2

1 P (X + ) 2
2

1 P 2

2 , np

1 P P (Y X) 2 0
2

2 . q

Sous H0 , le paramtre de dcentrage P0 P X

est nul puisque dans ce cas X M0 .

Nous avons alors la loi de F sous H0 :

q F Fnp .

Notons une criture quivalente souvent utilise et donc importante : F = n p SCR0 SCR q Fnp . q SCR

La relation Y Y0 2 = (SCR0 SCR) peut se voir facilement en utilisant la gure 3.2 et en appliquant Pythagore, ou encore de faon analytique : Y Y0
2

= = =

+ P0 P Y 2 Y Y 2 + Y Y0 2 ,

Y P Y + P Y P0 Y P Y
2

= P Y + (In P0 )P Y

= P Y + P0 P Y

cest--dire :

Y Y0

= Y Y0

Y Y

= SCR0 SCR.

Rsumons ce qui prcde. Proposition 3.3 (Test entre modles embots) Sous lhypothse H0 , on a la statistique de test suivante F = np Y Y0 q Y Y
2 2

n p SCR0 SCR q Fnp , q SCR

loi de Fisher (q, n p) degrs de libert. Remarque. En supposant que la constante fait partie des deux modles (ou ne fait partie daucun dentre eux), la statistique de test prcdente peut aussi scrire en fonction des coecients de 2 dtermination respectifs R2 et R0 comme suit (exercice) : F =
2 n p R 2 R0 . 2 q 1R

Ainsi, si lon dispose des coecients de dtermination dans deux modles embots, il sut de calculer cette statistique et de la comparer au quantile dune loi de Fisher pour eectuer le test dhypothse. Nous allons maintenant expliciter cette statistique de test dans deux cas particuliers. Arnaud Guyader - Rennes 2 Rgression

3.5. Tests dhypothses

55

3.5.3

Test de Student de signication dun coecient

Nous voulons tester H0 : j = 0 contre H1 : j = 0, appel test bilatral de signication de j . Selon ce quon vient de voir, la statistique de test est : F = Y Y0 2
2

Nous rejetons H0 si lobservation de la statistique de test, note F (w), est telle que :
1 F (w) > fnp (1 ), 1 o fnp(1 ) est le quantile dordre (1 ) dune loi de Fisher 1 et (n p) degrs de libert.

Ce test est en fait quivalent au test de Student (n p) degrs de libert qui permet de tester H0 : j = 0 contre H1 : j = 0, avec cette fois la statistique de test : T = j , j

o tnp (1 /2) est le quantile dordre (1 /2) dune loi de Student (n p) degrs de libert. Cest sous cette forme que le test de signication dun coecient apparat dans tous les logiciels de statistique. Il est donc compltement quivalent au test gnral que nous avons propos, lorsquon spcialise celui-ci la nullit dun seul coecient.

o j = j = (X X)1 est lcart-type estim de j . On peut en eet montrer que F = T 2 jj (voir exercice 3.3). Nous rejetons H0 si lobservation de la statistique de test, note T (w), est telle que : |T (w)| > tnp (1 /2),

3.5.4

Test de Fisher global

Si des connaissances a priori du phnomne assurent lexistence dun terme constant dans la rgression, alors pour tester linuence des autres rgresseurs (non constants) sur la rponse Y , on teste si [Y ] = 1 . En dautres termes, on teste si tous les coecients sont nuls, except la constante. Ce test est appel test de Fisher global. Dans ce cas Y0 = y et nous avons la statistique de test suivante : Y y 2 /(p 1) p1 Fnp . F = 2 /(n p) Y Y R2 np . p 1 1 R2

On peut aussi lexprimer partir du coecient de dtermination R2 vu au Chapitre 2 : F =

Ce test est appel le test du R2 par certains logiciels statistiques.

3.5.5

Lien avec le Rapport de Vraisemblance Maximale

Nous allons maintenant faire le lien entre le test gnral que nous avons propos et le test du rapport de vraisemblance maximale. Nous avons vu en dbut du chapitre que la vraisemblance scrit de la faon suivante : L(Y, , ) = Rgression
2

1 2 2

n/2

exp

1 Y X 2 2

. Arnaud Guyader - Rennes 2

56

Chapitre 3. Le modle gaussien Cette vraisemblance est maximale lorsque = est lestimateur des MCO et que 2 = mv = 2 2 /n. Nous avons alors : ||Y X ||
,2

2 sup L(Y, , 2 ) = L(Y, , mv ) = = n n 2SCR 2||Y X ||2

n/2
n

n/2

e 2

e 2 ,

o SCR correspond la somme des carrs rsiduels, cest--dire SCR = ||Y X ||2 . Sous lhypothse H0 , nous obtenons de faon vidente le rsultat suivant : sup L0 (Y, 0 , ) =
2

,2

n 2SCR0

n/2

n 2 e 2 = L0 (Y, 0 , 0 ),

o SCR0 correspond la somme des carrs rsiduels sous H0 , cest--dire SCR0 = ||Y X0 0 ||2 , 2 = SCR /n. On dnit alors le test du Rapport de Vraisemblance Maximale par la rgion et 0 0 critique : D = Y n : = 2 L0 (Y, 0 , 0 ) < 0 L(Y, , 2 )
mv n/2

La statistique du Rapport de Vraisemblance Maximale vaut donc ici : = SCR0 SCR .

Le test du Rapport de Vraisemblance Maximale rejette H0 lorsque la statistique est infrieure une valeur 0 dnie de faon avoir le niveau du test gal . Il reste connatre la distribution (au moins sous H0 ) de . Dnissons, pour positif, la fonction g suivante : g() = 2/n 1. La fonction g est dcroissante donc < 0 si et seulement si g() > g(0 ). Cette fonction g va nous permettre de nous ramener des statistiques dont la loi est connue. Nous avons en eet : g() > g(0 ) o f0 est dtermin par : np SCR0 SCR SCR0 SCR > g(0 ) > f0 , SCR p p0 SCR np SCR0 SCR > f0 p p0 SCR

H0

= ,

q q cest--dire f0 = fnp (1 ), quantile de la loi de Fisher Fnp (cf. section prcdente). Le test du Rapport de Vraisemblance Maximale est donc quivalent au test qui rejette H0 lorsque la statistique :

F =

SCR0 SCR np p p0 SCR

est suprieure f0 , o f0 la valeur du quantile dordre (1 ) de la loi de Fisher (p p0 , n p) degrs de libert. Ainsi le test gomtrique que nous avons propos est quivalent au test du Rapport de Vraisemblance Maximale. Arnaud Guyader - Rennes 2 Rgression

3.6. Estimation sous contraintes

57

3.6

Estimation sous contraintes

Lespace des solutions est M. Tous les vecteurs de M peuvent scrire comme combinaisons linaires des vecteurs colonnes de X. Il arrive parfois que nous souhaitions imposer des contraintes linaires , par exemple que la premire coordonne de soit gale 1. Nous supposerons en gnral que nous imposons q contraintes linairement indpendantes , ce qui scrit sous la forme : R = r, o Rqp est une matrice de rang q < p et r un vecteur de taille q. Proprits 3.3 Lestimateur des Moindres Carrs Ordinaires sous contrainte, not c , vaut : c = + (X X)1 R [R(X X)1 R ]1 (r R). Preuve. Nous voulons minimiser S() sous la contrainte R = r. Ecrivons le lagrangien : L = S() (R r). Les conditions de Lagrange permettent dobtenir un minimum : L = 2X Y + 2X X R = 0, c L = Rc r = 0,

Multiplions gauche la premire galit par R(X X)1 , nous obtenons 2R(X X)1 X Y + 2R(X X)1 X X c R(X X)1 R = 0 2R(X X)1 X Y + 2Rc R(X X)1 R = 0 2R(X X)1 X Y + 2r R(X X)1 R = 0.

Nous obtenons alors pour : = 2 R(X X)1 R

1

r R(X X)1 X Y .

Remplaons ensuite par cette expression dans la premire quation : 2X Y + 2X X c 2R R(X X)1 R do nous dduisons c : c = (X X)1 X Y + (X X)1 R R(X X)1 R = + (X X)1 R R(X X)1 R
1 1 1

r R(X X)1 X Y = 0,

(r R).

(r R)

3.7

Exemple

Nous allons traiter 50 donnes journalires prsentes en annexe. La variable expliquer est la concentration en ozone note O3 et les variables explicatives sont la temprature note T, le vent not Vx et la nbulosit note Ne12. > a <- lm(O3 T12+Vx+Ne12,data=DONNEE) > summary(a) Call: Rgression Arnaud Guyader - Rennes 2

58 lm(formula = O3 T12 + Vx + Ne12, data = DONNEE)) Residuals: Min -29.0441 Coefficients : (Intercept) T12 Vx Ne12 Estimate 84.5483 1.3150 0.4864 -4.8935 Std. Error 13.6065 0.4974 0.1675 1.0270 t value 6.214 2.644 2.903 -4.765 1Q -8.4833 Median 0.7857

Chapitre 3. Le modle gaussien

3Q 7.7011

Max 28.2919

Pr(>|t|) 1.38e-07 0.01118 0.00565 1.93e-05

*** * ** ***

Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 13.91 on 46 degrees of freedom Multiple R-Squared: 0.6819, Adjusted R-squared: 0.6611 F-statistic: 32.87 on 3 and 46 DF, p-value: 1.663e-11 Pour tous les coecients pris sparment, nous refusons au seuil de = 5% lhypothse H0 : j = 0. La dernire ligne de la sortie du logiciel donne la statistique du test de Fisher global : Tous les coecients sont nuls sauf la constante. Nous avions 50 observations, nous avons estim 4 paramtres et donc le ddl du Fisher est bien (3,46). Nous refusons nouveau H0 .

3.8

Exercices

Exercice 3.1 (QCM) 1. Nous pouvons justier les MC quand N (0, 2 I) via lapplication du maximum de vraisemblance : A. Oui ; B. Non ; C. Aucun rapport entre les deux mthodes. 2. Y a-t-il une dirence entre les estimateurs des MC et du maximum de vraisemblance ? A. Oui ; B. Non ; C. Pas toujours, cela dpend de la loi des erreurs. 3. Y a-t-il une dirence entre les estimateurs 2 des MC et 2 du maximum de vraisemblance quand N (0, 2 I) ? A. Oui ; B. Non ; C. Pas toujours, cela dpend de la loi des erreurs. 4. Le rectangle form par les intervalles de conance de niveau individuels de 1 et 2 correspond la rgion de conance simultane de niveau de la paire (1 , 2 ). A. Oui ; B. Non ; C. Cela dpend des donnes. 5. Nous avons n observations et p variables explicatives, nous supposons que suit une loi normale, nous voulons tester H0 : 2 = 3 = 4 = 0. Quelle va tre la loi de la statistique de test ? Arnaud Guyader - Rennes 2 Rgression

3.8. Exercices A. Fp3,np ; B. F3,np ; C. Une autre loi. Exercice 3.2 (Analyse de sorties logiciel) Nous voulons expliquer la concentration de lozone sur Rennes en fonction des variables T9, T12, Ne9, Ne12 et Vx. Les sorties donnes par R sont ( une vache prs) : Coefficients : (Intercept) T9 T12 Ne9 Ne12 Vx Estimate 62 -4 5 -1.5 -0.5 0.8 Std. Error 10 2 0.75 1 0.5 0.15 t value 1 -5 3 4 5 5.3 Pr(>|t|) 0 0 0 0.13 0.32 0

59

Multiple R-Squared: 0.6233, Adjusted R-squared: 0.6081 Residual standard error: 16 on 124 degrees of freedom F-statistic: 6 on 7 and 8 DF, p-value: 0

1. Complter approximativement la sortie ci-dessus. 2. Rappeler la statistique de test et tester la nullit des paramtres sparment au seuil de 5 %. 3. Rappeler la statistique de test et tester la nullit simultane des paramtres autres que la constante au seuil de 5 %. 4. Les variables Ne9 et Ne12 ne semblent pas inuentes et nous souhaitons tester la nullit simultane de Ne9 et Ne12 . Proposer un test permettant de tester la nullit simultane de Ne9 et Ne12 et leectuer partir des rsultats numriques suivants : Coefficients : (Intercept) T9 T12 Vx Estimate 66 -5 6 1 Std. Error 11 1 0.75 0.2 t value 6 -5 8 5 Pr(>|t|) 0 0 0 0

Multiple R-Squared: 0.5312, Adjusted R-squared: 0.52 Residual standard error: 16.5 on 126 degrees of freedom Exercice 3.3 (Equivalence du test T et du test F ) Nous souhaitons tester la nullit dun paramtre. Dmontrer lquivalence entre le test de Student et le test de Fisher. Exercice 3.4 (Un modle 3 variables explicatives) On considre un modle de rgression de la forme : yi = 1 + 2 xi,2 + 3 xi,3 + 4 xi,4 + i , Rgression 1 i n. Arnaud Guyader - Rennes 2

60

Chapitre 3. Le modle gaussien Les xi,j sont supposes non alatoires. Les erreurs i du modle sont supposes alatoires indpendantes gaussiennes centres de mme variance 2 . On pose comme dhabitude : 1 x1,2 x1,3 x1,4 . . . . . X= . , . . . 1 xn,2 xn,3 xn,4 Un calcul prliminaire a donn 50 0 0 0 0 20 15 4 X X = 0 15 30 10 , 0 4 10 40 On admettra que 1 1100 560 30 20 15 4 560 784 140 . 15 30 10 = 1 13720 30 140 375 4 10 40 1. Calculer , estimateur des moindres carrs de , la somme des carrs des rsidus et donner lestimateur de 2 .
50 2 i=1 i ,

y1 . Y = . , . yn 100 50 X Y = 40 , 80

1 = 2 . 3 4

Y Y = 640.

2. Donner un intervalle de conance pour 2 , au niveau 95%. Faire de mme pour 2 (on donne c1 = 29 et c2 = 66 pour les quantiles dordre 2,5% et 97,5% dun chi-deux 46 ddl).
3 3. Tester la validit globale du modle (2 = 3 = 4 = 0) au niveau 5% (on donne f46 (0, 95) = 2.80 pour le quantile dordre 95% dune Fisher (3,46) ddl).

4. On suppose x51,2 = 1, x51,3 = 1 et x51,4 = 0, 5. Donner un intervalle de prvision 95% pour y51 . Exercice 3.5 (Modle de Cobb-Douglas) Nous disposons pour n entreprises de la valeur du capital Ki , de lemploi Li et de la valeur ajoute Vi . Nous supposons que la fonction de production de ces entreprises est du type Cobb-Douglas : Vi = L Ki , i soit en passant en logarithmes : log Vi = + log Li + log Ki . Le modle linaire associ est : log Vi = + log Li + log Ki + i , o les i sont supposes i.i.d. de loi N (0, 2 ). 1. Ecrivez le modle sous la forme matricielle Y = Xb + en prcisant Y , X et b. Rappelez lexpression de lestimateur des MCO Donnez sa matrice de variance-covariance. Donnez b. un estimateur sans biais de 2 et un estimateur sans biais de Var( b). Arnaud Guyader - Rennes 2 Rgression (3.2)

3.8. Exercices 2. Pour 1658 entreprises, nous avons obtenu par les MCO les rsultats suivants : log Vi = 3.136 + 0.738 log Li + 0.282 log Ki R2 = 0.945 SCR = 148.27. Nous donnons aussi : (X X)1 0.0288 0.0012 0.0034 = 0.0012 0.0016 0.0010 0.0034 0.0010 0.0009

61

Calculez 2 et une estimation de Var( b). 3. Donnez un intervalle de conance au niveau 95% pour . Mme question pour . 4. Testez au niveau 5% H0 : = 0, contre H1 : > 0. 5. Nous voulons tester lhypothse selon laquelle les rendements dchelle sont constants (une fonction de production F est rendement dchelle constant si + , F (L, K) = F (L, K)). Quelles sont les contraintes vries par le modle lorsque les rendements dchelle sont constants ? Tester au niveau 5% H0 : les rendements sont constants, contre H1 : les rendements sont croissants. Exercice 3.6 (Modle deux variables explicatives) On considre le modle de rgression suivant : yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.

on a observ :

Les xi,j sont des variables exognes du modle, les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : 1 x1,2 x1,3 y1 . . . et Y = . , . . X= . . . . . . 1 xn,2 xn,3 yn 30 20 0 X X = 20 20 0 , 0 0 10 15 X Y = 20 , 10

Y Y = 59.5.

1. Dterminer la valeur de n, la moyenne des xi,3 , le coecient de corrlation des xi,2 et des xi,3 . 2. Estimer 1 , 2 , 3 , 2 par la mthode des moindres carrs ordinaires. 3. Calculer pour 2 un intervalle de conance 95% et tester lhypothse 3 = 0.8 au niveau 10%. 4. Tester 2 + 3 = 3 contre 2 + 3 = 3, au niveau 5%. 5. Que vaut y , moyenne empirique des yi ? En dduire le coecient de dtermination ajust 2. Ra 6. Construire un intervalle de prvision 95% de yn+1 connaissant : xn+1,2 = 3 et xn+1,3 = 0, 5. Rgression Arnaud Guyader - Rennes 2

62

Chapitre 3. Le modle gaussien Exercice 3.7 (Modle htroscdastique) On considre n observations y1 , . . . , yn dune variable dnie sur une certaine population, et n kuplets xi (x = [xi1 , . . . , xik ]) correspondant aux valeurs prises par k autres variables sur les i mmes lments de cette population. On suppose que pour tout i, yi est la valeur prise par une variable alatoire Yi , et quil existe k pour lequel :
2 Yi N x , i i

1 i n,

o : reprsente un vecteur de k : = [1 , . . . , k ] , Les Yi sont supposes indpendantes entre elles. 2 Enn, les valeurs i des variances dpendent de lappartenance p sous-populations des lments sur lesquels les variables sont observes. En regroupant les indices des Yi selon ces sous-populations, on posera : I1 = {1, . . . , n1 }, indices des n1 lments de la premire sous-population ; I2 = {n1 + 1, . . . , n1 + n2 }, indices des n2 lments de la deuxime sous-population ; ... ; I = {n1 + . . . + n1 + 1, . . . , n1 + . . . + n1 + n }, indices des n lments de la -me souspopulation ; ... ; Ip = {n1 + . . . + np1 + 1, . . . , n}, indices des np lments de la dernire sous-population.
2 On admettra lhypothse suivante : si i I , i = 2 . Autrement dit, pour les n1 variables correspondant aux lments de la premire sous-population la valeur est 2 , pour les n2 variables correspondant aux lments de la deuxime sous-population la valeur est 2 2 , etc., jusqu p 2 pour la variance des variables correspondant aux lments de la dernire sous-population. On veut estimer et 2 par la mthode du maximum de vraisemblance. On notera , 2 ces estimateurs. 2 1. Que vaut fYi (yi ), fYi reprsentant la densit de la loi normale N x , i i 2. Montrer que et 2 sont solutions du systme dquations : p 1 =1 iI (yi p 1 =1

j = 1, . . . , k

x )2 = n 2 i iI (yi xi ) xij = 0.

(3.3)

3. Montrer que le systme (3.3) quivaut : A (Y X) 2 = n 2 X A2 (Y X) = 0. (3.4)

o . 2 reprsente la norme euclidienne usuelle dans n , X la matrice (n k) du plan dexprience, Y le vecteur (n 1) des observations yi , A la matrice (n n) diagonale dont 1 llment (i, i) vaut l si i Il . 4. En supposant que X A2 X est inversible, exprimer et 2 . 5. Montrer que n 2 = V 6. En dduire que V
2 2

, o V suit une loi gaussienne centre. est la trace de la matrice de variance-covariance de V .

7. Montrer que n 2 /(n k) est un estimateur sans biais de 2 .

8. On note X la matrice (n k) forme par les lignes dindices I de X, suppose de rang plein, Y le vecteur colonne (n 1) des composantes dindices I de Y . En posant = X )1 X Y , montrer que est un estimateur sans biais de . (X Rgression

Arnaud Guyader - Rennes 2

3.8. Exercices 9. Que peut-on dire de la dirence des matrices de variance-covariance de et de ? Exercice 3.8 (La hauteur des eucalyptus) On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol et de la racine carre de celle-ci. On a relev n = 1429 couples (xi , yi ), le nuage de points tant reprsent gure 3.3. On considre donc le modle de rgression suivant :
28

63

26

24

22

20

18

16

14

12

hauteur

Circonfrence
10 20 30 40 50 60 70 80

Figure 3.3 Nuage de points pour les eucalyptus.

yi = 1 + 2 xi + 3 xi + i ,

1 i n.

Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : x1 1 x1 y1 . . . et Y = . , . X= . . . . . . . xn yn 1 xn on a observ : ? ? 9792 ? , X X = ? 3306000 ? 471200 67660 30310 X Y = 1462000 , 209700

Y Y = 651900.

1. Dterminer les ? dans la matrice X X.

2. Que vaut la circonfrence moyenne empirique x ? 3. Le calcul donne approximativement 4.646 0.101 1.379 1 0.002 0.030 X X = 0.101 1.379 0.030 0.411 16.8 (X X)1 X Y = 0.30 . 7.62

et

Que valent les estimateurs 1 , 2 , 3 par la mthode des moindres carrs ? Grce au calcul de quelques points, reprsenter la courbe obtenue sur la gure 3.3.

4. Calculer lestimateur de 2 pour les moindres carrs. Rgression Arnaud Guyader - Rennes 2

64 5. Calculer pour 3 un intervalle de conance 95%. 6. Tester lhypothse 2 = 0 au niveau de risque 10%.

Chapitre 3. Le modle gaussien

7. Que vaut la hauteur moyenne empirique y ? En dduire le coecient de dtermination ajust 2 Ra . 8. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 49. 9. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 25. 10. Des deux intervalles prcdents, lequel est le plus grand ? Pouvait-on sy attendre ? Exercice 3.9 (Consommation de gaz) Mr Derek Whiteside de la UK Building Research Station a collect la consommation hebdomadaire de gaz et la temprature moyenne externe de sa maison au sud-est de lAngleterre pendant une saison. Une rgression pour expliquer la consommation de gaz en fonction de la temprature est ralise avec le logiciel R. Les rsultats numriques sont les suivants. Residuals: Min 1Q -0.97802 -0.11082 Median 0.02672 3Q 0.25294 Max 0.63803

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 4.72385 0.12974 ? < 2e-16 *** Temp -0.27793 ? -11.04 1.05e-11 *** --Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 0.3548 on 28 degrees of freedom Multiple R-Squared: 0.8131, Adjusted R-squared: 0.8064 F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11 1. Donner le modle et les hypothses de la rgression. 2. Complter le tableau. 3. Soit Z une variable alatoire de loi de Student de degr de libert 28. Quelle est la probabilit que |Z| soit suprieure 11.04 ?

4. Prciser les lments du test correspondant la ligne Temp du tableau (H0 , H1 , la statistique de test, sa loi sous H0 , la rgle de dcision). 5. Interprter le nombre Multiple R-Squared: 0.8131 du tableau. 6. Donner une estimation de la variance du terme derreur dans le modle de rgression simple. 7. Expliquer et interprter la dernire ligne du tableau : F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11. Voyez-vous une autre faon dobtenir cette p-value ? 8. Pensez-vous que la temprature extrieure a un eet sur la consommation de gaz ? Justiez votre rponse. Exercice 3.10 (Tests) Nous nous intressons au modle Y = X + sous les hypothses classiques. Nous avons obtenu sur 21 donnes : y = 6.683(2.67) + 0.44(2.32) x1 + 0.425(2.47) x2 + 0.171(2.09) x3 + 0.009(2.24) x4 , R2 = 0.54 Arnaud Guyader - Rennes 2 Rgression

3.8. Exercices o, pour chaque coecient, le nombre entre parenthses reprsente la valeur absolue de la statistique de test. 1. Quelles sont les hypothses utilises ? 2. Tester la nullit de 1 au seuil de 5%. 3. Pouvez-vous tester H0 : 3 = 1 contre H1 : 3 = 1 ? 4. Tester la nullit simultane des paramtres associs aux variables x1 , . . . , x4 au seuil de 5%. Exercice 3.11 (Moindres carrs ordinaires) 1. Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p de rang p, p et N (0, 2 In ). (a) Quappelle-t-on estimateur des moindres carrs de ? Rappeler sa formule. (b) Quelle est linterprtation gomtrique de Y = X (faites un dessin) ? (c) Rappeler esprances et matrices de covariance de , Y et . 2. Nous considrons dornavant un modle avec 4 variables explicatives (la premire variable tant la constante). Nous avons observ : 100 20 0 0 60 20 20 0 0 20 X X = 0 0 10 0 , X Y = 10 , Y Y = 159. 0 0 0 1 1 (a) Estimer et 2 . (b) Donner un estimateur de la variance de . (c) Donner un intervalle de conance pour 2 , au niveau 95%. (d) Calculer un intervalle de prvision de yn+1 au niveau 95% connaissant : xn+1,2 = 3, xn+1,3 = 0.5 et xn+1,4 = 2. Exercice 3.12 (Moindres carrs pondrs) On suppose le modle suivant Y = X + , o X est la matrice (n p) du plan dexprience, = [1 , . . . , p ] un vecteur de p , Y le vecteur (n 1) des observations yi , le vecteur (n 1) des erreurs i supposes centres et de matrice de covariance Var() = 2 2 , o est une matrice (n n) diagonale dont llment (i, i) vaut i > 0. Dans ce modle, les valeurs i sont supposes connues, mais les paramtres et 2 sont inconnus. 1. On considre le modle transform Y = X + , o : Y = [y1 , . . . , yn ] , avec yi = yi /i ; X est la matrice (n p) de terme gnrique x = xij /i ; ij = [ , . . . , ] , avec = i /i ; n 1 i (a) Donner les relations entre X (respectivement Y , ), X (respectivement Y , ) et . (b) Dterminer la moyenne et la matrice de covariance du vecteur alatoire . (c) En supposant X 2 X inversible, dterminer lestimateur des moindres carrs de . Prciser son biais et sa matrice de covariance. (d) Proposer un estimateur sans biais de 2 . 2 Rgression

65

Arnaud Guyader - Rennes 2

66

Chapitre 3. Le modle gaussien 2. En revenant au modle initial Y = X + , on suppose maintenant les erreurs i gaussiennes, plus prcisment N (0, 2 2 ). (a) Donner la vraisemblance L(Y, , 2 ) du modle. (b) En dduire que les estimateurs au maximum de vraisemblance mv et mv sont solutions 2 de : 2 1 (Y X) = n 2 X 2 (Y X) = 0. 2 (c) En dduire les relations entre mv et dune part, entre mv et dautre part. 2 (d) Prciser alors la loi de . Que dire de celle de ? 2 3. Supposons maintenant le modle classique de rgression linaire Y = X + , avec les erreurs centres et de matrice de covariance Var() = 2 In . Nanmoins, on nobserve pas comme dhabitude les x et yi , mais des moyennes par classe. Spciquement, les n donnes sont i rparties en L classes C1 , . . . , CL deectifs respectifs connus n1 , . . . , nL et on a seulement accs aux moyennes par classe, savoir pour tout {1, . . . , L} : y = 1 n yi
iC

&

xj =

1 n

xij
iC

1 (a) En notant = n iC i , vrier que le modle peut se mettre sous la forme Y = X + . (b) Donner la moyenne et la matrice de covariance de . (c) Dduire des questions prcdentes des estimateurs de et 2 .

3.9

Corrigs

Exercice 3.1 (QCM) ACABB. Exercice 3.2 (Analyse de sorties logiciel) 1. Les rsultats sont dans lordre : 6.2, 0.8, 6.66, 1.5, 1, 41, 5, 124. 2. La statistique de test de nullit du paramtre se trouve dans la troisime colonne, nous conservons H0 pour les paramtres associs Ne9 et Ne12, et la rejetons pour les autres. 3. La statistique de test de nullit simultane des paramtres autres que la constante vaut F () = R2 124 0.6233 np 41 = 2 p1 1R 5 1 0.6233

Nous rejetons H0 . 4. Nous sommes en prsence de modles embots, nous pouvons appliquer la formule vue dans le cours : F = =
2 np R 2 R0 p p0 1 R2 124 0.6233 0.5312 15. 2 1 0.6233

Nous rejettons H0 , i.e. nous conservons le premier modle. Ainsi, bien que considrs sparment, les paramtres associs Ne9 et Ne12 ntaient pas signicativement dirents de 0, ce test montre quil serait imprudent de rejeter ces deux variables en mme temps. Arnaud Guyader - Rennes 2 Rgression

3.9. Corrigs Exercice 3.3 (Equivalence du test T et du test F ) Rcrivons la statistique de test F , en nous souvenant que X0 est la matrice X prive de sa j me colonne, celle correspondant au coecient que lon teste : F = X PX0 X 2
2

67

Xj j j PX0 Xj = 2

2 j = 2 Xj (I PX0 )Xj .
j

Rcrivons maintenant le carr de la statistique T en explicitant 2 : T

2

2 j 2 [(X X)1 ]jj

o [(X X)1 ]jj est le j me lment diagonal de la matrice (X X)1 . An de calculer ce terme, nous utilisons la formule permettant dobtenir linverse dune matrice bloc, formule donne en annexe. Pour appliquer facilement cette formule, en changeant lordre des variables, la matrice X devient (X0 |Xj ) et X X scrit alors X X =
X0 X0 X0 Xj Xj X0 Xj Xj

Son inverse, en utilisant la formule dinverse de matrice bloc, est [(X X)1 ]jj =
Xj Xj Xj X0 (X0 X0 )1 X0 Xj 1 = Xj (I PX0 )Xj 1

Nous avons donc T 2 = F . Au niveau des lois, lgalit est aussi valable et le carr dun Student (np) ddl est une loi de Fisher (1, np) ddl. Bien entendu, le quantile (1) dune loi de Fisher correspond au carr du quantile 1 /2 dune loi de Student. La loi T est symtrique autour de 0, donc lorsquelle est leve au carr, les valeurs plus faibles que tnp (/2), qui ont une probabilit sous H0 de /2 dapparatre, et celles plus fortes que tnp (1 /2), qui ont une probabilit sous H0 de /2 dapparatre, deviennent toutes plus grandes que (tnp (1 /2))2 . La probabilit que 1 ces valeurs dpassent ce seuil sous H0 est de et correspond donc bien par dnition fnp (1 ). Exercice 3.4 (Un modle 3 variables explicatives) 1. Lestimateur des moindres carrs de est donn par = (X X)1 X Y . La matrice (X X)1 X, cest--dire diagonale par blocs avec pour premier bloc diagonal a la mme forme que X le coecient ((X X)1 )1,1 = 1/50 et comme second bloc diagonal la matrice 3 3 donne dans lnonc : 1100 560 30 1 560 784 140 . 13720 30 140 375 Il en rsulte que 2 2.55 0.57 . 1.89
2

La somme des carrs des rsidus

2

50 2 i=1 i

scrit encore = Y
2

= Y Y

cette dernire relation dcoulant de Pythagore. Le premier terme ne pose pas problme puisque Y 2 = Y Y = 640. Pour le second, il sut de remarquer que Y Rgression
2

= X

= (X X) = Y X 458. Arnaud Guyader - Rennes 2

68

Chapitre 3. Le modle gaussien Ainsi la somme des carrs des rsidus vaut 2 182. On en dduit que lestimateur de 2 vaut 2 2 = 3.96. 46 2. Puisquon sait que : 2 2 2 2 Tn4 = T46 , = 2 (X X)1
2,2

on en dduit quun intervalle de conance 95% pour 2 est : I(2 ) = 2 t46 (0.975) cest--dire : I(2 ) 2.55 2.0 3.96 1100/13720; 2.55 + 2.0 3.96 1100/13720 [1.42; 3.68]. (X X)1 ; 2 + t46 (0.975) 2,2 (X X)1 , 2,2

Un intervalle de conance 95% pour 2 est : I( 2 ) = 46 2 46 2 , = c2 c1 2 2 , , c2 c1

3. Le test de validit globale du modle au niveau 5% peut se faire via la statistique de Fisher. Sous lhypothse de nullit de tous les coecients sauf la constante, on a en eet : F () = Y y np p1 Y Y
2 2

o c1 et c2 sont tels que (c1 2 c2 ) = 0.95. En loccurrence, on trouve c1 29 et 46 c2 66, ce qui donne I( 2 ) [2.76; 6.28].

Y y 46 3 Y Y

2 2

3 F46

Or y = 100/50 = 2 se lit sur la premire coordonne du vecteur X Y , et la constante faisant partie du modle, il vient Y y
2

= Y

= Y

502 458 200 = 258. y

Dautre part, on a dj vu que Y Y 2 182. Do F () 21.7. Or le quantile dordre 0.95 dune Fisher (3, 46) degrs de libert vaut environ 2.81. Lhypothse (2 = 3 = 4 = 0) est donc rejete. 4. En notant x = [1, 1, 1, 0.5], la valeur prdite pour y51 est : 51 y51 = x 6.07 51 et un intervalle de prvision 95% pour y51 est : I(y51 ) = y51 t46 (0.975) soit I [1.61; 10.53]. Exercice 3.5 (Modle de Cobb-Douglas) 1. Avec les notations log V1 1 log L1 log K1 . . . . . . . Y = X= . . . . . log Vn 1 log Ln log Kn Arnaud Guyader - Rennes 2 1 + x (X X)1 x51 ; y51 + t46 (0.975) 51 1 + x (X X)1 x51 , 51

b=

1 . = . . n Rgression

3.9. Corrigs le modle scrit sous la forme matricielle Y = Xb + . Lestimateur des MCO scrit b alors comme dhabitude = (X X)1 XY . Sa matrice de variance-covariance est Var( = b b) 2 (X X)1 . En notant Y = X un estimateur sans biais de 2 est b, 2 = Y Y n3
2

69

et un estimateur sans biais de Var( est 2 (X X)1 . b) 2. Lestimateur 2 se dduit de la somme des carrs rsiduelle : 2 = Une estimation de Var( est donc b) b) V ( = 0.09 (X X)1 3. Puisquon sait que : 0.0288 0.0012 0.0034 = 0.09 0.0012 0.0016 0.0010 . 0.0034 0.0010 0.0009 SCR 148.27 = 0.09 n3 1655

Tn3 = T1655 , = (X X)1 2,2

on en dduit quun intervalle de conance 95% pour est : I() = t1655 (0.975) cest--dire : I() 0.738 1.96 0.09 0.0016; 0.738 + 1.96 0.09 0.0016 [0.71; 0.76]. De mme, un intervalle de conance 95% pour est I() 0.282 1.96 0.09 0.0009; 0.282 + 1.96 0.09 0.0009 [0.26; 0.30]. 4. Sous H0 : = 0, on sait que = (X X)1 3,3 Tn3 = T1655 . (X X)1 ; + t1655 (0.975) 2,2 (X X)1 , 2,2

On obtient une statistique de test gale T () = 0.282 31.3 > 1.645 = t1655 (0.95), 0.09 0.0009

quantile dordre 0.95 dune loi de Student 1655 degrs de libert. Nous rejetons donc lhypothse H0 . 5. Puisque V = F (L, K) = L K , il vient directement F (L, K) = + L K = + F (L, K). Donc dire que le rendement dchelle est constant, cest encore dire que + = 1. A contrario, les rendements sont croissants si F (L, K) > F (L, K), cest--dire que + > 1. Nous allons donc tester au niveau 5% H0 : + = 1, contre H1 : + > 1. Rgression Arnaud Guyader - Rennes 2

70 Sous lhypothse H0 , nous savons que +1 Tn3 = T1655 , +

Chapitre 3. Le modle gaussien

dont le quantile dordre 0.95 est 1.645. Il nous sut donc de calculer + . Or de faon gnrale, on a la dcomposition : Var( + ) = Var() + Var( ) + 2Cov(, ), donc lestimateur cherch est + = Var( + ), o :

Var( + ) = Var() + Var( ) + 2Cov(, ), b) quantits qui se dduisent de la matrice V ( calcule prcdemment. Ceci donne Var( + ) 0.09(0.0016 + 0.0009 2 0.001) = 4.5 105 . On en dduit que la statistique de test vaut T () = 0.738 + 0.282 1 2.98 > 1.645 4.5 105

En conclusion, lhypothse selon laquelle les rendements seraient constants est refuse. Au niveau 5%, on accepte lhypothse selon laquelle ils sont croissants. Exercice 3.6 (Modle deux variables explicatives) Cet exercice est corrig en annexe (sujet de dcembre 2009). Exercice 3.7 (Modle htroscdastique) Cet exercice est corrig en annexe (sujet de dcembre 2009). Exercice 3.8 (La hauteur des eucalyptus) Cet exercice est corrig en annexe (sujet de dcembre 2010). Exercice 3.9 (Consommation de gaz) Cet exercice est corrig en annexe (sujet de dcembre 2010). Exercice 3.10 (Tests) Cet exercice est corrig en annexe (sujet de dcembre 2011). Exercice 3.11 (Moindres carrs ordinaires) Cet exercice est corrig en annexe (sujet de dcembre 2011). Exercice 3.12 (Moindres carrs pondrs) Cet exercice est corrig en annexe (sujet de dcembre 2011).

Arnaud Guyader - Rennes 2

Rgression

Chapitre 4

Validation du modle
Introduction
En prsence dun chantillon de n observations (xi , yi )1in valeurs dans tapes de la rgression linaire sont les suivantes : 1. Modlisation. Nous considrons un modle de la forme : i {1, , n} yi = 1 xi1 + 2 xi2 + + p xip + i = x + i , i

p , les grandes

qui se rcrit sous forme matricielle : Yn1 = Xnp p1 + n1 , sous les hypothses : (H) (H1 ) : rg(X) = p (H2 ) : N (0, 2 In )

2. Estimation. Nous estimons alors les paramtres et 2 par la mthode des moindres carrs, laquelle est grosso modo quivalente la mthode du maximum de vraisemblance, ce qui donne les estimateurs et 2 . Des lois de et 2 , nous avons dduit des intervalles et/ou rgions de conance pour et 2 , et avons pu construire des tests dhypothses. 3. Validation. Les deux premiers points tant acquis, il sagit dans ce chapitre de valider nos hypothses. Autant la vrication de (H1 ) ne pose pas problme, autant celle de (H2 ) savre dlicate. Nous nous contenterons donc de donner quelques pistes.

4.1

Analyse des rsidus

Lexamen des rsidus constitue une tape primordiale de la rgression linaire. Cette tape tant essentiellement fonde sur des mthodes graphiques, il est dicile davoir des rgles strictes de dcision. Lobjectif de cette partie est de prsenter ces mthodes graphiques. Commenons par rappeler les dnitions des dirents rsidus.

4.1.1

Les dirents types de rsidus

Les rsidus thoriques i sont estims par i = yi yi . En notant H = PX = X(X X)1 X la matrice de projection et hij son terme gnrique, nous avons :

72 Hypothses [i ] = 0 Var() = 2 I Ralit [i ] = 0

Chapitre 4. Validation du modle

Var() = 2 (I H)

Il sensuit que la variance de i est Var(i ) = 2 (1hii ), qui dpend donc de i. An dliminer cette non-homognit des variances des rsidus estims, nous prfrerions utiliser les rsidus normaliss, dnis par : i ri = . 1 hii Mais est inconnu, il convient donc de le remplacer par , ce qui donne des rsidus dits studen tiss (ou rsidus studentiss internes) : i . ti = 1 hii Malgr leur nom, ces rsidus ne suivent pas une loi de Student ! Cest pourquoi nous utiliserons plutt les rsidus studentiss par validation croise (ou rsidus studentiss externes, souvent appels studentized residuals dans les logiciels ) dnis par : t = i i , (i) 1 hii

o (i) est lestimateur de dans le modle linaire priv de lobservation i. Ces rsidus t suivent bien une loi de Student (cf. Thorme 4.1 ci-aprs). Ils sont construits selon i la logique de validation croise (en abrg VC), cest--dire comme suit : 1. Dans un premier temps, nous estimons les paramtres et 2 laide de tous les individus sauf le ime , nous obtenons ainsi les estimateurs (i) et (i) ; 2 2. Dans un second temps, nous considrons que la ime observation x = [xi1 , . . . , xip ] est une i nouvelle observation et nous prvoyons yi par yi de faon classique : yi = x (i) . p p i Le chapitre prcdent permet alors de prciser la loi suivante : yi yi p Tnp1 ,

(i)

1 + x (X(i) X(i) )1 xi i

loi de Student (n p 1) ddl puisque les estimateurs (i) et (i) sont construits partir de (n 1) 2 observations. Nous allons maintenant montrer que les rsidus studentiss par validation croise t i correspondent exactement ces erreurs de prvision normalises. Thorme 4.1 Si la matrice X est de plein rang et si la suppression de la ligne i ne modie pas le rang de la matrice, alors les rsidus studentiss par validation croise vrient : t = i yi yi i = = (i) 1 hii (i) 1 hii (i) yi yi p Tnp1 .

1 + x (X(i) X(i) )1 xi i

Arnaud Guyader - Rennes 2

Rgression

4.1. Analyse des rsidus Preuve. Nous considrons la matrice X du plan dexprience, de taille n p, X(i) la matrice X prive de la ime ligne x , donc de taille (n 1) p, et Y(i) le vecteur Y priv de sa ime coordonne, i donc de taille (n 1) 1. Nous aurons alors besoin des ingrdients matriciels suivants, dont la vrication est laisse au lecteur : 1. Lemme dinversion matricielle : Soit M une matrice symtrique inversible de taille p p et u et v deux vecteurs de taille p, alors : M + uv
2. X X = X(i) X(i) + xi x . i 3. X Y = X(i) Y(i) + xi yi . 1

73

= M 1

M 1 uv M 1 . 1 + u M 1 v

4. hii = x (X X)1 xi . i Dans notre situation, le lemme dinversion matricielle scrit :

(X(i) X(i) )1 = (X X xi x )1 = (X X)1 + i

(X X)1 xi x (X X)1 i , 1 x (X X)1 xi i

et la relation sur hii ci-dessus donne :

(X(i) X(i) )1 = (X X)1 +

1 (X X)1 xi x (X X)1 . i 1 hii

Calculons alors la prvision yi , o (i) est lestimateur de obtenu sans la ime observation : p
yi = x (i) = x (X(i) X(i) )1 X(i) Y(i) p i i

On dduit de cette dernire relation que i = yi yi = (1 hii )(yi yi ), do il vient : p t = i i = (i) 1 hii (1 hii )(yi yi ) p . (i)

(X X)1 xi x (X X)1 i 1 hii h2 hii ii x hii yi yi = x + i 1 hii i 1 hii 1 hii = yi yi . 1 hii 1 hii = x (X X)1 + i

X Y xi y i

Pour terminer, remarquons quen multipliant la relation obtenue ci-dessus pour (X(i) X(i) )1 et droite par x , on obtient : gauche par xi i x (X(i) X(i) )1 xi = hii + i 1 + x (X(i) X(i) )1 xi i

h2 ii . 1 hii 1 hii = , = 1+ 1 hii 1 hii yi yi p

ce qui permet dtablir lgalit : t = i yi yi i = = (i) 1 hii (i) 1 hii (i)

1 + x (X(i) X(i) )1 xi i

Le rsultat sur la loi de lerreur de prvision vu au chapitre prcdent sapplique alors directement et ceci achve la preuve. Rgression Arnaud Guyader - Rennes 2

74

Chapitre 4. Validation du modle

En conclusion, bien que de manire classique les rsidus utiliss soient i , ceux-ci nont pas la mme variance selon lobservation i et sont donc dconseiller. An de remdier cette htroscdasticit, nous prfrerons utiliser les rsidus studentiss par validation croise t pour dtecter des i valeurs aberrantes. Remarque. Dun point de vue algorithmique, et contrairement aux ti , les t semblent coteux i puisque chacun ncessite le calcul de (i) . On peut en fait montrer la relation : t = ti i np1 , n p t2 i

qui assure quon ne paie rien de plus en temps de calcul remplacer les ti par les t (voir par i exemple larticle dAtkinson [2]).

4.1.2

Ajustement individuel au modle, valeur aberrante

Une valeur aberrante est une observation qui est mal explique par le modle et qui conduit un rsidu lev en ce point. Nous pouvons donc la dnir grce aux rsidus studentiss par validation croise t . i Dnition 4.1 Une donne aberrante est un point (xi , yi ) pour lequel le rsidu studentis par validation croise t i est lev compar au seuil donn par la loi de Student : |t | tnp1 (1 /2). i Remarque. En pratique, si = 5% et (n p 1) 30, alors tnp1 (1 /2) 2. Gnralement, les donnes aberrantes sont dtectes en traant les t squentiellement ou en fonci tion dautres variables (yi , xi , yi , etc.). La dtection des donnes aberrantes ne dpend que de la valeur des rsidus. Ces reprsentations graphiques permettent de sassurer aussi de la validit du modle.
2 3 3 2 1 0 1 2 1 0 2 1

10

15

20

10

(a)

(b)

Figure 4.1 Rsidus studentiss par VC corrects (gure a) et rsidus studentiss par VC avec un individu aberrant vrier, signal par une che, et un second moins important (gure b).

La gure 4.1 (a) montre un ajustement satisfaisant o aucune structure ne se dgage des rsidus et o aucun rsidu nest plus grand que la valeur test 2. Remarquons quen thorie % des individus possdent des valeurs aberrantes. Nous cherchons donc plutt les rsidus dont les valeurs absolues sont nettement au-dessus de tnp1 (1 /2) 2. Ainsi, en gure 4.1 (b), nous nous intresserons seulement lindividu dsign par une che. Arnaud Guyader - Rennes 2 Rgression

4.1. Analyse des rsidus

75

4.1.3

Analyse de la normalit

Lhypothse de normalit sera examine laide dun graphique comparant les quantiles des rsidus estims lesprance des mmes quantiles sous lhypothse de normalit. Ce type de graphique est appel Q-Q plot. Supposons que nous ayons n observations 1 , . . . , n de la variable alatoire qui suit une loi normale N (0, 1). Classons les i par ordre croissant, (1) , . . . , (n) . Lesprance de (i) est alors approche par 1 1 i 3/8 n + 1/4 i 1/2 n si n 10 sinon,

o (.) est la fonction de rpartition de la loi normale (qui est une bijection de dans ]0; 1[). Le graphique est alors obtenu en dessinant (1) , . . . , (n) contre leur esprance thorique respective sous hypothse de normalit. Si cette hypothse est respecte, le graphique obtenu sera proche de la premire bissectrice.

4.1.4

Analyse de lhomoscdasticit

Il nexiste pas de procdure prcise pour vrier lhypothse dhomoscdasticit. Nous proposons plusieurs graphiques possibles pour dtecter une htroscdasticit. Il est recommand de tracer les rsidus studentiss par validation croise t en fonction des valeurs ajustes yi , cest--dire i ). Si une structure apparat (tendance, cne, vagues), lhypothse tracer les couples de points (i , ti y dhomoscdasticit risque fort de ne pas tre vrie. Voyons cela sur un graphique.
3 3.0 1 2 3 4 0.0 0.5 1.0

|t |

1.5

2.0

2.5

Figure 4.2 Htroscdasticit des rsidus.

Sur la gure 4.2, lajustement nest pas satisfaisant car la variabilit des rsidus augmente avec la valeur de yi , on parle de cne de variance croissante avec la valeur de laxe des abscisses Y . Le second graphique trace la valeur absolue du rsidu avec une estimation de la tendance des rsidus. Cette estimation de la tendance est obtenue par un lisseur, ici lowess. Ce lisseur, qui est aussi nomm loess, est le plus utilis pour obtenir ce type de courbe. Il consiste en une rgression par polynmes locaux itre. Nous voyons que la tendance est croissante et donc que la variance des rsidus augmente le long de laxe des abscisses. Ce deuxime graphique permet de reprer plus facilement que le premier les changements de variance ventuels dans les rsidus. Le choix de laxe des abscisses est trs important et permet (ou non) de dtecter une htroscdasticit. Dautres choix que Y en abscisse peuvent savrer plus pertinents selon le problme : ce peuvent tre le temps, lindice... Rgression Arnaud Guyader - Rennes 2

76

Chapitre 4. Validation du modle

4.1.5

Analyse de la structure des rsidus

Les erreurs i sont supposes tre indpendantes (H2 ), mais ceci est bien sr impossible vrier puisque ces erreurs sont inconnues : nous navons accs quaux rsidus i , or ceux-ci ne sont pas indpendants, ils ne sont mme pas dcorrls puisque Var() = 2 (I H). Dun point de vue graphique, une reprsentation des rsidus choisie de manire judicieuse pourra nanmoins permettre de reprer quelques cas de non-indpendance et de complter lanalyse obtenue par des tests. Si lon souponne une structuration temporelle (autocorrlation des rsidus), un graphique temps en abscisse, rsidus en ordonne sera tout indiqu. Si lon souponne une structuration spatiale, un graphique possible consiste en une carte sur laquelle en chacun des points de mesure, on reprsente un cercle ou un carr (selon le signe du rsidu estim) de taille variable (selon la valeur absolue du rsidu estim). Ce type de graphique (voir gure 4.3) permettra peut-tre de dtecter une structuration spatiale (agrgats de ronds ou de carrs, ou au contraire alternance des ronds/carrs). Si une structuration est observe, un travail sur les rsidus et en particulier sur leur covariance est alors ncessaire. Exemple. Le but ici est dexpliquer une variable Y , le nombre de plantes endmiques observes, par trois variables : la surface de lunit de mesure, laltitude et la latitude. Les rsidus studentiss sont reprsents sur la carte gographique des emplacements de mesure (gure 4.3). On observe des agrgats de rsidus positifs ou ngatifs qui semblent indiquer quune structuration spatiale reste prsente dans les rsidus. Dans cet exemple, une simple reprsentation des rsidus en fonction de Y ou du numro de lobservation napporte que peu dinformation. En conclusion nous pouvons donc insister sur le choix adquat de la reprsentation graphique des rsidus.

21 26 13 25 14 20 24 8 4 7 3 16 10 6 22

2.5

1.5 0.5 0.5

1.5

2.5 38

Nevada Californie
23 5 17 18 11 2 15 9 12 30 19 34

Mexique

Figure 4.3 Exemple de rsidus studentiss structurs spatialement.

Lutilisation dun lisseur peut permettre de dgager une ventuelle structuration dans les rsidus (voir gure 4.4) et ce de manire aise et rapide, ce qui est primordial. Il est cependant dicile, voire impossible, de discerner entre une structuration due un oubli dans la modlisation de la moyenne et une structuration due une mauvaise modlisation de la variance (voir gure 4.4). Arnaud Guyader - Rennes 2 Rgression

4.1. Analyse des rsidus

2

77

0.0

0.5

1.0

1.5

2.0

2.5

1 0.0

0.5

1.0

1.5

2.0

2.5

(a)

(b)

Figure 4.4 Tendance sinusodale due des bruits autorgressifs dordre 1, i = i1 + i (variance mal modlise, graphique a) ou une composante explicative non prise en compte : X2 = 0.2 sin(3x) (moyenne mal modlise, graphique b).

Un autre type de structuration des rsidus peut tre d une mauvaise modlisation. Supposons que nous ayons oubli une variable intervenant dans lexplication de la variable Y . Cet oubli se retrouvera forcment dans les rsidus qui sont par dnition les observations moins lestimation par le modle. Lhypothse dabsence de structuration (Cov(i , j ) = 0 i = j) risque de ne pas tre vrie. En eet, la composante oublie dans le modle va sadditionner au vrai bruit et devrait apparatre dans le dessin des rsidus. Une forme quelconque de structuration dans le graphe des rsidus sera annonciatrice dun mauvais ajustement du modle. Une fois dtecte une structuration, il sut, si lon peut dire, dajouter au modle une variable explicative possdant la mme structuration. Voyons cela sur un exemple graphique.
3 3 3 0.0 0.5 1.0 Y 1.5 2.0 2 2 1 0 1 2

10

20

Index

30

40

50

X2

Figure 4.5 Rsidus studentiss avec une tendance dcroissante due loubli dune variable X2 dans le modle. Les rsidus studentiss (par VC) sont reprsents comme fonctions du numro de lobservation (index), de lestimation du modle y et comme fonction de X2 .

La gure (4.5) montre les graphiques dun modle linaire Y = + 1 X1 + alors que le vrai modle est deux variables Y = + 1 X1 + 2 X2 + . Lajustement nest pas satisfaisant puisquune tendance linaire dcroissante se dgage des rsidus de la troisime reprsentation. Notons limportance du choix de laxe des abscisses : les deux premiers graphiques, reprsentant les mmes rsidus, ne laissent pas souponner cette tendance dcroissante. Le modle linaire propos nest donc pas judicieux, il serait bon dajouter une nouvelle variable constitue par laxe des abscisses x de la troisime reprsentation, cest--dire ici la variable oublie X2 . Malgr tout, ce type de diagnostic peut tre insusant. Une autre mthode plus prcise, mais fastidieuse, consiste regarder, variable explicative par variable explicative, si la variable considre agit bien de manire linaire sur la variable expliquer. Ce type danalyse sera men avec Rgression Arnaud Guyader - Rennes 2

78

Chapitre 4. Validation du modle des rsidus appels rsidus partiels (ou rsidus partiels augments) ou encore via des rgressions partielles. Ces graphiques permettent de constater si une variable candidate est bien utile au modle et de trouver dventuelles fonctions non linaires de variables explicatives dj prsentes. Rappelons quune fonction non linaire f xe dune variable explicative Xj est considre comme une variable explicative part entire Xp+1 = f (Xj ). En conclusion, il est impratif de tracer un graphique avec en ordonne les rsidus et en abscisse soit Y , soit le numro de lobservation, soit le temps ou tout autre facteur potentiel de nonindpendance. Idalement, ce type de graphique permettra : de vrier lajustement global, de reprer les points aberrants, de vrier les hypothses concernant la structure de variance du vecteur . Dautres graphiques, tels ceux prsentant la valeur absolue des rsidus en ordonne, permettront de regarder la structuration de la variance. Lanalyse des rsidus permet de dtecter des dirences signicatives entre les valeurs observes et les valeurs prdites. Cela permet donc de connatre les points mal prdits et les faiblesses du modle en termes de moyenne ou de variance. Cependant, ceci ne nous renseigne nullement sur la robustesse des estimateurs par rapport lajout ou la suppression dune observation. La section suivante propose quelques critres en ce sens.

4.2

Analyse de la matrice de projection

Nous souhaiterions maintenant avoir une mesure synthtique du poids dune observation sur sa propre prvision par le modle. Cette prvision utilise la matrice de projection orthogonale sur lespace engendr par les colonnes de X, savoir PX = H = X(X X)1 X . En eet, nous avons vu que Y = PX Y = HY . Commenons par donner quelques proprits trs gnrales sur les matrices de projection orthogonale. Proprits 4.1 (Proprits dune matrice de projection orthogonale) Soit H = PX la matrice n n de projection orthogonale sur le sous-espace M de dimension p engendr par les colonnes de X. Alors : 1. Tr(H) = 2.
i j n i=1 hii

= p.

h2 = p. ij

4. Si hii = 0 ou 1, alors hij = 0 pour tout j dirent de i. 5. pour tout j dirent de i, 0.5 hij 0.5. Preuve. 1. La trace dun projecteur vaut la dimension de lespace sur lequel seectue la projection, donc Tr(H) = p. 2. Ce second point dcoule de la proprit H 2 = H, do Tr(H 2 ) = p, de la symtrie de H et du fait que pour toute matrice A, Tr(AA ) = Tr(A A) = i j a2 . ij 3. Puisque les matrices H et H 2 sont gales, nous avons en particulier hii = (H 2 )ii . Cela scrit, en utilisant la symtrie de H :
n

3. Pour tout i {1, . . . , n}, 0 hii 1.

hii =
j=1

hij hji = h2 + ii
j=i

h2 hii (1 hii ) = ij

h2 . ij
j=i

La quantit de droite de la dernire galit est positive, donc le troisime point est dmontr. 4. Cette proprit se dduit directement de lquation prcdente. Arnaud Guyader - Rennes 2 Rgression

4.2. Analyse de la matrice de projection 5. Nous pouvons crire : hii (1 hii ) = h2 + k=i,j h2 . La quantit de gauche est maximum ij ik lorsque hii = 0.5 et vaut alors 0.25. Le dernier point est ainsi prouv.

79

Il sut maintenant de remarquer que :

n

yi =
j=1

hij yj = hii yi +
j=i

hij yj ,

pour sapercevoir que hii reprsente en quelque sorte le poids de lobservation yi sur sa propre prdiction yi . Ainsi : si hii = 1, hij = 0 pour tout j = i, et yi est entirement dtermin par yi , puisque yi = yi ; si hii = 0, hij = 0 pour tout j = i donc yi = 0, et yi na aucune inuence sur yi ; plus gnralement, si hii est grand, yi inue fortement sur yi , comme en tmoigne la formule prcdemment tablie : yi yi = (1 hii )(yi yi ), p qui montre la variation dans la prdiction de yi selon que lon prend en compte ou non la ime observation. Puisque Tr(PX ) = hii = p, la moyenne des hii est gale p/n. Ceci permet de quantier quelque peu la notion de grand. Dnition 4.2 (Point levier) Un point (xi , yi ) est appel point levier si : hii > 2p/n selon Hoaglin & Welsch (1978) ; hii > 3p/n pour p > 6 et n p > 12 selon Velleman & Welsch (1981) ; hii > 0.5 selon Huber (1981). Remarque. Pour plus de dtails sur ce point, on pourra consulter le livre de Antoniadis, Berruyer et Carmona, Rgression non linaire et applications, Economica (1992), pages 36-40.
0.05 0.10 0.15 0.20 0.25 0.30 0.35

hii

10

20

Index

30

40

50

Figure 4.6 Exemple dun point levier, gur par la che, pour un modle de rgression simple. Quantication par hii de la notion de levier. La ligne en pointills longs reprsente le seuil de 2p/n, celle en pointills courts le seuil de 3p/n.

Pour un modle de rgression simple dont le nuage de points est reprsent sur la gure 4.6, le point dsign par une che est un point levier. Sa localisation sur laxe x dire des autres points et son poids hii est prpondrant et suprieur aux valeurs seuils de 2p/n et 3p/n. Grosso modo, cette notion de levier hii correspond lloignement de xi par rapport au centre de gravit x des (xj )1jn .

Rgression

Arnaud Guyader - Rennes 2

80

Chapitre 4. Validation du modle Remarque. Le point de la gure 4.6 est levier mais pas aberrant puisquil se situe dans le prolongement de la droite de rgression et sera donc proche de sa prvision par le modle (rsidu faible). En conclusion, lanalyse des rsidus permet de trouver des valeurs atypiques en fonction de la valeur de la variable expliquer, tandis que lanalyse de la matrice de projection permet de trouver des individus atypiques en fonction des valeurs des variables explicatives (observations loignes de x). Dautres critres vont combiner ces deux analyses, cest ce que nous allons voir maintenant.

4.3

Autres mesures diagnostiques

La distance de Cook mesure linuence de lobservation i sur lestimation du paramtre . Pour btir une telle mesure, il sut de considrer la distance entre le coecient estim et le coecient (i) que lon estime en enlevant lobservation i (cf. Section 4.1.1). Si la distance est grande, alors lobservation i inuence beaucoup lestimation de , puisque la laisser ou lenlever conduit des estimations trs direntes lune de lautre. De manire gnrale, et (i) tant dans p , une distance btie sur un produit scalaire scrit : d((i) , ) = ((i) ) Q((i) ),

o Q est une matrice symtrique dnie positive. De nombreux choix sont possibles. Si nous revenons la rgion de conance simultane de donne au Chapitre 3, nous obtenons en prenant R = Ip et = 5% : RC () = p : 1 p ( ) (X X)( ) fnp(0.95) . p 2

Cette quation donne une rgion de conance pour autour de et permet de dire que, en moyenne, dans 95% des cas, la distance entre et (selon la matrice Q = (X X)/p 2 ) est inf p rieure fnp (0.95). Par analogie, nous pouvons utiliser cette distance, appele distance de Cook, pour mesurer linuence de lobservation i sur le modle. Dnition 4.3 (Distance de Cook) La distance de Cook pour la ime observation est dnie par : Ci = 1 ( ) (X X)((i) ). p 2 (i)

Il est possible de lexprimer de manire plus concise comme suit : Ci = hii (yi yi )2 p 2 i hii 1 hii 2 = = t . p 2 p(1 hii )2 2 p 1 hii i

Remarque. Il y a dans cette terminologie un lger abus de langage, puisque la distance de Cook est en fait le carr dune distance. Preuve. Nous allons utiliser les rsultats tablis dans la preuve du thorme 4.1. Par dnition, nous avons : (i) = (X(i) X(i) )1 X(i) Y(i) ,
or en utilisant le lemme dinversion matricielle pour (X(i) X(i) )1 et le fait que X(i) Y(i) = X Y xi yi , on obtient : (X X)1 xi x (X X)1 i X Y xi y i , (i) = (X X)1 + 1 hii

Arnaud Guyader - Rennes 2

Rgression

4.3. Autres mesures diagnostiques ce qui donne en dveloppant : (i) = (X X)1 xi yi + cest--dire tout simplement : (i) = i (X X)1 xi , 1 hii hii 1 (X X)1 xi x (X X)1 xi yi , i 1 hii 1 hii

81

et puisquon a vu dans la preuve du thorme 4.1 que i = (1 hii )(yi yi ), on en dduit que : p (i) = (yi yi )(X X)1 xi . p Il sut dappliquer cette expression et le fait que hii = x (X X)1 xi pour obtenir la deuxime i expression de la distance de Cook : hii (yi yi )2 p Ci = . p 2 La troisime expression de la distance de Cook dcoule alors de la relation dj mentionne i = (1 hii )(yi yi ). Pour la dernire expression, il sut dappliquer la dnition de ti . p

Une observation inuente est donc une observation qui, enleve, conduit une grande variation dans lestimation des coecients, cest--dire une distance de Cook leve. Pour juger si la disp p tance Ci est leve, Cook (1977) propose le seuil fnp (0.1) comme souhaitable et le seuil fnp (0.5) comme proccupant. Certains auteurs citent comme seuil la valeur 1, qui est une approximation p raisonnable de fnp (0.5). Remarquons sur la dernire relation que la distance de Cook peut tre vue comme la contribution de deux termes. Le premier, t2 , est dautant plus grand que le point est aberrant, tandis que le i second, hii /(1 hii ), est dautant plus grand que le point est levier. Exemple. Pour le modle de rgression simple de la gure 4.6, nous avons trac sur la gure 4.7 : la droite des moindres carrs, les rsidus studentiss par validation croise, les distances de Cook. Nous voyons que des points ayant de forts rsidus (loigns de la droite) possdent des distances de Cook leves (cas des points 4, 6, 12, 29, 44 et 45). Le point 51, bien quayant un rsidu faible puisquil se situe dans le prolongement de laxe du nuage, apparat comme ayant une distance de Cook relativement forte (la 8me plus grande). Ceci illustre bien que la distance de Cook opre un compromis entre points aberrants et points leviers. Notons enn que, dans notre cas prcis, les 2 2 seuils de la distance de Cook sont f49 (0.5) 0.7 et le second f49 (0.1) 0.11, ce dernier gurant en pointill sur la gure 4.7. Sur ce graphique, les distances de Cook semblent assez bien rparties au niveau hauteur et aucun point ne se dtache nettement.

Rgression

Arnaud Guyader - Rennes 2

82
51 + 5 2 6 4 4 49 + 44 + + + ++ + +++ + +++ +++ + + + 6++ ++++ + 45 + + 4 ++ + + ++ + + + +++ 29 + ++ ++ + + 12 + + 0 1 2 1 49 44

Chapitre 4. Validation du modle

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14

6 45 49 4 12 29 44 51

51

12 2 29 0 1 2 45

distance de Cook

t
1

10

20

Index

30

40

50

Figure 4.7 Exemple du point levier (numro 51). Les points associs aux 8 plus grandes valeurs de la distance de Cook sont numrots ainsi que leurs distances de Cook et leurs rsidus studentiss (par VC). La droite en trait plein est la droite ajuste par MCO.

Exemple (suite). En utilisant les mmes 50 points et en remplaant simplement le point levier 51 par un point franchement aberrant, mais non levier, nous voyons que ce nouveau point 51 est bien aberrant (gure 4.8), son rsidu t tant trs lev. La distance de Cook, malgr la position 51 de ce point 51 lintrieur du nuage des x, est leve et ceci uniquement cause de son caractre p aberrant. Bien entendu un point peut tre la fois levier et aberrant. Le seuil de fnp(0.5), ici gal 2 (0.5) 0.7, semble assez conservateur : en pratique, on pourrait en eet se poser la question f49 de la suppression de ce point 51.
6 4 1 49 0.00 0.05 0.10 0.15 0.20 0.25 0.30

49 + 3 44 + + +++ + + + + + ++ + + + + + 45 + ++++ + + 6 + + + + + + 4 + + + + + ++ 29 + + + ++ ++ 5 +1 12 ++ + + + 0.0 0.5 1.0 1.5 2.0 2.5

44

51

12 29

distance de Cook

45

49 6 4 45 44 12 29

51 0.0 0.5 1.0 1.5 2.0 2.5

10

20

30

40

50

Index

Figure 4.8 Exemple de point fortement aberrant (numro 51). Les points associs aux 8 plus grandes valeurs de la distance de Cook sont numrots ainsi que leurs distances de Cook et leurs rsidus studentiss (par VC). La droite en trait plein est la droite ajuste par MCO.

Une autre mesure dinuence est donne par la distance de Welsh-Kuh. La dnition de la distance de Cook pour lobservation i fait intervenir la variance estime de lerreur 2 . Il faut donc utiliser un estimateur de 2 . Si lon utilise lestimateur classique 2 , alors une observation inuente risque de perturber lestimation 2 . Il est donc prfrable dutiliser (i) , obtenu pas validation croise. 2 Lcart de Welsh-Kuh, souvent appel DFFITS par les logiciels, est donc dni par : W ki = |t | i hii , 1 hii

et permet dvaluer lcart standardis entre lestimation btie sur toute les observations et lestimation btie sur toutes les observations sauf la ime . Cet cart de Welsh-Kuh mesure ainsi linuence simultane dune observation sur lestimation des paramtres et 2 . Si lcart de Welsh-Kuh est suprieure 2 p + 1/ n en valeur absolue, alors il est conseill danalyser les observations correspondantes. Arnaud Guyader - Rennes 2 Rgression

Annexe A

Annales
Universit de Rennes 2 Master de Statistiques Dure : 2 heures Vendredi 18 Dcembre 2009 Calculatrice autorise Aucun document

Contrle de Rgression Linaire

I. La hauteur des eucalyptus

28

26

24

22

20

18

16

14

12

hauteur

Circonfrence
10 20 30 40 50 60 70 80

Figure A.1 Nuage de points pour les eucalyptus.

84

Chapitre A. Annales On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol. On a relev n = 1429 couples (xi , yi ), le nuage de points tant reprsent gure A.1. On a obtenu (, y ) = (47, 3; 21, 2) et : x
n i=1 n n

(xi x) = 102924

i=1

(yi y ) = 8857

i=1

(xi x)(yi y ) = 26466

1. Calculer la droite des moindres carrs pour le modle y = 1 + 2 x + et la reprsenter sur la gure A.1. 2. Calculer le coecient de dtermination R2 . Commenter la qualit de lajustement des donnes au modle. 3. Avec ces estimateurs, la somme des carrs des rsidus vaut alors n (yi yi )2 = 2052. Si i=1 on suppose les perturbations i gaussiennes, centres, indpendantes et de mme variance 2 , en dduire un estimateur non biais 2 de 2 . 4. Donner un estimateur 2 de la variance de 1 .
1

5. Tester lhypothse H0 : 1 = 0 contre H1 : 1 = 0. 6. Etant donn la forme du nuage de points, on veut expliquer la hauteur non seulement par la circonfrence, mais aussi par la racine carre de celle-ci : yi = 1 + 2 xi + 3 xi + i . Pour 3 , on a obtenu 3 = 10 et 3 = 0, 78. Tester lhypothse H0 : 3 = 0 contre H1 : 3 = 0. II. Modle deux variables explicatives On considre le modle de rgression suivant : yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.

on a observ :

Les xi,j , sont des variables exognes du modle, les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : 1 x1,2 x1,3 y1 . . . et Y = . , . . X= . . . . . . 1 xn,2 xn,3 yn 30 20 0 X X = 20 20 0 , 0 0 10 15 X Y = 20 , 10

Y Y = 59.5.

1. Dterminer la valeur de n, la moyenne des xi,3 , le coecient de corrlation des xi,2 et des xi,3 . 2. Estimer 1 , 2 , 3 , 2 par la mthode des moindres carrs ordinaires. 3. Calculer pour 2 un intervalle de conance 95% et tester lhypothse 3 = 0.8 au niveau 10%. 4. Tester 2 + 3 = 3 contre 2 + 3 = 3, au niveau 5%. 5. Que vaut y , moyenne empirique des yi ? En dduire le coecient de dtermination ajust 2 Ra . Arnaud Guyader - Rennes 2 Rgression

85 6. Construire un intervalle de prvision 95% de yn+1 connaissant : xn+1,2 = 3 et xn+1,3 = 0, 5. III. Modle htroscdastique On considre n observations y1 , . . . , yn dune variable dnie sur une certaine population, et n kuplets xi (x = [xi1 , . . . , xik ]) correspondant aux valeurs prises par k autres variables sur les i mmes lments de cette population. On suppose que pour tout i, yi est la valeur prise par une variable alatoire Yi , et quil existe k pour lequel :
2 Yi N x , i i

1 i n,

o : reprsente un vecteur de k : = [1 , . . . , k ] , Les Yi sont supposes indpendantes entre elles. 2 Enn, les valeurs i des variances dpendent de lappartenance p sous-populations des lments sur lesquels les variables sont observes. En regroupant les indices des Yi selon ces sous-populations, on posera : I1 = {1, . . . , n1 }, indices des n1 lments de la premire sous-population ; I2 = {n1 + 1, . . . , n1 + n2 }, indices des n2 lments de la deuxime sous-population ; ... ; I = {n1 + . . . + n1 + 1, . . . , n1 + . . . + n1 + n }, indices des n lments de la -me souspopulation ; ... ; Ip = {n1 + . . . + np1 + 1, . . . , n}, indices des np lments de la dernire sous-population.
2 On admettra lhypothse suivante : si i I , i = 2 . Autrement dit, pour les n1 variables correspondant aux lments de la premire sous-population la valeur est 2 , pour les n2 variables correspondant aux lments de la deuxime sous-population la valeur est 2 2 , etc. , jusqu p 2 pour la variance des variables correspondant aux lments de la dernire sous-population. On veut estimer et 2 par la mthode du maximum de vraisemblance. On notera , 2 ces estimateurs. 2 1. Que vaut fYi (yi ), fYi reprsentant la densit de la loi normale N x , i i

2. Montrer que et 2 sont solutions du systme dquations :

p 1 =1 iI (yi p 1 =1

j = 1, . . . , k

x )2 = n 2 i iI (yi xi ) xij = 0.

(A.1)

3. Montrer que le systme (A.3) quivaut : A (Y X) 2 = n 2 X A2 (Y X) = 0. (A.2)

o . 2 reprsente la norme euclidienne usuelle dans n , X la matrice (n k) du plan dexprience, Y le vecteur (n 1) des observations yi , A la matrice (n n) diagonale dont 1 llment (i, i) vaut l si i Il . 4. En supposant que X A2 X est inversible, exprimer et 2 . 5. Montrer que n 2 = V 6. En dduire que V
2 2

, o V suit une loi gaussienne centre. est la trace de la matrice de variance-covariance de V .

7. Montrer que n 2 /(n k) est un estimateur sans biais de 2 . Rgression Arnaud Guyader - Rennes 2

86

Chapitre A. Annales 8. On note X la matrice (n k) forme par les lignes dindices I de X, suppose de rang plein, Y le vecteur colonne (n 1) des composantes dindices I de Y . En posant = X )1 X Y , montrer que est un estimateur sans biais de . (X 9. (Bonus) Que peut-on dire de la dirence des matrices de variance-covariance de et de ?

Arnaud Guyader - Rennes 2

Rgression

87 Universit de Rennes 2 Master de Statistiques Dure : 2 heures

Vendredi 18 Dcembre 2009 Calculatrice autorise Aucun document

Corrig du Contrle

I. La hauteur des eucalyptus

Hauteur
+ + + + 25 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+ + 15 + + + + + +

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+ + + + + + + + + + + + + + + + + + +

+ + + + + + + + + + +

20

Circonfrence
30 40 50 60 70

Figure A.2 Nuage de points, droite de rgression et courbe de rgression.

1. La mthode des moindres carrs ordinaires donne pour estimateur de 2 : 2 = Et pour estimateur de 1 :
n i=1 (xi x)(yi n 2 i=1 (xi x)

y)

0, 257.

1 = y 2 x 9, 04.

La droite des moindres carrs est reprsente gure A.2. 2. Le coecient de dtermination R2 est gal au carr du coecient de corrlation entre les variables x et y, ce qui donne : R2 = ( x)(yi y ))2 0, 768. n 2 ) ( n (y y )2 ) i=1 (xi x) i=1 i (
n i=1 (xi

On en conclut que 77% de la variance des hauteurs yi des eucalyptus est explique par la circonfrence 1m30 du sol. Ce modle de rgression linaire simple semble donc ecace. Rgression Arnaud Guyader - Rennes 2

88 3. Un estimateur non biais 2 de 2 est tout simplement : =

2 n i=1 (yi

Chapitre A. Annales

yi )2 = n2

n i=1 (yi

yi )2 1, 438. 1427

4. Un estimateur 1 de la variance de 1 est alors donn par : 2 1 = 2 2 n

n i=1 (xi n 2 i=1 xi

x)2

= 2

n2 + n (xi x)2 x i=1 0, 032. n 2 n i=1 (xi x)

5. On sait que lestimateur centr et normalis de 1 suit une loi de Student (n 2) = 1427 degrs de libert : 1 1 T1427 , 1
1 donc sous lhypothse H0 : 1 = 0, ceci se simplie en 1 T1427 , et cette statistique de test donne ici : 9, 04 50, 5 2. t = T () 0, 032

Une loi de Student 1427 degrs de liberts se comportant comme une loi normale centre rduite, il est clair que la probabilit critique associe au quantile 50, 5 est innitsimale, donc on rejette lhypothse H0 selon laquelle lordonne lorigine serait nulle. 6. De mme, on sait que sous H0 : 3 Tn3 = T1426 , 3 ce qui donne ici : t = T () = 10 12, 8. 0, 78

Ici encore, on rejette H0 sans hsiter. A titre indicatif, la courbe des moindres carrs est reprsente gure A.2. II. Modle deux variables explicatives On considre le modle de rgression suivant : yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.

on a observ :

Les xi,j , sont des variables exognes du modle, les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : y1 1 x1,2 x1,3 . . et Y = . , . . . X= . . . . . . yn 1 xn,2 xn,3 30 20 0 X X = 20 20 0 , 0 0 10 15 X Y = 20 , 10

Y Y = 59.5.

Arnaud Guyader - Rennes 2

Rgression

89 1. La valeur de n se lit en haut gauche de la matrice X X, cest--dire n = (X X)1,1 = 30. De mme, la moyenne des xi,3 correspond : 1 30
30

xi,3 =
i=1

(X X)1,3 = 0. 30

Puisque les xi,3 sont centrs, le coecient de corrlation entre les deux variables x2 et x3 est alors : r2,3 =
30 i=1 xi,2 xi,3 30 i=1 (xi,2

xi,2

)2

30 2 i=1 xi,3

(X X)2,3
30 i=1 (xi,2

xi,2

)2

30 2 i=1 xi,3

= 0.

2. La mthode des moindres carrs ordinaires donne pour = [1 , 2 , 3 ] lestimateur suivant : 0.1 0.1 0 15 0.5 = (X X)1 X Y = 0.1 0.15 0 20 = 1.5 . 0 0 0.1 10 1 Y X n3
2

Un estimateur non biais 2 de 2 scrit : 2 = ce qui scrit encore : 2 = 3. Puisquon sait que :

X 27

Y Y Y X(X X)1 X Y = 1. 27

2 2 2 2 Tn3 = T27 , = 2 (X X)1 2,2 on en dduit quun intervalle de conance 95% pour 2 est : I(2 ) = 2 t27 (0.975) cest--dire : (X X)1 ; 2 + t27 (0.975) 2,2 (X X)1 , 2,2

I(2 ) 1.5 2.05 0.15; 1.5 + 2.05 0.15 [0.71; 2.29].

Pour tester lhypothse H0 : 3 = 0.8 contre H1 : 3 = 0.8 au niveau 10%, on calcule de mme un intervalle de conance 90% de 3 : I(3 ) = 3 t27 (0.95) ce qui donne : (X X)1 ; 3 + t27 (0.95) 3,3 (X X)1 , 3,3

I(3 ) 1 1.70 0.1; 1 + 1.70 0.1 [0.46; 1.54],

donc on accepte au niveau 10% lhypothse selon laquelle 3 = 0.8. 4. On sait que (2 + 3 ) (2 + 3 ) T27 , 2 + 3 Rgression Arnaud Guyader - Rennes 2

90 avec : 2 + 3 = 2 + 2Cov(2 , 3 ) + 3 = 2 2

Chapitre A. Annales

(X X)1 + 2(X X)1 + (X X)1 , 2,2 2,3 3,3

cest--dire 2 +3 = 0.5. Donc un intervalle de conance 95% pour 2 + 3 est : I(2 + 3 ) = [2.5 0.5t27 (0.975); 2.5 + 0.5t27 (0.975)] [1.47; 3.53]. Par consquent, au niveau 5%, on accepte H0 : 2 + 3 = 3 contre H1 : 2 + 3 = 3. 5. La moyenne empirique des yi se dduit de la premire composante du vecteur X Y , donc 2 y = 15/30 = 0.5. Par dnition, le coecient de dtermination ajust Ra vaut :
2 Ra = 1

n1 Y Y n p Y y
2 Ra = 1

2 2

= 1 (n 1)

2 Y y

donc : Y
Y

6. En notant x n+1 = [1, 3, 0.5], la valeur prdite pour yn+1 est : yn+1 = x = n+1 et un intervalle de prvision 95% pour yn+1 est : IC(yn+1 ) = yn+1 t27 (0.975) 1 + x (X X)1 xn+1 , n+1 9 , 2

29 0.44. 302 y

ce qui donne numriquement IC(yn+1 ) [1.69; 7.31]. III. Modle htroscdastique

2 1. Par dnition de la loi normale N x , i , on a tout simplement : i

fYi (yi ) =

1
2 2i

exp

(yi x )2 i 2 2i

2. Les variables Yi tant indpendantes, la densit jointe fY (y) du n-uplet Y = (Y1 , . . . , Yn ) est le produit des densits fYi (yi ), ce qui donne pour la vraisemblance : p 1 (yi x )2 i L(y, , 2 ) = fY (y) = , n exp n 2 2 (2)n/2 1 1 . . . p p
=1 iI

qui scrit encore :

do pour la log-vraisemblance :

1 1 exp 2 L(y, , 2 ) = 2 )n/2 1n1 . . . pnp 2 (2 1 n log 2 2 2 2

p =1

p =1

iI

(yi x )2 , i

log L(y, , 2 ) = c Arnaud Guyader - Rennes 2

iI

(yi x )2 , i Rgression

91 o c est une constante. Les estimateurs du maximum de vraisemblance sont obtenus en annulant les drives partielles de cette log-vraisemblance par rapport 1 , . . . , k et 2 . Pour tout j {1, . . . , k}, le calcul donne : 1 log L (y, , 2 ) = 2 j
p =1

iI

(yi x )xij . i

La drive partielle par rapport 2 scrit elle : n 1 log L (y, , 2 ) = 2 + 4 2 2 2

p =1

iI

(yi x )2 . i

On en dduit bien que et 2 sont les solutions du systme dquations : j = 1, . . . , k

p 1 =1 iI (yi p 1 =1

x )2 = n 2 i iI (yi xi ) xij = 0.
1 l

(A.3) si i Il , et en

3. En notant A la matrice (n n) diagonale dont llment (i, i) vaut remarquant que A est symtrique, il vient : A (Y X) cest--dire :
2

= (Y X) A A(Y X) = (Y X) A2 (Y X),
p

A (Y X)

= [y1 x , . . . , yn x ]A2 [y1 x , . . . , yn x ] = 1 n 1 n

=1

iI

y i x i

On en dduit :
p =1

iI

y i x i

= n 2

A (Y X)

= n 2 .

De la mme faon, on peut remarquer que : p 1 2 X A (Y X) = yi x xi1 , . . . , i

=1 iI

p =1

iI

Au nal, le systme (A.3) quivaut bien :

yi x xik . i (A.4)

A (Y X) 2 = n 2 X A2 (Y X) = 0. 4. La seconde quation du systme (A.4) scrit encore : X A2 X = X A2 Y. Puisque X A2 X est suppose inversible, lestimateur vaut : = X A2 X
1

X A2 Y.

Lestimateur 2 sen dduit immdiatement via la premire quation du systme (A.4) : 2 = Rgression 1 A Y X n
2

. Arnaud Guyader - Rennes 2

92 5. Daprs la question prcdente, on a : n 2 = A Y X

2

Chapitre A. Annales

= V

en notant V = A Y X = AY AX . Il sut alors dcrire : (AX) = AX X A2 X

1

X A2 Y = (AX)((AX) (AX))1 (AX) (AY ),

pour comprendre que le vecteur (AX) nest rien dautre que la projection orthogonale du n engendr par les colonnes de la matrice AX. Notons vecteur AY sur le sous-espace M de au passage que ce sous-espace est de dimension k puisque, par hypothse, la matrice X A2 X est inversible. Le vecteur AY tant de loi N (AX, 2 In ), nous sommes exactement dans le cadre dapplication du thorme de Cochran. En notant respectivement P et P les matrices de projection sur M et M , celui-ci assure que : V = P AY N (P AX, 2 P ) = N (0, 2 P ). Ainsi V suit bien une loi gaussienne centre. 6. Puisque V
2

est un scalaire, il est gal sa trace, ce qui donne : V

2

Tr

Tr V V

et puisque pour toute matrice A, Tr(A A) = Tr(AA ), il en dcoule : V

2

Tr V V

Il reste noter dune part que les oprateurs de trace et desprance commutent, et dautre part que V est centr pour obtenir : V
2

= Tr

VV

= Tr (Var(V )) .

7. On dduit des deux questions prcdentes que : 2 = 1 n V

2

1 Tr (Var(V )) , n

or V N (0, 2 P ), o P est la matrice de projection orthogonale sur un sous-espace de dimension (n k), donc Tr(P ) = n k, et : 2 = nk 2 , n

8. Avec les notations du texte, on a Y = X + , o N (0, 2 I ). Il vient donc :

= X X 1 X [Y ] = X X 1 X X = .

ce qui revient dire que n 2 /(n k) est un estimateur sans biais de 2 .

Ainsi, pour tout {1, . . . , p}, est un estimateur sans biais de . Arnaud Guyader - Rennes 2 Rgression

93 9. Puisque AX est la projection orthogonale du vecteur AY N (AX, 2 In ) sur le sousespace M, nous savons que : Var() = 2 ((AX) (AX))1 = 2 X A2 X
1

De la mme faon, puisque X est la projection orthogonale du vecteur Y N (X , 2 In ) sur le sous-espace M engendr par les colonnes de X , la matrice de covariance de lestima teur vaut : 1 X X 1 . = 2 Var( ) = 2 X X La matrice X / correspondant aux n lignes dindices I de la matrice AX, notons Z la matrice (n n ) k des autres lignes de AX. On a donc : X X (AX) (AX) = + Z Z . En particulier, pour tout vecteur u de

k , on a :
2

u Z Z u = Z u

0,

donc :

X X u u u (AX) (AX)u, ce qui scrit en terme de relation dordre pour les matrices symtriques : X X (AX) (AX),

les matrices des deux membres tant toutes deux symtriques dnies positives. Il reste maintenant remarquer que, de faon gnrale, si B et C sont deux matrices symtriques dnies positives, avec B C, alors C 1 B 1 . En eet, dire que B C revient dire que les valeurs propres de (C B) sont toutes suprieures ou gales 0, donc il en va de mme pour la matrice B 1/2 (C B)B 1/2 = B 1/2 CB 1/2 I. Ceci signie que les valeurs propres de la matrice B 1/2 CB 1/2 sont toutes suprieures ou gales 1, ce qui implique que celles de sa matrice inverse sont toutes infrieures ou gales 1, ce qui scrit encore B 1/2 C 1 B 1/2 I. Or cette dernire relation a pour consquence C 1 B 1 . Appliqu dans notre contexte, ce rsultat donne : ((AX) (AX))
1

X X

do lon dduit lingalit entre matrices de covariance : Var() Var( ). En dautres est un estimateur plus prcis que , ce qui na rien dtonnant vu que sa construc termes, tion utilise (n n ) observations de plus que celle de . Happy end !

Rgression

Arnaud Guyader - Rennes 2

94 Universit de Rennes 2 Master de Statistiques Dure : 2 heures

Chapitre A. Annales

Mercredi 14 Dcembre 2010 Calculatrice autorise Aucun document

Contrle de Rgression Linaire

I. La hauteur des eucalyptus On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol et de la racine carre de celle-ci. On a relev n = 1429 couples (xi , yi ), le nuage de points tant reprsent gure A.3. On considre donc le modle de rgression suivant :
28

26

24

22

20

18

16

14

12

hauteur

Circonfrence
10 20 30 40 50 60 70 80

Figure A.3 Nuage de points pour les eucalyptus. yi = 1 + 2 xi + 3 xi + i ,

1 i n.

Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : x1 y1 1 x1 . . . et Y = . , . X= . . . . . . . 1 xn xn yn on a observ : ? ? 9792 X X = ? 3306000 ? , ? 471200 67660 30310 X Y = 1462000 , 209700 Y Y = 651900.

Arnaud Guyader - Rennes 2

Rgression

95 1. Dterminer les ? dans la matrice X X. 2. Que vaut la circonfrence moyenne empirique x ? 3. Le calcul donne approximativement 4.646 0.101 1.379 1 0.002 0.030 X X = 0.101 1.379 0.030 0.411 16.8 (X X)1 X Y = 0.30 . 7.62

et

Que valent les estimateurs 1 , 2 , 3 par la mthode des moindres carrs ? Grce au calcul de quelques points, reprsenter la courbe obtenue sur la gure A.3.

4. Calculer lestimateur de 2 pour les moindres carrs. 5. Calculer pour 3 un intervalle de conance 95%. 6. Tester lhypothse 2 = 0 au niveau de risque 10%. 7. Que vaut la hauteur moyenne empirique y ? En dduire le coecient de dtermination ajust 2. Ra 8. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 49. 9. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 25. 10. Des deux intervalles prcdents, lequel est le plus grand ? Pouvait-on sy attendre ? II. Consommation de gaz Mr Derek Whiteside de la UK Building Research Station a collect la consommation hebdomadaire de gaz et la temprature moyenne externe de sa maison au sud-est de lAngleterre pendant une saison. Une rgression pour expliquer la consommation de gaz en fonction de la temprature est ralise avec le logiciel R. Les rsultats numriques sont les suivants. Residuals: Min 1Q -0.97802 -0.11082

Median 0.02672

3Q 0.25294

Max 0.63803

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 4.72385 0.12974 ? < 2e-16 *** Temp -0.27793 ? -11.04 1.05e-11 *** --Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 0.3548 on 28 degrees of freedom Multiple R-Squared: 0.8131, Adjusted R-squared: 0.8064 F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11 1. Donner le modle et les hypothses de la rgression. 2. Complter le tableau. 3. Soit Z une variable alatoire de loi de Student de degr de libert 28. Quelle est la probabilit que |Z| soit suprieure 11.04 ?

4. Prciser les lments du test correspondant la ligne Temp du tableau (H0 , H1 , la statistique de test, sa loi sous H0 , la rgle de dcision). 5. Interprter le nombre Multiple R-Squared: 0.8131 du tableau. Rgression Arnaud Guyader - Rennes 2

96

Chapitre A. Annales 6. Donner une estimation de la variance du terme derreur dans le modle de rgression simple. 7. Expliquer et interprter la dernire ligne du tableau : F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11. Voyez-vous une autre faon dobtenir cette p-value ? 8. Pensez-vous que la temprature extrieure a un eet sur la consommation de gaz ? Justiez votre rponse. III. Rgression simple On dispose de n points (xi , yi )1in et on sait quil existe une relation de la forme : yi = axi +b+i , o les erreurs i sont des variables centres, dcorrles et de mme variance 2 . 1. Rappeler les formules des estimateurs des moindres carrs a et ainsi que leurs variances b, respectives. 2. Dans cette question, on suppose connatre b, mais pas a. (a) En revenant la dnition des moindres carrs, calculer lestimateur a des moindres carrs de a. (b) Calculer la variance de a. Montrer quelle est infrieure celle de a. 3. Dans cette question, on suppose connatre a, mais pas b. (a) En revenant la dnition des moindres carrs, calculer lestimateur des moindres b carrs de b. (b) Calculer la variance de Montrer quelle est infrieure celle de b. b. IV. Forces de frottement et vitesse Au 17me sicle, Huygens sest intress aux forces de rsistance dun objet en mouvement dans un uide (eau, air, etc.). Il a dabord mis lhypothse selon laquelle les forces de frottement taient proportionnelles la vitesse de lobjet, puis, aprs exprimentation, selon laquelle elles taient proportionnelles au carr de la vitesse. On ralise une exprience dans laquelle on fait varier la vitesse x dun objet et on mesure les forces de frottement y. Ensuite, on teste la relation existant entre ces forces de frottement et la vitesse. 1. Quel(s) modle(s) testeriez-vous ? 2. Comment feriez-vous pour dterminer le modle adapt ?

Arnaud Guyader - Rennes 2

Rgression

97 Universit de Rennes 2 Master de Statistiques Dure : 2 heures

Mercredi 14 Dcembre 2010 Calculatrice autorise Aucun document

Corrig du Contrle

I. La hauteur des eucalyptus On souhaite expliquer la hauteur y (en mtres) dun arbre en fonction de sa circonfrence x (en centimtres) 1m30 du sol et de la racine carre x de cette circonfrence. On a relev 1429 couples (xi , yi ). On considre donc le modle de rgression suivant :

Figure A.4 Nuage de points et courbe de rgression pour les eucalyptus.

yi = 1 + 2 xi + 3 xi + i ,

1 i n.

Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme variance 2 . En posant : y1 1 x1 x1 . . . et Y = . , . X= . . . . . . . xn yn 1 xn Rgression Arnaud Guyader - Rennes 2

98 on a observ :

Chapitre A. Annales

1. La matrice X X se complte comme suit : 1429 67660 9792 X X = 67660 3306000 471200 9792 471200 67660 2. La circonfrence moyenne empirique vaut donc : x= 67660 47.3 cm. 1429

? ? 9792 X X = ? 3306000 ? , ? 471200 67660

30310 X Y = 1462000 , 209700

Y Y = 651900.

3. La mthode des moindres carrs ordinaires donne pour = [1 , 2 , 3 ] lestimateur suivant : 16.8 = (X X)1 X Y = 0.30 . 7.62 La courbe obtenue est reprsente gure A.4. 4. Un estimateur non biais 2 de 2 scrit : Y X 2 Y 2 = = n3 Puisque X
2

X 1426

= X X = X Y , ceci scrit encore : 2 = Y Y X Y 1, 26. 1426

5. Puisquon sait que :

3 3 3 3 Tn3 = T1426 , = 3 (X X)1 3,3

on en dduit quun intervalle de conance 95% pour 3 est : I(3 ) = 3 t1426 (0.975) (X X)1 ; 3 + t1426 (0.975) 33 (X X)1 , 3,3

cest--dire en considrant que t1426 (0.975) = 1.96 comme pour une loi normale centre rduite : I(3 ) 7.62 1.96 0.72; 7.62 + 1.96 0.72 [6.21; 9.03]. 6. On veut tester lhypothse H0 : 2 = 0 contre H1 : 2 = 0 au niveau de risque 10%. Sous H0 , on sait que 2 2 Tn3 = T1426 N (0, 1). = 2 (X X)1 22 Il nous sut donc de comparer la valeur absolue de la statistique de test obtenue ici au quantile dordre 0.95 dune loi normale centre rduite, cest--dire 1.645. Or |T ()| = | 0.30| 5.98 > 1.645. 1.26 0.002 Rgression

Par consquent on rejette lhypothse selon laquelle 2 = 0. Arnaud Guyader - Rennes 2

99 7. La moyenne empirique des yi se dduit de la premire composante du vecteur X Y : y = 30310/1429 21.2 m.

2 Par dnition, le coecient de dtermination ajust Ra vaut : 2 Ra = 1

n1 Y Y n p Y y

2 2

= 1 (n 1)

2 Y y

donc :
2 Ra = 1 1428

1.26 0.81. 14292 y

8. En notant x n+1 = [1, 49, 7], la valeur prdite pour yn+1 est : yn+1 = x 21.8, n+1 et un intervalle de prvision 95% pour yn+1 est : IC(yn+1 ) = yn+1 t1426 (0.975) 1 + x (X X)1 xn+1 ; yn+1 + . . . , n+1

9. De mme, en posant x n+1 = [1, 25, 5], la valeur prdite pour yn+1 est : yn+1 = x 13.8, n+1 10. On constate que cest le second intervalle de prvision qui est le plus grand : ceci est d au fait que le second point est plus loign du centre de gravit du nuage. On prvoit donc moins bien sa valeur. II. Consommation de gaz Mr Derek Whiteside, de la UK Building Research Station, a collect la consommation hebdomadaire de gaz et la temprature moyenne externe de sa maison au sud-est de lAngleterre pendant une saisons. Une rgression pour expliquer la consommation de gaz en fonction de la temprature est ralise avec le logiciel R. Les rsultats numriques sont les suivants. Residuals: Min 1Q -0.97802 -0.11082 et un intervalle de prvision 95% pour yn+1 est IC(yn+1 ) [11.7; 15.9].

ce qui donne numriquement IC(yn+1 ) [20.1; 23.5].

Median 0.02672

3Q 0.25294

Max 0.63803

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 4.72385 0.12974 36.41 < 2e-16 *** Temp -0.27793 0.0252 -11.04 1.05e-11 *** --Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1 Residual standard error: 0.3548 on 28 degrees of freedom Multiple R-Squared: 0.8131, Adjusted R-squared: 0.8064 F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11 Rgression Arnaud Guyader - Rennes 2

100 1. Le modle considr ici est : pour tout i {1, . . . , 30} Ci = 1 + 2 Ti + i ,

Chapitre A. Annales

avec les erreurs i gaussiennes centres, indpendantes et de mme variance 2 . 2. cf. ci-dessus. 3. Soit Z une variable alatoire de loi de Student de degr de libert 28. Daprs le tableau, la probabilit que |Z| soit suprieure 11.04 est de lordre de 1.05 1011 .
2

4. Pour la ligne Temp du tableau, lhypothse H0 correspond 2 = 0 contre H1 : 2 = 0. Sous H0 , 2 / suit une loi de Student 28 degrs de libert. On dcide de rejeter H0 si la statis tique de test |T ()| = |2 /2 | correspond une p-value trs faible (typiquement infrieure 5%). En loccurence, la rgle de dcision ci-dessus est calcule partir des valeurs obtenues 2 = 0.27793, 2 = 0.0252, |T ()| = |2 /2 | = 11.04 et la p-value correspondante pour une loi de Student 28 degrs de libert est : (|T | > 11.04) = 1.05 1011 .

5. Le nombre Multiple R-Squared: 0.8131 correspond au coecient de dtermination R2 du modle. Il signie quenviron 81% de la variation des donnes de consommation est explique par ce modle de rgression linaire simple. 6. Un estimateur de la variance 2 du terme derreur est donn par le carr du terme Residual standard error du tableau, savoir 2 = 0.35482 0.126.

7. La dernire ligne du tableau correspond au test de Fisher de validit globale du modle. Avec les notations du cours, on sait que sous lhypothse H0 : 2 = 0, nous avons F = Y Y0 n p SCR0 SCR = 2 q SCR
2 1 F28 ,

loi de Fisher 1 et 28 degrs de libert. La statistique de test donne ici F () = 121.8, ce qui correspond une p-value de 1.046 1011 . Nous rejetons donc lhypothse selon laquelle 2 serait nul. Remarquons que ce test correspond au test de Student eectu dans la ligne Temp du tableau. 8. Au vu des rsultats du test de Student (ou de lquivalent Test de Fisher de la dernire ligne), il est clair que la temprature a un impact sur la consommation de gaz. Ceci est tout fait naturel, puisque plus il fait froid, plus on chaue. III. Rgression simple On dispose de n points (xi , yi )1in et on sait quil existe une relation de la forme : yi = axi +b+i , o les erreurs i sont des variables centres, dcorrles et de mme variance 2 . 1. Les formules des estimateurs des moindres carrs a et sont b a= et (xi x)(yi y ) = 2 (xi x) = y ax . b 2 (xi x)2 2 x2 i . n (xi x)2 (xi x)yi . (xi x)2

Leurs variances respectives sont donnes par Var() = a & Var( = b)

2. Dans cette question, on suppose connatre b, mais pas a. Arnaud Guyader - Rennes 2 Rgression

101 (a) Lestimateur a des moindres carrs correspond largmin de la quantit : S(a) = (yi (axi + b))2 , xi (yi b) . x2 i

ce qui sobtient en annulant la drive de S : S () = 2 a xi (yi (xi + b)) = 0 a = a

(b) Pour calculer la variance de a, on commence par lexprimer diremment. Grce la relation yi = axi + b + i , on dduit : a=a+ xi i . x2 i 2 . x2 i

Puisque les erreurs i sont dcorrles et de mme variance 2 , il vient : Var() = a

Puisque (xi x)2 = x2 n2 x2 , il est alors clair que Var() Var(). x a a i i 3. Dans cette question, on suppose connatre a, mais pas b. (a) Lestimateur des moindres carrs correspond cette fois largmin de la quantit : b S(b) = S ( = 2 b) (yi (axi + b))2 ,

ce qui sobtient en annulant la drive de S : (yi (xi + b)) = 0 = y a. a b x

(b) Pour calculer la variance de on commence nouveau par lexprimer diremment via b, la relation yi = axi + b + i : =b+ 1 i . b n Puisque les erreurs i sont dcorrles et de mme variance 2 , il vient : 2 Var( = b) . n Puisque (xi x)2 = x2 n2 x i x2 , il est alors clair que Var( Var( b) b). i

IV. Forces de frottement et vitesse 1. Le premier modle, supposant que les forces de frottement sont proportionnelles la vitesse de lobjet, scrit : pour tout i {1, . . . , n} fi = vi + i , o n est le nombre dobservations et les i reprsentent les erreurs du modle, typiquement supposes centres, dcorrles et de mme variance 2 . Le second modle, supposant que les forces de frottement sont proportionnelles au carr de la vitesse de lobjet, scrit : pour tout i {1, . . . , n}
2 fi = vi + i ,

o n est le nombre dobservations et les i reprsentent les erreurs du modle, typiquement supposes centres, dcorrles et de mme variance s2 . 2. Pour dterminer le modle adapt, une mthode lmentaire consiste comparer les pourcentages de variation des donnes (fi )1in expliqus par chacun des modles. Ceci se fait 2 2 en calculant les coecients de dtermination respectifs R1 et R2 pour chaque modle. On optera pour celui qui a le R2 le plus grand. Rgression Arnaud Guyader - Rennes 2

102 Universit Rennes 2 Master de Statistiques Dure : 2 heures

Chapitre A. Annales

Mardi 6 Dcembre 2011 Calculatrice autorise Aucun document

Contrle de Rgression Linaire

I. Prix dun appartement en fonction de sa supercie En juin 2005, on a relev dans les petites annonces les supercies (en m2 ) et les prix (en euros) de 108 appartements de type T3 louer sur lagglomration de Rennes (cf. gure A.5).

prix

400 50

600

800

1000

60

70

80

90

100

110

120

superficie

Figure A.5 Prix de location des appartements en fonction de leur supercie. 1. Daprs le listing du tableau A.1, donner une estimation du coecient de corrlation entre le prix et la supercie dun appartement T3. 2. Proposer un modle permettant dtudier la relation entre le prix des appartements et leur supercie. Prciser les hypothses de ce modle. 3. Daprs le tableau A.1, est-ce que la supercie joue un rle sur le prix des appartements de type 3 ? Considrez-vous ce rle comme important ? 4. Quelle est lestimation du coecient (coecient de la supercie dans le modle) ? Comment interprtez-vous ce coecient ? Arnaud Guyader - Rennes 2 Rgression

103
Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 134.3450 45.4737 2.954 0.00386 Superficie 6.6570 0.6525 10.203 < 2e-16 Residual standard error: 77.93 on 106 degrees of freedom Multiple R-Squared: 0.4955, Adjusted R-squared: 0.4907 F-statistic: 104.1 on 1 and 106 DF, p-value: < 2.2e-16

Table A.1 Prix en fonction de la supercie : rsultats de la rgression linaire simple (sortie R). 5. La supercie moyenne des 108 appartements est de 68.74 m2 et le prix moyen des appartements est de 591.95 euros. Quel est le prix moyen dun mtre carr ? Pourquoi ce prix moyen est dirent de lestimation de ? 6. Dans lchantillon dont on dispose, comment savoir quels sont les appartements bon march du seul point de vue de la surface ? II. Tests Nous nous intressons au modle Y = X + sous les hypothses classiques. Nous avons obtenu sur 21 donnes : y = 6.683(2.67) + 0.44(2.32) x1 + 0.425(2.47) x2 + 0.171(2.09) x3 + 0.009(2.24) x4 , R2 = 0.54 o, pour chaque coecient, le nombre entre parenthses reprsente la valeur absolue de la statistique de test. 1. Quelles sont les hypothses utilises ? 2. Tester la nullit de 1 au seuil de 5%. 3. Pouvez-vous tester H0 : 3 = 1 contre H1 : 3 = 1 ? 4. Tester la nullit simultane des paramtres associs aux variables x1 , . . . , x4 au seuil de 5%. III. Moindres carrs ordinaires 1. Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p de rang p, p et N (0, 2 In ). (a) Quappelle-t-on estimateur des moindres carrs de ? Rappeler sa formule. (b) Quelle est linterprtation gomtrique de Y = X (faites un dessin) ? (c) Rappeler esprances et matrices de covariance de , Y et . 2. Nous considrons dornavant un modle avec 4 variables explicatives (la premire variable tant la constante). Nous avons observ : 100 20 0 0 60 20 20 0 0 , X Y = 20 , Y Y = 159. X X = 0 0 10 0 10 1 0 0 0 1 (a) Estimer et 2 . Rgression Arnaud Guyader - Rennes 2

104 (b) Donner un estimateur de la variance de . (c) Donner un intervalle de conance pour 2 , au niveau 95%.

Chapitre A. Annales

(d) Calculer un intervalle de prvision de yn+1 au niveau 95% connaissant : xn+1,2 = 3, xn+1,3 = 0.5 et xn+1,4 = 2. IV. Moindres carrs pondrs On suppose le modle suivant Y = X + , o X est la matrice (n p) du plan dexprience, = [1 , . . . , p ] un vecteur de p , Y le vecteur (n 1) des observations yi , le vecteur (n 1) des erreurs i supposes centres et de matrice de covariance Var() = 2 2 , o est une matrice (n n) diagonale dont llment (i, i) vaut i > 0. Dans ce modle, les valeurs i sont supposes connues, mais les paramtres et 2 sont inconnus. 1. On considre le modle transform Y = X + , o : Y = [y1 , . . . , yn ] , avec yi = yi /i ; est la matrice (n p) de terme gnrique x = x / ; X ij i ij = [ , . . . , ] , avec = i /i ; n 1 i (a) Donner les relations entre X (respectivement Y , ), X (respectivement Y , ) et . (b) Dterminer la moyenne et la matrice de covariance du vecteur alatoire . (c) En supposant X 2 X inversible, dterminer lestimateur des moindres carrs de . Prciser son biais et sa matrice de covariance. (d) Proposer un estimateur sans biais de 2 . 2 2. En revenant au modle initial Y = X + , on suppose maintenant les erreurs i gaussiennes, plus prcisment N (0, 2 2 ). (b) En dduire que les estimateurs au maximum de vraisemblance mv et mv sont solutions 2 de : 2 1 (Y X) = n 2 X 2 (Y X) = 0. 2 (c) En dduire les relations entre mv et dune part, entre mv et dautre part. 2 (d) Prciser alors la loi de . Que dire de celle de ? 2 (a) Donner la vraisemblance L(Y, , 2 ) du modle.

3. Supposons maintenant le modle classique de rgression linaire Y = X + , avec les erreurs centres et de matrice de covariance Var() = 2 In . Nanmoins, on nobserve pas comme dhabitude les x et yi , mais des moyennes par classe. Spciquement, les n donnes sont i rparties en L classes C1 , . . . , CL deectifs respectifs connus n1 , . . . , nL et on a seulement accs aux moyennes par classe, savoir pour tout {1, . . . , L} : y = (a) En notant = + . X
1 n

1 n

yi
iC

&

xj =

1 n

xij
iC

iC i ,

vrier que le modle peut se mettre sous la forme Y =

(b) Donner la moyenne et la matrice de covariance de . (c) Dduire des questions prcdentes des estimateurs de et 2 . Arnaud Guyader - Rennes 2 Rgression

105 Universit Rennes 2 Master de Statistiques Dure : 2 heures

Mardi 6 Dcembre 2011 Calculatrice autorise Aucun document

Corrig du Contrle

I. Prix dun appartement en fonction de sa supercie 1. Le coecient de corrlation entre le prix et la supercie dun appartement T3 correspond la racine carr du coecient de dtermination multiple (Multiple R-squared dans le listing) r = 0.496 = 0.704. 2. Le modle scrit : avec yi le prix de lappartement i en euros, xi sa supercie en m2 et i lerreur. Les hypothses usuelles sont de supposer les erreurs gaussiennes, centres, indpendantes et de mme variance : N (0, 2 I108 ). i yi = + xi + i

3. Pour tester si la supercie joue un rle sur le prix des appartements, on teste lhypothse H0 : = 0 contre H1 : = 0. La statistique de ce test est T = / et, sous lhypothse H0 , cette statistique de test suit une loi de Student n 2 = 106 degrs de libert. La probabilit critique associe ce test est infrieure 2 1016 . Cette probabilit critique tant infrieure 5 %, on rejette lhypothse H0 : on considre que la supercie dun appartement de type T3 inue sur son prix. La surface a donc une inuence signicative sur le prix. Mais cette inuence est-elle importante ? Le coecient de dtermination R2 , qui sinterprte comme le pourcentage de variabilit explique par le modle, vaut 0.495 : linuence est donc importante mais dautres facteurs, diciles quantier, agissent (emplacement, qualit des prestations, avidit du propritaire, etc.). 4. Lestimation de la pente de la droite de rgression est : = 6.657. Ce coecient est signicativement dirent de 0 (voir question prcdente) et sinterprte de la faon suivante : un appartement cotera en moyenne 6.657 euros supplmentaires pour une augmentation de la supercie de 1 m2 . 5. Le prix moyen dun mtre carr se calcule comme le rapport entre 591.95 et 68.74 soit 8.61 euros le mtre carr. Ce prix est dirent de lestimation de car le prix des appartements nest pas strictement proportionnel leur surface. Comme est infrieur au prix moyen dun mtre carr, proportionnellement la surface, les petits appartements sont plus chers que les grands. Le modle de rgression stipule quil faut dabord une mise de fond pour louer un T3, et quensuite le prix d1 m2 est euros (en moyenne). Remarquons que ce coecient est signicatif, il nest donc pas souhaitable de le retirer du modle. 6. Pour dterminer les appartements bon march, on peut se fonder sur lestimation des rsidus du modle : plus le rsidu est faible (ngatif et avec une forte valeur absolue), plus lappartement a un prix faible par rapport celui attendu pour sa supercie.

Rgression

Arnaud Guyader - Rennes 2

106 II. Tests 1. Les hypothses utilises sont : Y = X + , avec N (0, 2 I21 ). 2. Nous savons que T = 1 1 T16 1 1 T16 1

Chapitre A. Annales

loi de Student 16 degrs de libert. Sous lhypothse 1 = 0, nous avons donc T =

Or, daprs lnonc, la valeur absolue de la statistique de test vaut ici |T ()| = 2.32 > 2.12 = t16 (0.975) Donc, au seuil de 5%, on rejette lhypothse selon laquelle 1 serait nul. 3. Par le mme raisonnement T = 3 3 T16 3

Or, sous lhypothse 3 = 0, la valeur absolue de la statistique de test vaut daprs lnonc |T ()| = 3 = 2.09 3

Puisque 3 = 0.171, on en dduit donc que 3 0.082. Ainsi, sous lhypothse 3 = 1, nous avons 3 1 T16 T = 3 Or la statistique de test donne ici |T ()| = 0.171 1 10.1 2.12 = t16 (0.975) 0.082

donc on rejette lhypothse H0 selon laquelle 3 serait gal 1. 4. Nous eectuons un test de Fisher global : H0 : 1 = = 4 = 0, contre H1 : j {1, . . . , 4}, j = 0. Avec les notations du cours, nous savons que sous lhypothse H0 , nous avons 21 5 SCR0 SCR 4 F = F16 4 SCR loi de Fisher (4, 16) degrs de libert. Cette statistique de test sexprime aussi en fonction du coecient de dtermination comme suit : F = La statistique de test donne donc ici
4 F () 4.7 > 3.01 = f16 (0.975)

R2 21 5 4 F16 4 1 R2

ce qui nous amne rejeter lhypothse H0 au seuil de 5%. III. Moindres carrs ordinaires Arnaud Guyader - Rennes 2 Rgression

107 1. Nous considrons le modle de rgression linaire Y = X + , o Y n , X est une matrice de taille n p de rang p, p et N (0, 2 In ). (a) Lestimateur des moindres carrs de est dni par = arg min Y X p
2

o . est la norme euclidienne usuelle sur p . Un calcul classique permet de montrer que = (X X)1 X Y . (b) Dans ce cadre, Y = X est tout simplement la projection orthogonale de Y sur le sous-espace de n engendr par les p colonnes de X. (c) Pour ce qui concerne , il est facile de montrer que [] = et Var() = 2 (X X)1 . 2 P , o P = X(X X)1 X De la mme faon, nous avons [Y ] = X et Var(Y ) = X X est la matrice de projection orthogonale sur le sous-espace de n engendr par les p colonnes de X. Enn, [] = 0 et Var() = 2 PX , o PX = In PX est la matrice de projection orthogonale sur lorthogonal du sous-espace de n engendr par les p colonnes de X. 2. Nous considrons dornavant un modle avec 4 variables explicatives (la premire variable tant la constante). (a) Nous avons 1 1 0 0 1 1 5 0 0 = 0 8 0 80 0 0 0 0 80

(X X)1

Ce qui donne :

Par Pythagore nous obtenons

1 2 = (X X)1 X Y = 1 1
2

= Y
2

or Y do
2 2

= X

= = Y X = 111

= 48 et 2 = 48 1 2 = = np 96 2 1 1 0 0 1 1 5 0 0 = 0 8 0 160 0 0 0 0 80 Arnaud Guyader - Rennes 2

(b) Un estimateur de la variance de est

Var() = 2 (X X)1

Rgression

108 (c) Nous savons que 2 2 T96 , 2

Chapitre A. Annales

loi de Student 96 degrs de liberts, laquelle peut tre assimile la loi normale centre rduite. Puisque 1 2 = Var()2,2 = 4 2 un intervalle de conance 95% pour 2 est I = [2 1.962 ; 2 + 1.962 ] [1.65; 2.35] (d) Un intervalle de prvision de niveau 95% pour yn+1 est donn par I = yn+1 t96 (0.975) 1 + x (X X)1 xn+1 ; yn+1 + t96 (0.975) n+1 1 + x (X X)1 xn+1 n+1

avec tnp (0.975) 1.96, x n+1 = [1, 3, 0.5, 2],

1 + x (X X)1 xn+1 2.35 et n+1

yn+1 = x = 7.5 n+1 Finalement I [4.24; 10.76]. IV. Moindres carrs pondrs 1. On considre le modle transform Y = X + , o : Y = [y1 , . . . , yn ] , avec yi = yi /i ; est la matrice (n p) de terme gnrique x = x / ; X ij i ij = [ , . . . , ] , avec = i /i ; n 1 i (a) Il est clair que X = 1 X, Y = 1 Y et = 1 . (b) Puisque [] = 0 et Var() = 2 2 , on a [ ] = [1 ] = 1 [] = 0 et Var( ) = Var(1 ) = 1 Var()(1 ) = 1 ( 2 2 )1 = 2 In (c) Daprs la question prcdente, le modle transform obit aux hypothses usuelles du modle linaire (centrage, homoscdasticit et dcorrlation des erreurs). Lestimateur des moindres carrs de est donc = ((X ) (X ))1 (X ) Y = X 2 X
1

X 2 Y

Par les proprits classiques de lestimateur des moindres carrs, on sait quil est non biais et que sa matrice de covariance est Var( ) = 2 ((X ) (X ))1 = 2 X 2 X
1

(d) Toujours par la thorie de lestimation aux moindres carrs, on sait quun estimateur non biais de 2 est = 2 Y X np
2

1 (Y X ) np

2. En revenant au modle initial Y = X + , on suppose maintenant les erreurs i gaussiennes, plus prcisment N (0, 2 2 ). Arnaud Guyader - Rennes 2 Rgression

109 (a) Comme dhabitude, nous notons x = [xi1 , . . . , xip ] la ligne i de la matrice X du plan i dexprience. De par lindpendance des yi , la vraisemblance du modle scrit
n n

L(Y, , ) =

fi (yi ) =
i=1 i=1

1
2 2 2 i

(yi x )2 i 2 2 2 i

1 1 n e (2) det ( 2 ) 2
n 2

1 (Y X) 2 2 2

(b) La log-vraisemblance est donc log L(Y, , 2 ) = C

n

n 1 (Y X) log( 2 ) 2 2 2

o C = log((2) 2 det) est une constante indpendante des paramtres et 2 . Pour toute valeur de 2 , le maximum en est atteint en minimisant 1 (Y X) = Y X , or ceci a t fait prcdemment, do il vient mv = = X 2 X
1

X 2 Y

ce qui scrit de faon quivalente, en prmultipliant les deux membres par X 2 X et en passant tout droite X 2 (Y X mv ) = 0 Une fois mv dtermin, il sut de maximiser en 2 la fonction dune seule variable 1 (Y X mv ) n log L(Y, mv , 2 ) = C log( 2 ) 2 2 2 ce qui se fait en annulant sa drive log L(Y, mv , 2 ) 1 n 1 (Y X mv ) = 2 + 2 4 2 2 On obtient bien mv = 2 1 (Y X mv ) n
2 2 2

. dautre part.

(c) Nous avons donc mv = dune part, et mv = 2

(np) 2 n

(d) Par les proprits classiques de lestimateur du maximum de vraisemblance dans le cas du modle linaire gaussien, nous avons donc N (, 2 ((X ) (X ))1 ) N (, 2 X 2 X De mme, le thorme de Cochran permet de montrer que (n p) 2 2 np 2
1

).

3. Supposons maintenant le modle classique de rgression linaire Y = X + , avec les erreurs centres et de matrice de covariance Var() = 2 In . Nanmoins, on nobserve pas comme dhabitude les x et yi , mais des moyennes par classe. Spciquement, les n donnes sont i rparties en L classes C1 , . . . , CL deectifs respectifs connus n1 , . . . , nL et on a seulement accs aux moyennes par classe, savoir pour tout {1, . . . , L} : y = 1 n yi
iC

loi du chi-deux (n p) degrs de libert.

&

xj =

1 n

xij
iC

Rgression

Arnaud Guyader - Rennes 2

110

Chapitre A. Annales (a) Dans ce contexte, il sut de noter Y = [1 , . . . , yL ] , X la matrice L p de terme y pour obtenir lcriture matricielle gnrique xj et = [1 , . . . , L ] Y = X + (b) Le vecteur alatoire est de moyenne nulle et de matrice de covariance diagonale, ses 2 2 termes diagonaux tant gaux 1 , . . . , nL . n (c) Tous les calculs prcdents sappliquent en remplaant n par L et i par donc pour estimateur de = X 2 X et pour estimateur de 2 = 2
1 1 . ni

On obtient

X 2 Y
2

1 (Y X ) Lp

Arnaud Guyader - Rennes 2

Rgression

Annexe B

Rappels dalgbre
Nous ne considrons ici que des matrices relles. Nous notons A une matrice et A sa transpose.

B.1

Quelques dnitions

Une matrice A est inversible sil existe une matrice B telle que AB = BA = I. On note B = A1 . La matrice carre A est dite : symtrique si A = A, singulire si det(A) = 0, inversible si det(A) = 0, idempotente si AA = A, orthogonale si A A = AA = I. dnie positive si x Ax > 0 pour tout x = 0. semi dnie positive si x Ax 0 pour tout x = 0. Le polynme caractristique est det(I A). Les valeurs propres sont les solutions de det(I A) = 0. Un vecteur propre associ la valeur propre est une solution non nulle de Ax = x.

B.2
B.2.1

Quelques proprits
Les matrices n p

(A + B) = A + B et (AB) = B A . Le rang dune matrice Anp est la plus petite des dimensions des 2 sous-espaces engendrs par les lignes et par les colonnes de A. 0 rang(A) min(n, p). rang(A) = rang(A ). rang(AB) min(rang(A), rang(B)). rang(BAC) = rang(A) si B et C sont inversibles. rang(AA ) = rang(A A) = rang(A). Pour p n, si A est de rang p, alors A A est inversible.

B.2.2

Les matrices carres n n

Soit A et B des matrices carres de taille n n de terme courant aij pour i et j variant de 1 n. tr(A) = n aii . i=1 tr(A + B) = tr(A) + tr(B), tr(AB) = tr(BA) et tr(A) = tr(A).

112

Chapitre B. Rappels dalgbre

n 2 tr(AA ) = tr(A A) = n i=1 j=1 aij . det(AB) = det(A) det(B). Si det(A) = 0, la matrice est inversible, dinverse note A1 , avec AA1 = A1 A = I, (A1 ) = (A )1 , (AB)1 = B 1 A1 et det(A1 ) = 1/ det(A). La trace et le dterminant ne dpendent pas des bases choisies.

B.2.3

Les matrices symtriques

Soit A une matrice carre symtrique de taille n n : les valeurs propres de A sont relles. les vecteurs propres de A associs des valeurs propres direntes sont orthogonaux. si une valeur propre est de multiplicit k, il existe k vecteurs propres orthogonaux qui lui sont associs. la concatnation de lensemble des vecteurs propres orthonorms forme une matrice orthogonale P . Comme P = P 1 , la diagonalistation de A scrit simplement P AP = diag(1 , , n ). tr(A) = n i et det(A) = n i . i=1 i=1 rang(A) = nombre de valeurs propres non nulles. les valeurs propres de A2 sont les carrs des valeurs propres de A et ces 2 matrices ont les mmes vecteurs propres. les valeurs propres de A1 (si cette matrice existe) sont les inverses des valeurs propres de A et ces 2 matrices ont les mmes vecteurs propres.

B.2.4

Les matrices semi-dnies positives

Soit A une matrice carre symtrique de taille n n : La matrice A est semi-dnie positive (SDP) si x n , x Ax 0. La matrice A est dnie positive (DP) si x n {0}, x Ax > 0. Les valeurs propres dune matrice SDP sont toutes positives ou nulles (et rciproquement). Si A est SDP et inversible, A est forcment dnie positive. Toute matrice A de la forme A = B B est SDP. En eet x n , x Ax = x B Bx = (Bx) Bx = Bx 2 0. Toute matrice de projecteur orthogonal est SDP. En eet, les valeurs propres dun projecteur valent 0 ou 1. Si B est SDP, alors A BA est SDP. Si A est DP, B SDP alors A1 (A + B)1 est SDP.

B.3

Proprits des inverses

Soit M une matrice symtrique inversible de taille p p et u et v deux vecteurs de taille p. Nous supposerons que u M 1 v = 1, alors nous avons linverse suivante : M + uv
1

= M 1

M 1 uv M 1 . 1 + u M 1 v

(B.1)

Soit M une matrice inversible telle que : M Arnaud Guyader - Rennes 2 = T V U W Rgression

B.4. Proprits des projections avec T inversible, alors Q = W V T 1 U est inversible et linverse de M est : M 1 = T 1 + T 1 U Q1 V T 1 T 1 U Q1 Q1 V T 1 Q1 .

113

B.4
B.4.1

Proprits des projections

Gnralits

Une matrice carre idempotente et symtrique P est une matrice de projection orthogonale sur un sous-espace de n , not M : P est un projecteur orthogonal si le produit scalaire P y, y P y = 0 pour tout y de n . les valeurs propres dune matrice idempotente ne peuvent tre gales qu 0 ou 1. le rang dune matrice idempotente est gal sa trace. tr(P ) est gal la dimension de M. la matrice (I P ) est la matrice de projection orthogonale sur M .

y Py Py

B.4.2

Exemple de projection orthogonale

Soit X = [X1 , , Xp ] la matrice (n, p), de rang p, des p variables explicatives du modle linaire. Soit (X) le sous-espace engendr par ces p vecteurs linairement indpendants et PX la matrice de projection orthogonale sur (X). Le vecteur (y PX y) doit tre orthogonal tout vecteur de (X), or tous les vecteurs de (X) sont de la forme Xu. En particulier il existe un vecteur b tel que PX y = Xb. Il faut donc que Xu, y PX y = 0 pour tout vecteur u. En dveloppant, nous obtenons X y = X PX y = X Xb. X X est inversible donc b = (X X)1 X y. Ainsi PX = X(X X)1 X est la matrice de projection orthogonale sur (X).

B.4.3

Trace et lments courants

Soit PX de terme courant hij la matrice de la projection orthogonale sur lespace engendr par les colonnes de X, nous avons alors : 1. tr(PX ) = hii = p,
i j

2. tr(PX ) = tr(PX PX ), cest--dire 3. 0 hii 1 pour tout i,

h2 = p, ij

5. si hii = 1 alors hij = 0 pour tout j dirent de i. 6. si hii = 0, alors hij = 0 pour tout j dirent de i. Rgression Arnaud Guyader - Rennes 2

4. 0.5 hij 0.5 pour tout j dirent de i,

114

Chapitre B. Rappels dalgbre La trace dun projecteur vaut la dimension de lespace sur lequel seectue la projection, donc tr(PX ) = p. Le second point dcoule de la proprit P 2 = P . Les matrices PX et PX PX tant gales, nous avons (PX )ii gal (PX PX )ii . Cela scrit :
n n n

hii =
k=1

hik hki =

h2 ii

+
k=1,k=i

h2 ik

hii (1 hii ) =

h2 . ik
k=1,k=i

La dernire quantit de droite de lgalit est positive, donc le troisime point est dmontr. En nous servant de cette criture les deux derniers points sont aussi dmontrs. Nous pouvons crire :
n

hii (1 hii ) =

h2 ij

+
k=1,k=i,j

h2 . ik

La quantit de gauche est maximale lorsque hii = 0.5 et vaut alors 0.25. Le quatrime point est dmontr.

B.5

Drivation matricielle

Soit f une fonction relle direntiable de p dans . Le gradient de f au point x est par dnition : f f (x), , (f ) = grad(f ) = x1 xp (x) .

Le hessien de f est la matrice carre de dimension p p, souvent note 2 f ou H(f ), de terme 2f gnral H(f )ij (x) = xi xj (x). Si f (u) = a u o a est un vecteur de taille p, alors (f ) = a et H(f ) = 0. Si f (u) = u Au, alors (f ) = (A + A )u et H(f ) = A + A .

Arnaud Guyader - Rennes 2

Rgression

Annexe C

Rappels de probabilit
C.1 Gnralits

Y vecteur alatoire de n est par dnition un vecteur de n dont les composantes Y1 , , Yn sont des variables alatoires relles. Lesprance du vecteur alatoire Y est [Y ] = [ [y1 ], , [yn ]] , vecteur de n . La matrice de variance-covariance de Y a pour terme gnral Cov(Yi , Yj ). Cest une matrice de taille n n, qui scrit encore : Var(Y ) = Y = (Y [Y ]) (Y [Y ]) = (Y Y ) [Y ]( [Y ]) .

Considrons une matrice (dterministe) A de taille m n et un vecteur (dterministe) b de Soit Y un vecteur alatoire de n , nous avons les galits suivantes : [AY + b] = A [Y ] + b Var(AY + b) = Var(AY ) = AVar(Y )A . Si Y est un vecteur alatoire de euclidienne :

m .

n de matrice de variance-covariance Y , alors pour la norme

[ Y (Y ) 2 ] = tr(Y ).

Nous avons les galits utiles suivantes : tr( [Y Y ]) = [tr(Y Y )] = [tr(Y Y )] = tr(Y ) + [Y ] [Y ].

C.2

Vecteurs alatoires gaussiens

Un vecteur alatoire Y est dit gaussien si toute combinaison linaire de ses composantes est une variable alatoire gaussienne. Ce vecteur admet alors une esprance et une matrice de variancecovariance Y . On dit que Y N (, Y ). Un vecteur gaussien Y de n desprance et de une matrice de variance-covariance Y inversible admet pour densit la fonction f (y) = 1 (2)n/2 1 1 exp (y ) 1 (y ) , Y 2 det(Y ) o y = [y1 , . . . , yn ] .

Les composantes dun vecteur gaussien Y = [y1 , , yn ] sont indpendantes si et seulement si Y est diagonale. Dautre part, soit Y N (, Y ), avec Y inversible, alors (Y ) 1 (Y ) 2 n Y

116

Chapitre C. Rappels de probabilit Enn, le Thorme de Cochran explicite les lois obtenues aprs projections orthogonales dun vecteur gaussien. Thorme C.1 (Cochran) Soit Y N (, 2 In ), M un sous-espace de n de dimension p et P la matrice de projection orthogonale de n sur M. Nous avons les proprits suivantes : (i) P Y N (P , 2 P ) ; (ii) les vecteurs P Y et Y P Y sont indpendants ; (iii) P (Y ) 2 / 2 2 . p

Arnaud Guyader - Rennes 2

Rgression

C.3. Tables des lois usuelles

117

C.3

Tables des lois usuelles

C.3.1

Loi Normale X N (0, 1)

Valeurs de Pr(X u) en fonction de u.

u 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 3.0 3.1 3.2 0 .5000 .5398 .5793 .6179 .6554 .6915 .7257 .7580 .7881 .8159 .8413 .8643 .8849 .9032 .9192 .9332 .9452 .9554 .9641 .9713 .9772 .9821 .9861 .9893 .9918 .9938 .9953 .9965 .9974 .9981 .9987 .9990 .9993 0.01 .5040 .5438 .5832 .6217 .6591 .6950 .7291 .7611 .7910 .8186 .8438 .8665 .8869 .9049 .9207 .9345 .9463 .9564 .9649 .9719 .9778 .9826 .9864 .9896 .9920 .9940 .9955 .9966 .9975 .9982 .9987 .9991 .9993 0.02 .5080 .5478 .5871 .6255 .6628 .6985 .7324 .7642 .7939 .8212 .8461 .8686 .8888 .9066 .9222 .9357 .9474 .9573 .9656 .9726 .9783 .9830 .9868 .9898 .9922 .9941 .9956 .9967 .9976 .9982 .9987 .9991 .9994 0.03 .5120 .5517 .5910 .6293 .6664 .7019 .7357 .7673 .7967 .8238 .8485 .8708 .8907 .9082 .9236 .9370 .9484 .9582 .9664 .9732 .9788 .9834 .9871 .9901 .9925 .9943 .9957 .9968 .9977 .9983 .9988 .9991 .9994 0.04 .5160 .5557 .5948 .6331 .6700 .7054 .7389 .7704 .7995 .8264 .8508 .8729 .8925 .9099 .9251 .9382 .9495 .9591 .9671 .9738 .9793 .9838 .9875 .9904 .9927 .9945 .9959 .9969 .9977 .9984 .9988 .9992 .9994 0.05 .5199 .5596 .5987 .6368 .6736 .7088 .7422 .7734 .8023 .8289 .8531 .8749 .8944 .9115 .9265 .9394 .9505 .9599 .9678 .9744 .9798 .9842 .9878 .9906 .9929 .9946 .9960 .9970 .9978 .9984 .9989 .9992 .9994 0.06 .5239 .5636 .6026 .6406 .6772 .7123 .7454 .7764 .8051 .8315 .8554 .8770 .8962 .9131 .9279 .9406 .9515 .9608 .9686 .9750 .9803 .9846 .9881 .9909 .9931 .9948 .9961 .9971 .9979 .9985 .9989 .9992 .9994 0.07 .5279 .5675 .6064 .6443 .6808 .7157 .7486 .7794 .8078 .8340 .8577 .8790 .8980 .9147 .9292 .9418 .9525 .9616 .9693 .9756 .9808 .9850 .9884 .9911 .9932 .9949 .9962 .9972 .9979 .9985 .9989 .9992 .9995 0.08 .5319 .5714 .6103 .6480 .6844 .7190 .7517 .7823 .8106 .8365 .8599 .8810 .8997 .9162 .9306 .9429 .9535 .9625 .9699 .9761 .9812 .9854 .9887 .9913 .9934 .9951 .9963 .9973 .9980 .9986 .9990 .9993 .9995 0.09 .5359 .5753 .6141 .6517 .6879 .7224 .7549 .7852 .8133 .8389 .8621 .8830 .9015 .9177 .9319 .9441 .9545 .9633 .9706 .9767 .9817 .9857 .9890 .9916 .9936 .9952 .9964 .9974 .9981 .9986 .9990 .9993 .9995

Rgression

Arnaud Guyader - Rennes 2

118

Chapitre C. Rappels de probabilit

C.3.2

Loi de Student X T

@ p 0.5 @ @
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 40 60 80 100 200

Table des fractiles t (p) pour une loi de T : p = Pr {X t (p)}

0.6 0.325 0.289 0.277 0.271 0.267 0.265 0.263 0.262 0.261 0.260 0.260 0.259 0.259 0.258 0.258 0.258 0.257 0.257 0.257 0.257 0.257 0.256 0.256 0.256 0.256 0.256 0.256 0.256 0.256 0.256 0.255 0.254 0.254 0.254 0.254 0.253 0.7 0.727 0.617 0.584 0.569 0.559 0.553 0.549 0.546 0.543 0.542 0.540 0.539 0.538 0.537 0.536 0.535 0.534 0.534 0.533 0.533 0.532 0.532 0.532 0.531 0.531 0.531 0.531 0.530 0.530 0.530 0.529 0.527 0.526 0.526 0.525 0.524 0.8 1.376 1.061 0.978 0.941 0.920 0.906 0.896 0.889 0.883 0.879 0.876 0.873 0.870 0.868 0.866 0.865 0.863 0.862 0.861 0.860 0.859 0.858 0.858 0.857 0.856 0.856 0.855 0.855 0.854 0.854 0.851 0.848 0.846 0.845 0.843 0.842 0.9 3.078 1.886 1.638 1.533 1.476 1.440 1.415 1.397 1.383 1.372 1.363 1.356 1.350 1.345 1.341 1.337 1.333 1.330 1.328 1.325 1.323 1.321 1.319 1.318 1.316 1.315 1.314 1.313 1.311 1.310 1.303 1.296 1.292 1.290 1.286 1.282 0.95 6.314 2.920 2.353 2.132 2.015 1.943 1.895 1.860 1.833 1.812 1.796 1.782 1.771 1.761 1.753 1.746 1.740 1.734 1.729 1.725 1.721 1.717 1.714 1.711 1.708 1.706 1.703 1.701 1.699 1.697 1.684 1.671 1.664 1.660 1.653 1.645 0.975 12.706 4.303 3.182 2.776 2.571 2.447 2.365 2.306 2.262 2.228 2.201 2.179 2.160 2.145 2.131 2.120 2.110 2.101 2.093 2.086 2.080 2.074 2.069 2.064 2.060 2.056 2.052 2.048 2.045 2.042 2.021 2.000 1.990 1.984 1.972 1.960 0.99 31.821 6.965 4.541 3.747 3.365 3.143 2.998 2.896 2.821 2.764 2.718 2.681 2.650 2.624 2.602 2.583 2.567 2.552 2.539 2.528 2.518 2.508 2.500 2.492 2.485 2.479 2.473 2.467 2.462 2.457 2.423 2.390 2.374 2.364 2.345 2.326 0.995 0.999 0.9995 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 63.656 318.289 636.578 9.925 22.328 31.600 5.841 10.214 12.924 4.604 7.173 8.610 4.032 5.894 6.869 3.707 5.208 5.959 3.499 4.785 5.408 3.355 4.501 5.041 3.250 4.297 4.781 3.169 4.144 4.587 3.106 4.025 4.437 3.055 3.930 4.318 3.012 3.852 4.221 2.977 3.787 4.140 2.947 3.733 4.073 2.921 3.686 4.015 2.898 3.646 3.965 2.878 3.610 3.922 2.861 3.579 3.883 2.845 3.552 3.850 2.831 3.527 3.819 2.819 3.505 3.792 2.807 3.485 3.768 2.797 3.467 3.745 2.787 3.450 3.725 2.779 3.435 3.707 2.771 3.421 3.689 2.763 3.408 3.674 2.756 3.396 3.660 2.750 3.385 3.646 2.704 3.307 3.551 2.660 3.232 3.460 2.639 3.195 3.416 2.626 3.174 3.390 2.601 3.131 3.340 2.576 3.090 3.290

Arnaud Guyader - Rennes 2

Rgression

C.3. Tables des lois usuelles

119

C.3.3

Loi du Khi-deux ddl X 2

@ p 0.001 0.005 @ @
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 40 50 60 70 80 90 100 0.000 0.002 0.024 0.091 0.210 0.381 0.599 0.857 1.152 1.479 1.834 2.214 2.617 3.041 3.483 3.942 4.416 4.905 5.407 5.921 6.447 6.983 7.529 8.085 8.649 9.222 9.803 10.391 10.986 11.588 17.917 24.674 31.738 39.036 46.520 54.156 61.918

Table des fractiles c (p) pour une loi du 2 : p = Pr {X c (p)}

0.01 0.000 0.020 0.115 0.297 0.554 0.872 1.239 1.647 2.088 2.558 3.053 3.571 4.107 4.660 5.229 5.812 6.408 7.015 7.633 8.260 8.897 9.542 10.196 10.856 11.524 12.198 12.878 13.565 14.256 14.953 22.164 29.707 37.485 45.442 53.540 61.754 70.065 0.025 0.001 0.051 0.216 0.484 0.831 1.237 1.690 2.180 2.700 3.247 3.816 4.404 5.009 5.629 6.262 6.908 7.564 8.231 8.907 9.591 10.283 10.982 11.689 12.401 13.120 13.844 14.573 15.308 16.047 16.791 24.433 32.357 40.482 48.758 57.153 65.647 74.222 0.05 0.004 0.103 0.352 0.711 1.145 1.635 2.167 2.733 3.325 3.940 4.575 5.226 5.892 6.571 7.261 7.962 8.672 9.390 10.117 10.851 11.591 12.338 13.091 13.848 14.611 15.379 16.151 16.928 17.708 18.493 26.509 34.764 43.188 51.739 60.391 69.126 77.929 0.1 0.016 0.211 0.584 1.064 1.610 2.204 2.833 3.490 4.168 4.865 5.578 6.304 7.041 7.790 8.547 9.312 10.085 10.865 11.651 12.443 13.240 14.041 14.848 15.659 16.473 17.292 18.114 18.939 19.768 20.599 29.051 37.689 46.459 55.329 64.278 73.291 82.358 0.9 2.706 4.605 6.251 7.779 9.236 10.645 12.017 13.362 14.684 15.987 17.275 18.549 19.812 21.064 22.307 23.542 24.769 25.989 27.204 28.412 29.615 30.813 32.007 33.196 34.382 35.563 36.741 37.916 39.087 40.256 51.805 63.167 74.397 85.527 96.578 107.56 118.498 0.95 3.841 5.991 7.815 9.488 11.070 12.592 14.067 15.507 16.919 18.307 19.675 21.026 22.362 23.685 24.996 26.296 27.587 28.869 30.144 31.410 32.671 33.924 35.172 36.415 37.652 38.885 40.113 41.337 42.557 43.773 55.758 67.505 79.082 90.531 101.88 113.14 124.342 0.975 5.024 7.378 9.348 11.143 12.832 14.449 16.013 17.535 19.023 20.483 21.920 23.337 24.736 26.119 27.488 28.845 30.191 31.526 32.852 34.170 35.479 36.781 38.076 39.364 40.646 41.923 43.195 44.461 45.722 46.979 59.342 71.420 83.298 95.023 106.63 118.14 129.561 0.99 6.635 9.210 11.345 13.277 15.086 16.812 18.475 20.090 21.666 23.209 24.725 26.217 27.688 29.141 30.578 32.000 33.409 34.805 36.191 37.566 38.932 40.289 41.638 42.980 44.314 45.642 46.963 48.278 49.588 50.892 63.691 76.154 88.379 100.42 112.33 124.12 135.807 0.995 7.879 10.597 12.838 14.860 16.750 18.548 20.278 21.955 23.589 25.188 26.757 28.300 29.819 31.319 32.801 34.267 35.718 37.156 38.582 39.997 41.401 42.796 44.181 45.558 46.928 48.290 49.645 50.994 52.335 53.672 66.766 79.490 91.952 104.21 116.32 128.30 140.169 0.999 10.827 13.815 16.266 18.466 20.515 22.457 24.321 26.124 27.877 29.588 31.264 32.909 34.527 36.124 37.698 39.252 40.791 42.312 43.819 45.314 46.796 48.268 49.728 51.179 52.619 54.051 55.475 56.892 58.301 59.702 73.403 86.660 99.608 112.32 124.84 137.21 149.449 0.000 0.010 0.072 0.207 0.412 0.676 0.989 1.344 1.735 2.156 2.603 3.074 3.565 4.075 4.601 5.142 5.697 6.265 6.844 7.434 8.034 8.643 9.260 9.886 10.520 11.160 11.808 12.461 13.121 13.787 20.707 27.991 35.534 43.275 51.172 59.196 67.328

Rgression

Arnaud Guyader - Rennes 2

120

Chapitre C. Rappels de probabilit

C.3.4

Loi de Fisher 1 , 2 ddl X F(1 ,2 )

HH
2

Table des fractiles f(1 ,2 ) ) pour une loi F(1 ,2 ) : 0.95 = Pr X f(1 ,2) (p)
H H
1 1 161 18.5 10.1 7.71 6.61 5.99 5.59 5.32 5.12 4.96 4.84 4.75 4.67 4.6 4.54 4.49 4.45 4.41 4.38 4.35 4.32 4.3 4.28 4.26 4.24 4.23 4.21 4.2 4.18 4.17 4.15 4.13 4.11 4.1 4.08 4.07 4.06 4.05 4.04 4.03 4 3.98 3.96 3.95 3.94 3.86 3.84 2 199 19 9.55 6.94 5.79 5.14 4.74 4.46 4.26 4.1 3.98 3.89 3.81 3.74 3.68 3.63 3.59 3.55 3.52 3.49 3.47 3.44 3.42 3.4 3.39 3.37 3.35 3.34 3.33 3.32 3.29 3.28 3.26 3.24 3.23 3.22 3.21 3.2 3.19 3.18 3.15 3.13 3.11 3.1 3.09 3.01 3 3 216 19.2 9.28 6.59 5.41 4.76 4.35 4.07 3.86 3.71 3.59 3.49 3.41 3.34 3.29 3.24 3.2 3.16 3.13 3.1 3.07 3.05 3.03 3.01 2.99 2.98 2.96 2.95 2.93 2.92 2.9 2.88 2.87 2.85 2.84 2.83 2.82 2.81 2.8 2.79 2.76 2.74 2.72 2.71 2.7 2.62 2.6 4 225 19.2 9.12 6.39 5.19 4.53 4.12 3.84 3.63 3.48 3.36 3.26 3.18 3.11 3.06 3.01 2.96 2.93 2.9 2.87 2.84 2.82 2.8 2.78 2.76 2.74 2.73 2.71 2.7 2.69 2.67 2.65 2.63 2.62 2.61 2.59 2.58 2.57 2.57 2.56 2.53 2.5 2.49 2.47 2.46 2.39 2.37 5 230 19.3 9.01 6.26 5.05 4.39 3.97 3.69 3.48 3.33 3.2 3.11 3.03 2.96 2.9 2.85 2.81 2.77 2.74 2.71 2.68 2.66 2.64 2.62 2.6 2.59 2.57 2.56 2.55 2.53 2.51 2.49 2.48 2.46 2.45 2.44 2.43 2.42 2.41 2.4 2.37 2.35 2.33 2.32 2.31 2.23 2.21 6 234 19.3 8.94 6.16 4.95 4.28 3.87 3.58 3.37 3.22 3.09 3 2.92 2.85 2.79 2.74 2.7 2.66 2.63 2.6 2.57 2.55 2.53 2.51 2.49 2.47 2.46 2.45 2.43 2.42 2.4 2.38 2.36 2.35 2.34 2.32 2.31 2.3 2.29 2.29 2.25 2.23 2.21 2.2 2.19 2.12 2.1 7 237 19.4 8.89 6.09 4.88 4.21 3.79 3.5 3.29 3.14 3.01 2.91 2.83 2.76 2.71 2.66 2.61 2.58 2.54 2.51 2.49 2.46 2.44 2.42 2.4 2.39 2.37 2.36 2.35 2.33 2.31 2.29 2.28 2.26 2.25 2.24 2.23 2.22 2.21 2.2 2.17 2.14 2.13 2.11 2.1 2.03 2.01 8 239 19.4 8.85 6.04 4.82 4.15 3.73 3.44 3.23 3.07 2.95 2.85 2.77 2.7 2.64 2.59 2.55 2.51 2.48 2.45 2.42 2.4 2.37 2.36 2.34 2.32 2.31 2.29 2.28 2.27 2.24 2.23 2.21 2.19 2.18 2.17 2.16 2.15 2.14 2.13 2.1 2.07 2.06 2.04 2.03 1.96 1.94 9 241 19.4 8.81 6 4.77 4.1 3.68 3.39 3.18 3.02 2.9 2.8 2.71 2.65 2.59 2.54 2.49 2.46 2.42 2.39 2.37 2.34 2.32 2.3 2.28 2.27 2.25 2.24 2.22 2.21 2.19 2.17 2.15 2.14 2.12 2.11 2.1 2.09 2.08 2.07 2.04 2.02 2 1.99 1.97 1.9 1.88 10 242 19.4 8.79 5.96 4.74 4.06 3.64 3.35 3.14 2.98 2.85 2.75 2.67 2.6 2.54 2.49 2.45 2.41 2.38 2.35 2.32 2.3 2.27 2.25 2.24 2.22 2.2 2.19 2.18 2.16 2.14 2.12 2.11 2.09 2.08 2.06 2.05 2.04 2.03 2.03 1.99 1.97 1.95 1.94 1.93 1.85 1.83 15 246 19.4 8.7 5.86 4.62 3.94 3.51 3.22 3.01 2.85 2.72 2.62 2.53 2.46 2.4 2.35 2.31 2.27 2.23 2.2 2.18 2.15 2.13 2.11 2.09 2.07 2.06 2.04 2.03 2.01 1.99 1.97 1.95 1.94 1.92 1.91 1.9 1.89 1.88 1.87 1.84 1.81 1.79 1.78 1.77 1.69 1.67 20 248 19.4 8.66 5.8 4.56 3.87 3.44 3.15 2.94 2.77 2.65 2.54 2.46 2.39 2.33 2.28 2.23 2.19 2.16 2.12 2.1 2.07 2.05 2.03 2.01 1.99 1.97 1.96 1.94 1.93 1.91 1.89 1.87 1.85 1.84 1.83 1.81 1.8 1.79 1.78 1.75 1.72 1.7 1.69 1.68 1.59 1.57 30 250 19.5 8.62 5.75 4.5 3.81 3.38 3.08 2.86 2.7 2.57 2.47 2.38 2.31 2.25 2.19 2.15 2.11 2.07 2.04 2.01 1.98 1.96 1.94 1.92 1.9 1.88 1.87 1.85 1.84 1.82 1.8 1.78 1.76 1.74 1.73 1.72 1.71 1.7 1.69 1.65 1.62 1.6 1.59 1.57 1.48 1.46 40 251 19.5 8.59 5.72 4.46 3.77 3.34 3.04 2.83 2.66 2.53 2.43 2.34 2.27 2.2 2.15 2.1 2.06 2.03 1.99 1.96 1.94 1.91 1.89 1.87 1.85 1.84 1.82 1.81 1.79 1.77 1.75 1.73 1.71 1.69 1.68 1.67 1.65 1.64 1.63 1.59 1.57 1.54 1.53 1.52 1.42 1.39 50 252 19.5 8.58 5.7 4.44 3.75 3.32 3.02 2.8 2.64 2.51 2.4 2.31 2.24 2.18 2.12 2.08 2.04 2 1.97 1.94 1.91 1.88 1.86 1.84 1.82 1.81 1.79 1.77 1.76 1.74 1.71 1.69 1.68 1.66 1.65 1.63 1.62 1.61 1.6 1.56 1.53 1.51 1.49 1.48 1.38 1.35 60 252 19.5 8.57 5.69 4.43 3.74 3.3 3.01 2.79 2.62 2.49 2.38 2.3 2.22 2.16 2.11 2.06 2.02 1.98 1.95 1.92 1.89 1.86 1.84 1.82 1.8 1.79 1.77 1.75 1.74 1.71 1.69 1.67 1.65 1.64 1.62 1.61 1.6 1.59 1.58 1.53 1.5 1.48 1.46 1.45 1.35 1.32 80 253 19.5 8.56 5.67 4.41 3.72 3.29 2.99 2.77 2.6 2.47 2.36 2.27 2.2 2.14 2.08 2.03 1.99 1.96 1.92 1.89 1.86 1.84 1.82 1.8 1.78 1.76 1.74 1.73 1.71 1.69 1.66 1.64 1.62 1.61 1.59 1.58 1.57 1.56 1.54 1.5 1.47 1.45 1.43 1.41 1.3 1.27 100 253 19.5 8.55 5.66 4.41 3.71 3.27 2.97 2.76 2.59 2.46 2.35 2.26 2.19 2.12 2.07 2.02 1.98 1.94 1.91 1.88 1.85 1.82 1.8 1.78 1.76 1.74 1.73 1.71 1.7 1.67 1.65 1.62 1.61 1.59 1.57 1.56 1.55 1.54 1.52 1.48 1.45 1.43 1.41 1.39 1.28 1.24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 32 34 36 38 40 42 44 46 48 50 60 70 80 90 100 500

Arnaud Guyader - Rennes 2

Rgression

Annexe D

Quelques donnes
Date "19960422" "19960429" "19960506" "19960514" "19960521" "19960528" "19960605" "19960612" "19960619" "19960627" "19960704" "19960711" "19960719" "19960726" "19960802" "19960810" "19960817" "19960824" "19960901" "19960908" "19960915" "19960923" "19960930" "19970414" "19970422" "19970429" "maxO3" "T12" "T15" "Ne12" "N12" "S12" "E12" "W12" 63.6 13.4 15 7 0 0 3 0 89.6 15 15.7 4 3 0 0 0 79 7.9 10.1 8 0 0 7 0 81.2 13.1 11.7 7 7 0 0 0 88 14.1 16 6 0 0 0 6 68.4 16.7 18.1 7 0 3 0 0 139 26.8 28.2 1 0 0 3 0 78.2 18.4 20.7 7 4 0 0 0 113.8 27.2 27.7 6 0 4 0 0 41.8 20.6 19.7 8 0 0 0 1 65 21 21.1 6 0 0 0 7 73 17.4 22.8 8 0 0 0 2 126.2 26.9 29.5 2 0 0 4 0 127.8 25.5 27.8 3 0 0 5 0 61.6 19.4 21.5 7 6 0 0 0 63.6 20.8 21.4 7 0 0 0 5 134.2 29.5 30.6 2 0 3 0 0 67.2 21.7 20.3 7 0 0 0 7 87.8 19.7 21.7 5 0 0 3 0 96.8 19 21 6 0 0 8 0 89.6 20.7 22.9 1 0 0 4 0 66.4 18 18.5 7 0 0 0 2 60 17.4 16.4 8 0 6 0 0 90.8 16.3 18.1 0 0 0 5 0 104.2 13.6 14.4 1 0 0 1 0 70 15.8 16.7 7 7 0 0 0 Table D.1 Quelques donnes journalires sur Rennes. "Vx" "maxO3v" 9.35 95.6 5.4 100.2 19.3 105.6 12.6 95.2 -20.3 82.8 -3.69 71.4 8.27 90 4.93 60 -4.93 125.8 -3.38 62.6 -23.68 38 -6.24 70.8 14.18 119.8 13.79 103.6 -7.39 69.2 -13.79 48 1.88 118.6 -24.82 60 9.35 74.4 28.36 103.8 12.47 78.8 -5.52 72.2 -10.8 53.4 18 89 3.55 97.8 -12.6 61.4

122 Date "19970708" "19970715" "19970722" "19970730" "19970806" "19970813" "19970821" "19970828" "19970904" "19970912" "19970919" "19970926" "19980504" "19980511" "19980518" "19980526" "19980602" "19980609" "19980617" "19980624" "19980701" "19980709" "19980716" "19980724"

Chapitre D. Quelques donnes "maxO3" "T12" "T15" "Ne12" "N12" "S12" "E12" "W12" 96.2 26 27.3 2 0 0 5 0 65.6 23.5 23.7 7 0 0 0 3 109.2 26.3 27.3 4 0 0 5 0 86.2 21.8 23.6 6 4 0 0 0 87.4 24.8 26.6 3 0 0 0 2 84 25.2 27.5 3 0 0 0 3 83 24.6 27.9 3 0 0 0 2 59.6 16.8 19 7 0 0 0 8 52 17.1 18.3 8 5 0 0 0 73.8 18 18.3 7 0 5 0 0 129 28.9 30 1 0 0 3 0 122.4 23.4 25.4 0 0 0 2 0 106.6 13 14.3 3 7 0 0 0 121.8 26 28 2 0 4 0 0 116.2 24.9 25.8 2 0 0 5 0 81.4 18.4 16.8 7 0 0 0 4 88.6 18.7 19.6 5 0 0 0 5 63 20.4 16.6 7 0 0 0 8 104 19.6 21.2 6 0 0 0 3 88.4 23.2 23.9 4 0 4 0 0 83.8 19.8 20.3 8 0 0 5 0 56.4 18.9 19.3 8 0 0 0 4 50.4 19.7 19.3 7 0 0 0 5 79.2 21.1 21.9 3 4 0 0 0 Table D.2 Quelques donnes journalires sur Rennes. "Vx" "maxO3v" 16.91 87.4 -9.35 67.8 16.91 98.6 2.5 112 -7.09 49.8 -10.15 131.8 -5.52 113.8 -27.06 55.8 -3.13 65.8 -11.57 90.4 8.27 111.4 5.52 118.6 12.6 84 2.5 109.8 18 142.8 -14.4 80.8 -15.59 60.4 -22.06 79.8 -10.8 84.6 -7.2 92.6 17.73 40.2 -14.4 73.6 -17.73 59 9.26 55.2

Arnaud Guyader - Rennes 2

Rgression

Bibliographie
[1] A. Antoniadis, J. Berruyer, and R. Carmona. Rgression non linaire et applications. Economica, 1992. [2] A.C. Atkinson. Two graphical displays for outlying and inuential observations in regression. Biometrika, 68 :1320, 1981. [3] B. Bercu and D. Chafa. Modlisation stochastique et simulation. Dunod, Paris, 2007. [4] R. D. Cook. Detection of inuential observation in linear regression. Technometrics, 19 :1518, 1977. [5] P.-A. Cornillon and E. Matzner-Lber. Rgression avec R. Springer, Paris, 2010. [6] Y. Dodge and V. Rousson. Analyse de rgression applique. Dunod, 2004. [7] G. H. Golub and C. F. Van Loan. Matrix computations. John Hopkins university press, 3rd edition, 1996. [8] T. Hastie, R. Tibshirani, and J. Friedman. The elements of statistical learning - data mining, inference and prediction. Springer, New-York, 2001. [9] D. C. Hoaglin and R. E. Welsch. The hat matrix in regression and anova. The American Statistician, 32 :1722, 1978. [10] P. Huber. Robust Statistics. J. Wiley & Sons, New-York, 1981. [11] F. Husson and J. Pags. Statistiques gnrales pour utilisateurs (2. Exercices et corrigs). Presses Universitaires de Rennes, 2005. [12] E. L. Lehmann and G. Casella. Theory of point estimation. Springer, New-York, 1998. [13] M. Lejeune. Statistique. La thorie et ses applications. Springer, Paris, 2004. [14] D. C. Montgomery, E. A. Peck, and G. Georey Vining. Introduction to linear regression analysis. John Wiley, New-York, 3 edition, 2001. [15] A. Sen and M. Srivastava. Regression Analysis : Theory, Methods, and Applications. Springer, 1990.