(525651234) ClassicalLinearModel

Le modle linaire classique Proprits algbriques d'estimation des moindres carrs
Le modle linaire classique et la mthode des MCO
Walter Sosa-Escudero
Econ 507. L'analyse conomtrique. Printemps 2009
Janvier 19, 2009
Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Le modle linaire classique Proprits algbriques d'estimation des moindres
carrs
Le modle linaire classique




Sciences sociales : non-les relations exactes.

Point de dpart : un modle pour la non-relation exacte entre y (variable explique) et un
ensemble de variables x (les variables explicatives).

Hypothse 1 (linarit):
Yi = 1 x1j + 2 x2j + + K xk i + ui , j = 1, . . . , n
Yi : variable explique pour observation i. Ses ralisations sont observes

Xik , k = 1, . . . , K : K variables explicatives. Ralisations observes.
Ui est une variable alatoire avec ralisations non observes. Reprsente la non-
nature exacte de la relation.
k , k = 1, . . . , K sont les coefficients de rgression. Hypothse 1 : la relation sous-
jacente est linaire pour toutes les observations.

carrs
Le modle de notation matricielle
Dfinissez les lments suivants des vecteurs et des matrices :

y u
1 1 1

2 2 2
Y = y = U=
u
. . .
On N1 K K 1
Un N1
x xK1
x21 . . .
11
12 x22 x K2
X=x. .
. . .
X1n xk n NK

Puis le modle linaire peut tre crit comme suit :

y1 x K1 1 u1
11 x21 x

.
. .
. = X22 .
. . +.
On x1n xk n K un
Y=X+u
C'est le modle linaire sous forme de matrice.

Le modle linaire classique Proprits algbriques d'estimation des
moindres carrs
Rsultats de base sur les matrices et vecteurs alatoire
Avant de poursuivre, nous devons tablir certains rsultats impliquant des matrices et
vecteurs.
Soit A une matrice m n. A : n vecteurs colonnes, ou m vecteurs lignes. La colonne
rang de A est dfini comme le nombre maximum de colonnes linairement dpendante.
De mme, la ligne grade est le nombre maximal de lignes qui sont linairement
dpendantes.
La ligne grade est gale la colonne Grade. Nous allons donc parler, en gnral, sur
le rang d'une matrice, et dsignera comme (A)
Laissez un tre un carr (m M) matrix. Un n'est pas singulier si
|A| = 0. Dans de tels cas, il existe une matrice non singulire
unique A-1 a appel l' inverse d'une tels que
AA-1 = A-1A = JEM .

Un un carr m m matrix.
Si (A) = m |A| = 0
Si (A) < M |A| = 0
X une matrice n K, avec (X ) = K (colonne entire rank) :
(X ) = (X 0 X ) = k
Ce rsultats garantit l'existence de (X 0 X )-1 bas sur le grade de X .

Permettez-b et un tre deux K 1 vecteurs. Puis nous dfinissons

(b 0 a)
=a
b
Permettez-b tre un K 1 et un vecteur une matrice K K symtrique.
(b 0 Ab)
= 2AB
b

Supposons que y tre un vecteur de K variables alatoires :

Y1
. Y =
YK

E(Y 1 )
E(Y 2 )

E(Y ) = =
.
E(Y K )

carrs
V (Y ) = E[(y - )(Y - )0 ]
E(Y 2
1 - 1 ) E(Y 1 - 1 )(Y2 - 2 )
E(Y2 - 2 )2
=..
.
E(Y k - k )2
V (Y
1 ) c ov(Y1 , Y2 ) . . . C ov(Y1 Y K )
V (Y2 ) ...
=

V (YK )
Lle variance d'un vecteur est appel sa matrice de variance-covariance, une k k matrix
Si V (Y ) = et c'est un K 1 vecteur,
V (c0 Y ) = c0 V (Y )c = c0 c.

moindres carrs
Prvisions conditionnelles
Z
Y FY |x dy
E(Y |X = x) =
Ide: comment la valeur prvue de Y change lorsque X change. C'est une fonction qui
dpend de X . Si X est une variable alatoire, puis E(Y |X ) es una aleatoria variable.
Proprits
E(g(x )|X ) = g(x )
Y = a + bX + U , puis E(Y |X ) = a + bX + E(U |X ).
E(Y) = E [E(Y |x )] (Loi d'itr Attentes).

Hypothse 2 : un strict exognit
E(u i |X ) = 0, J = 1, 2, . . . , n
En cours de base il est prsum que E(ui ) = 0. Dont l'un est plus forte?

carrs
Implications de l'exognit stricte :

E(u i ) = 0, J = 1, . . . , n.
La preuve : par le droit d'itr attentes et strict exognit :
E(u) = E[E(u|x )] = E(0) = 0
En termes : en moyenne, le modle est exactement linaire.
E(x jk ui ) = 0, j, i = 1, . . . , n; k = 1, . . . , K
En termes : variables explicatives ne sont pas corrls avec l'erreur
Termes de toutes les observations.
La preuve: comme exercice.

carrs
Hypothse 3 : pas de multicollinarit
(X ) = k, w.p.1
Rang ?
Toutes les colonnes de la ralisations de X doit tre linairement indpendantes.
Attention : Ceci interdit les relations linaires entre colonnes exacte de X .
Le modle admet la non-relations exact et/ou de relations non-linaires.
Exemples.

carrs
Hypothse 4 : "Erreur pherical variance "

Homoscdasticit
J : E(u2 |x ) = 2 > 0, i = 1, . . . , n
'
Aucune corrlation sriale : E(ui uj |X ) = 0, J, J = 1, . . . , n., , J = j.

Homoscdasticit : par une stricte exognit
V (ui |X ) = E[u2 |x 2 2
I I ] - E(u i |X ) = E(u |x )
Donc l'hypothse implique constante variance conditionnelle pour le terme d'erreur.

Aucune corrlation sriale : aussi par une svre l'exognit
C ov(ui , uj |X ) = E(ui uj |X )
Donc pas de corrlation srielle implique que x donn tous les termes d'erreur de toutes les
observations ne sont pas corrles.

carrs
Hypothse 4 en termes de matrice : V (u|X ) = E(uu0 |x ) = 2 In

Rappelons que pour tout vecteur alatoire Z de n lments :
V (Z ) E (Z - E(Z ))(Z - E(Z )) 0 ,
Une matrice n n avec lment typique vij
Vij = c ov(Zi , Zj ).
Homoscdasticit
J (V (U2 |x ) = 2 ) implique que toutes les
lments' diagonaux de V (u|X ) est gale 2 .
Aucune corrlation sereial implique que tous les lments hors de la diagonale de V (u|X )
sont gales zro.

Le modle linaire classique Proprits algbriques d'estimation
des moindres carrs
Rsum
Le modle linaire classique
1 linarit : Y = X + u.
2 Strict exognit : E(u|X ) = 0
3 pas de multicollinarit : (X ) = K , w.P.1.
4 Aucune htroscdasticit/ la corrlation en srie : V (u|X ) = 2 IN .

moindres carrs
Les dtails et les interprtations
Variables explicatives fixe

Dans les traitements de base X est pris comme une installation fixe, matrice non
alatoire. Ce n'est plus compatible avec les sciences exprimentales. Il simplifie certains
calculs.
L'Intercept
Considrons le cas x1j = 1, J = 1, . . . , n
Yi = 1 + 2 x2j + + K xk i + ui , j = 1, . . . , n
Puis 1 est l' ordonne l'origine du modle. Prudence avec les interprtations.

Interprtations
E(Y j |X ) = 1 + 2 x2j + + K xk i
Si E(Yj |X ) est drivable par rapport xki, qui est fonctionnellement

indpendante de toutes les autres variables :
E(Y j |X )
=
x k k
Attention : ceci est une drive partielle. Un effet marginal constant.

carrs
Dummy Variables explicatives : Supposons que xki est une variable binaire, prendre deux
valeurs, indiquant que l'i-e observation appartient (1) ou n'appartiennent pas une certaine
classe (0) (mle-femelle, par exemple). Nous ne pouvons pas utiliser le rsultat prcdent pour
une interprtation (POURQUOI?)
Calculer les grandeurs suivantes
E(Y j |x, xki = 1) = 1 + 2 x2j + + k 1 + + K xk i

E(Y j |x, xki = 0) = 1 + 2 x2j + + 0 + k + K xk i
Puis k = E(Yj |x, xki = 1) - E(Y j |x, xki = 0)

Exemple : diffrences entre les sexes.

carrs
Le modle linaire n'est pas que linear

Yi = 1 + 2 x2j + + K xk i + ui
Linaire?
Dans variables linaire. Des paramtres linaires.
Aux fins de l'estimation, ce qui importe est la linarit dans les paramtres.

carrs
Un petit catalogue de modles non-linaires qui peuvent tre traites avec le modle linaire
classique
Quadratique : yi = 2i1 + 2 X2J + 3 X 2 + ui
yi = 1 + 2 X -1 + ui
Inverse : 2i
Interactif : yi = 1 + 2 X2J + 3 X3J + 4 X2ix3jui : ln logarithmique yi =
1 + 2 ln X2J + ui Semilogarithmic : ln yi = 1 + 2 X2J + ui
Nous explorerons des interprtations et des exemples dans les devoirs.

carrs
L'estimation des moindres carrs
Objectif : rcuprer fonde sur un chantillon y i , xi , j = 1, . . . , n. Permettez-

tre tout estimateur de .
Dfinir Y X (notre prvision d'Y ).
Dfinir e = y - Y (les erreurs d'estimation).
Notez que si n > k nous ne pouvons produire un estimateur en forant
E=0.Pourquoi?.
Il nous faut un critre pour driver un estimateur raisonnable et ralisable.

carrs
Examiner la fonction de pnalit suivantes :

X e N
2
SSR()
J = e0 e=(y - x )0 (y - x )
' I=1
SSR() est l'agrgation des erreurs au carr si nous choisissons comme

estimateur.
L' estimateur des moindres carrs sera :
Argmin= SSR()


carrs
Rsultat : = (X 0 X )-1x 0 Y
SSR() = e 0 e = (Y - X )0 (Y - X )
= Y 0 Y - 0 x 0 y - Y 0 x + 0 X 0 X
= Y 0 Y - 20 X 0 Y + 0 X 0 X
Dans la deuxime ligne, note que -0 x 0 y est un scalaire, et donc il est banalement gale sa transposition, -
Y 0 x , c'est la faon dont nous obtenons le rsultat dans la troisime ligne.
SSR peut tre facilement illustr tre strictement fonction de diffrentiable convexes , de
sorte conditions de premier ordre pour un point stationnaire sont suffisantes pour un
minimum global.

Conditions de premier ordre sont :

e 0 e
= 0
l'aide de la drivation rgles introduites avant :
e 0 e 00
= -2X Y + 2X X = 0
Qui est un systme d'quations linaires avec 000 K inconnues (). En rsolvant pour donne
la solution souhaite :
=(X 0 X )-1x 0 Y

carrs
Certains commentaires et dtails

L'existence et l'unicit : garantie par le rang hypothse
(X ) = K .
Conditions de deuxime ordre : X 0 X est dfinie positive, galement par l'hypothse
de rang.
Le rle des hypothses : Laquelle des hypothses ont t utilises pour driver l'OLS
Estimator et garantir son existence et l'unicit ?
Notation : Y X , e = y - Y (Le BSL rsiduelles).

carrs
Proprits algbriques
Rappeler la FOC's dans le problme des moindres carrs :
-X 0 Y + X 0 X = 0
-X 0 (Y - X ) = 0
-X 0 e = 0
Ce sont les quations normales

Les proprits algbriques sont ceux qui peuvent tre tirs de l'quations normales.

Somme des erreurs : si le modle a une ordonne l'origine, l'une des colonnes de X est un
vecteur de ceux, les SO x 0 e = 0 implique :
XN e
i =0
I=1
L'orthogonalit : X 0 e = 0. Ce qui implique que le BSL rsidus sont non corrls aux toutes
les variables explicatives.
Linarit : estunefonctionlinaire deY, qui est,ilexiste unk n matrice A qui dpend uniquement de x ,
avec (A) = k tel que = AY .
La preuve: triviale. Dfinir un = (X 0 X )-1x 0

carrs
Qualit de l'ajustement
Vrifier d'abord certains rsultats facile, lorsqu'il y a une interception dans le modle :
YJ = Yje
'
Commencez par yi = Y + e . Prendre moyennes au cours des deux
cts, II
Ei = 0 par l'ancienne proprit.
J=1 (Y - Y ) +
J=1 (Yj - Y ) = 2
Pn 2 pn pn
J J'
'
Dmarrer avec (Yj - Y)=(Y - Y)+e.Prendredescarrs.Puis J' P J'e = 0 par page
J Afficher P ei (Y - Y)= e 0 X - Y i prcdente
'
Proprits.

carrs
X(Y
Jj - Y)2 = X(Y
J - Y)2 + X e2
' '
La variation totale y autour de sa moyenne peut tre dcompos en deux additifs : une
correspondant des termes du modle et la seconde aux erreurs d'estimation.
Si toutes les erreurs sont gales zro, puis tous les varation est due au modle : le modle
linaire explaines mont toutes les variations.
Ceci suggre les mesures suivantes de qualit de l'ajustement :
PN 2
Pn 2
2 - Y
(YJ=1 i) eJ=1 i
R P = 1 - pn
N
J=1 (Yj - Y) J=1 (Yj - Y)
2 2
C'est le (centr) coeficient de dtermination: la proportion de la variabilit totale explique

par le modle linaire monts.

carrs
Commentaires et proprits (comme les devoirs)

0 R2 1.
maximiseR2 .
R2 est non-diminution dans le nombre de variables explicatives,
K.
Utilisation et abus de R2 .

Dans certains cas nous allons utiliser le excentres R2 :

P 2 P 2
Y E
U = P O 2 = 1 p O 2 - J'
II
La dernire galit dtient depuis :
X Y
200
I = Y Y = (Y + e) (Y + e)
= Y 0 Y+e0 e + 2Y 0 e
= Y 0 Y+e0 e + 20 X 0 e
= Y 0 Y+e0 e
Par la proprit d'orthogonalit.

carrs
Estimation de 2
Nous aurons besoin d'un estimateur pour 2 . Nous vous proposons:

PN 2 0
e ee
S 2 = i=1 i =
N-K N-K
Plus tard nous allons tablir ses proprits avec plus de dtails.

(525651234) ClassicalLinearModel

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

(525651234) ClassicalLinearModel

Transféré par

Droits d'auteur :

Formats disponibles

Le modle linaire classique Proprits algbriques d'estimation des moindres carrs

Le modle linaire classique et la mthode des MCO

Janvier 19, 2009

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Le modle linaire classique

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Sciences sociales : non-les relations exactes.

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Yi : variable explique pour observation i. Ses ralisations sont observes

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Le modle de notation matricielle

Dfinissez les lments suivants des vecteurs et des matrices :

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Puis le modle linaire peut tre crit comme suit :

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Rsultats de base sur les matrices et vecteurs alatoire

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

X une matrice n K, avec (X ) = K (colonne entire rank) :

Ce rsultats garantit l'existence de (X 0 X )-1 bas sur le grade de X .

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Permettez-b et un tre deux K 1 vecteurs. Puis nous dfinissons

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Supposons que y tre un vecteur de K variables alatoires :

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Hypothse 2 : un strict exognit

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Implications de l'exognit stricte :

E(u) = E[E(u|x )] = E(0) = 0

En termes : en moyenne, le modle est exactement linaire.

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Hypothse 3 : pas de multicollinarit

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Hypothse 4 : "Erreur pherical variance "

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Homoscdasticit : par une stricte exognit

Donc l'hypothse implique constante variance conditionnelle pour le terme d'erreur.

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Hypothse 4 en termes de matrice : V (u|X ) = E(uu0 |x ) = 2 In

V (Z ) E (Z - E(Z ))(Z - E(Z )) 0 ,

Une matrice n n avec lment typique vij

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Le modle linaire classique

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Les dtails et les interprtations

Variables explicatives fixe

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Si E(Yj |X ) est drivable par rapport xki, qui est fonctionnellement

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

E(Y j |x, xki = 1) = 1 + 2 x2j + + k 1 + + K xk i

Puis k = E(Yj |x, xki = 1) - E(Y j |x, xki = 0)

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Le modle linaire n'est pas que linear

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

L'estimation des moindres carrs

Objectif : rcuprer fonde sur un chantillon y i , xi , j = 1, . . . , n. Permettez-

Walter Sosa-Escudero Le modle linaire classique et la mthode des MCO

Examiner la fonction de pnalit suivantes :