MAGCEA Econometria IN709 - Otoo 2009

Universidad de Chile
Departamento de Ingeniera Industrial
Profesor: Mattia Makovec (mmakovec@dii.uchile.cl)
Auxiliares: Andrs Barrera (andres.abarrera@gmail.com), Carlos Pulgar (pulgroso@gmail.com)
3. Propiedades de los residuos estimados ^"
MCO
, bondad de ajuste,
estimacin y distribucin de o
2
.
1. Propiedades de los residuos estimados ^"
'CO
1.1 Propiedades que no depienden de la inclusin de un termino constante entre
los regresores:
dado que:
^
,
MCO
= (A
0
A)
1
A
0
j
(A
0
A)
^
,
MCO
= A
0
j (ecuaciones normales)
(A
0
A)
^
,
MCO
A
0
j = 0
A
0
(j A
^
,
MCO
) = 0
y dado que (j A
^
,
MCO
) = ^-
A
0
^- = 0
entonces: A
0
^- = 0 (sistema de / ecuaciones)
o igualmente:
N

i=1
r
ji
^-
i
= 0 por cada regresor , = 1.../
es decir, cada regresor es ortogonal al vector de residuos estimados.
Otra forma conveniente de expresar los residuos estimados es la siguiente:
^- = j A
^
,
MCO
^- = j A(A
0
A)
1
A
0
j
^- =
_
1
N
A(A
0
A)
1
A
0

(NN)
j
^- = 'j
' es la matriz simtrica e idempotente que premultiplicada por la variable dependiente produce los residuos
estimados de la regresion lineal de mnimos cuadrados ordinarios de j sobre A. Siendo simtrica: ' = ',
y siendo idempotente: ' = '
2
= '
3
.... Tambin resulta: 'A = 0 :
'A =
_
1
N
A(A
0
A)
1
A
0

A = A A(A
0
A)
1
A
0
A
. .
=I
k
= A A = 0
La intuicin por este resultado es simple: A explica perfectamente A, entonces los residuos estimados de la
regresin lineal de mnimos cuadrados ordinarios de A sobre A tienen que ser cero.
La matriz ' permite denir otra matriz importante, la matriz de proyeccin 1, tambin simtrica e
idempotente:
j = ^ j + ^-
^ j = j 'j
^ j = [1
N
']
(NN)
j
^ j = 1j
1
Premultiplicada por la variable dependiente, la matriz 1 genera los valores estimados de j en la regresin
lineal de mnimos cuadrados ordinarios de j sobre A (es decir, crea la proyeccin de del vector j en el espacio
vectorial generado para las columnas de A).
Utilizando la matriz ' se puede tambin derivar la suma cuadratica total de la variable dependiente en
el modelo lineal general con / regresores de la forma siguiente:
^-^- = ('j)('j) = j''j = j''j = j'j
^-^- = j'j = j^- = ^-j
(11)
= (j A
^
,
MCO
)j = jj
^
,
MCO
Aj sustituyendo j = ^ j + ^-
^-^- = jj
^
,
MCO
A(^ j + ^-) = jj
^
,
MCO
A(A
^
,
MCO
+ ^-) = jj
^
,
MCO
AA
^
,
MCO

^
,
MCO
A^-
..
=0
^-^- = jj
^
,
MCO
AA
^
,
MCO
jj =
^
,
MCO
AA
^
,
MCO
+ ^-^- o:
jj = ^ j^ j + ^-^-
1.2 Propiedades que depienden de la inclusin de un termino constante entre los
regresores:
1)
N

i=1
^"
i
= 0.
Por el resultado anterior, A
0
^- = 0; entonces si el modelo inicial incluye un termino constante, es decir si
la primera columna de la matriz A es un vector ( 1) de 1, la condicin A
0
^- = 0 implica:
i
0
^- = 0 donde i
0
= [1 1 1.......1]
(1N)
o igualmente :
N

i=1
^-
i
= 0
Este resultado es muy importante y permite derivar las propiedades 2 y 3, que consideramos por simplicidad
tambin en el contexto del modelo lineal simple:
2) y =^ j
El promedio de la variable dependiente es igual al promedio de la variable dependiente c:ti:ada. En el
caso del modelo lineal simple:
j
i
= ,
0
+,
1
r
i
+-
i
i = 1....
Sabemos que:
j
i
= ^ j
i
+ ^-
i
sumando con respecto a i :
N

i=1
j
i
=
N

i=1
^ j
i
+
N

i=1
^-
i
dado que:
N

i=1
^-
i
= 0 (propiedad 1)
N

i=1
j
i
=
N

i=1
^ j
i
N

i=1
j
i

=
N

i=1
^ j
i

j = ^ j
Esta propiedad implica que, en el caso del modelo de regresin lineal simple, la recta de regresin estimada,
^ j =
^
,
0
+
^
,
1
r, pasa por el punto de coordinatas ( r, j), es decir por el promedio de los datos iniciales:
j = ^ j =
^
,
0
+
^
,
1
r
2
En el caso del modelo lineal general, j = A, + -, esta propiedad implica que el hiperplano de la regresin
pasa por el punto de las medias de los datos, y que la media de los valores predichos es igual a la media de
la variable dependiente:
j
(11)
= x
^
,
MCO
(1k) (k1)
^ j = j = x
^
,
MCO
3) 1
2
como medida de bondad de ajuste.
Es posible expresar la variabilidad de la variable dependiente como suma de la variabildad de la variable
dependiente estimada y de los errores estimados. Consideramos la suma de las desviaciones de la variable
dependiende con respecto a su media al cuadrado:
N

i=1
(j
i
j)
2
sumando y restando ^ j
i
:
N

i=1
(j
i
j)
2
=
N

i=1
(j
i
^ j
i
+ ^ j
i
j)
2
=
N

i=1
[(j
i
^ j
i
) + (^ j
i
j)]
2
sustituyendo j
i
^ j
i
= ^-
i
:
=
N

i=1
[^-
i
+ (^ j
i
j)]
2
=
N

i=1
_
^-
2
i
+ (^ j
i
j)
2
+ 2^-
i
(^ j
i
j)

=
N

i=1
^-
2
i
+
N

i=1
(^ j
i
j)
2
+ 2
N

i=1
^-
i
(^ j
i
j)
Se demuestra que 2
N

i=1
^-
i
(^ j
i
j) = 0 dado que:
N

i=1
^-
i
(^ j
i
j) =
N

i=1
^-
i
^ j
i
j
N

i=1
^-
i
. .
=0
=
N

i=1
^-
i
^ j
i
=
N

i=1
^-
i
(
^
,
0
+
^
,
1
r
i
)
=
N

i=1
^-
i
^
,
0
+
N

i=1
^
,
1
^-
i
r
i
=
^
,
0
N

i=1
^-
i
. .
=0
+
^
,
1
N

i=1
^-
i
r
i
. .
=0
= 0
3
Entonces se obtiene:
N

i=1
(j
i
j)
2
. .
SUMA CUADRATICA TOTAL
=
N

i=1
^-
2
i
. .
SUMA CUADRATICA RESIDUAL
+
N

i=1
(^ j
i
j)
2
. .
SUMA CUADRATICA EXPLICADA
oCT = oC1 +oC1
1 =
oC1
oCT
+
oC1
oCT
oC1
oCT
= 1
oC1
oCT
El cociente
SCE
SCT
se dene 1
2
, o coeciente de determinacin, esta incluido entre 0 y 1 y es un indicador
de la bondad de la regresin (o bondad de ajuste): si la suma cuadratica explicada es mucho mas grande
con respecto a la suma cuardatica residual, es decir si las variabilidad de las variables explicativas utilizadas
como regresores pueden explicar la mayor parte de la variabilidad de la variable dependiente, 1
2
ser cerca
de 1. Al reves, si los regresores tienen un bajo poder explicativo de la variable dependiente, 1
2
ser cerca
de 0. Dado que la suma cuadratica explicada es creciente en el numero de regresores, el 1
2
aumenta por
construccin simplemente aadendo regresores en el modelo inicial. Se introduce entonces una medida mas
robusta, el 1
2
ajustado o corregido, indipendiente del numero de regresores, indicado convencionalmente con

1
2
:

1
2
= 1
(oC1, /)
(oCT, 1)
donde la introduccin de regresores adicionales es penalizada para el factor / (grados de libertad).
El valor de

1
2
puede disminuir despues de la inclusin de regresores adicionales, incluso podria ser negativo.
Determinamos ahora 1
2
en el contexto multivariante de / regresores: j = A, + -. Se introduce una
matriz conveniente denida '
0
que expresa la desviaciones de un vector con respecto a su media. Dado
un vector x de dimensin ( 1), sea x el correspondiente vector de medias, siendo r =
N
P
i=1
xi
N
=
ix
N
, con
i=[1 1 ...1]
. .
(1k)
:
x x =
_

_
r
1
r
r
2
r
...
r
N
r
_

_
= 1x i
_
ix

_
= 1x
ii

x = (1
ii

)x = '
0
x
'
0
(NN)
= (1
ii

) =
_

_
(1
1
N
)
1
N
...
1
N

1
N
(1
1
N
)
1
N
... .. ... ...

1
N

1
N
... (1
1
N
)
_

_
Se demuestra que '
0
es simtrica e idempotente. Expresamos ahora el modelo lineal general en desviaciones
4
con respecto a las medias y la correspondiente suma cuadratica total:
j = ^ j + ^-
j = A
^
,
MCO
+ ^- premulticando por '
0
:
'
0
j = '
0
A
^
,
MCO
+'
0
^-
('
0
j)('
0
j) = ('
0
A
^
,
MCO
+'
0
^-)('
0
A
^
,
MCO
+'
0
^-)
j'
0
'
0
j = (
^
,
MCO
A'
0
+ ^-'
0
)('
0
A
^
,
MCO
+'
0
^-)
j'
0
j =
^
,
MCO
A'
0
'
0
A
^
,
MCO
+ ^-'
0
'
0
A
^
,
MCO
+
^
,
MCO
A'
0
'
0
^- + ^-'
0
'
0
^-
j'
0
j =
^
,
MCO
A'
0
A
^
,
MCO
+ ^-'
0
A
^
,
MCO
+
^
,
MCO
A'
0
^- + ^-'
0
'
0
^-
j'
0
j =
^
,
MCO
A'
0
A
^
,
MCO
+ ^-A
..
=0
^
,
MCO
+
^
,
MCO
A^-
..
=0
+ ^-^- dado que '
0
^- = ^-
j'
0
j
SCT
=
^
,
MCO
A'
0
A
^
,
MCO
SCE
+ ^-^-
SCR
1 =
^
,
MCO
A'
0
A
^
,
MCO
j'
0
j
+
^-^-
j'
0
j
1
2
=
^
,
MCO
A'
0
A
^
,
MCO
j'
0
j
= 1
^-^-
j'
0
j
1
2
=
oC1
oCT
= 1
oC1
oCT
2. Estimacin y distribucin de
2
:
2.1 Estimacin de
2
por mnimos cuadrados ordinarios: ^
2
MCO
Dado que o
2
es el valor esperado de -
2
i
(que coincide con la varianza de -
i
), se utiliza por analogia la suma
cuadratica de los residuos estimados para obtener un estimador insesgado de o
2
. Se calcula el valor esperado
1(^-
0
^-) utilizando las propiedades obtenidas antes por la matriz '. En primer lugar, es util expresar ^- de la
forma siguiente:
^- = 'j = '(A, +-) = 'A
..
=0
, +'- = '-
Entonces:
1(^-
0
^-) = 1(-
0
'
0
'
. .
=M
-) = 1(-
0
'-) = 1(tr(-
0
'-))
Donde el operador tr indica la traza de la matriz -
0
'- (es decir la suma de los elementos en la diagonal de la
matriz), y resulta 1(-
0
'-) = 1(tr(-
0
'-)) siendo -
0
'- un escalar. Se utiliza ahora la siguiente propiedad
de la traza del producto entre dos matrices: tr(1) = tr(1) si el producto 1 es admisible. Entonces:
1(^-
0
^-) = 1(tr(-
0
'-)) = 1(tr(--
0
'))
dado que el producto entre - y -
0
' es admisible. Podemos ahora llevar al interior de la segunda parentesis
el operador 1 y obtener:
1(^-
0
^-) = 1(tr(--
0
')) = tr(1(--
0
')) = tr(1(--
0
)') = tr(o
2
1
N
') = o
2
tr(')
Para calcular la traza de la matriz ' utilizamos la misma propiedad sobre la traza de un producto de
matrices:
tr(') = tr
_
1
N
A(A
0
A)
1
A
0

= tr(1
N
)tr(A(A
0
A)
1
A
0
) = tr(A
0
A(A
0
A)
1
. .
=I
k
) = tr(1
k
) = /
dado que el producto entre A
0
y A(A
0
A)
1
es admisible. Por lo tanto:
1(^-
0
^-) = o
2
( /)
5
Se dene entonces: ^ o
2
MCO
=
^"
0
^"
Nk
, y se demuestra que ^ o
2
MCO
es estimador insesgado de o
2
:
1(^ o
2
MCO
) = 1
_
^-
0
^-
/
_
=
1
/
1(^-
0
^-) =
1
/
o
2
( /) = o
2
Es importar subrayar que por este resultado no hemos necesitado ningn supuesto sobre la distribucin de
los errores.
2.2 Distribucin de ^
2
MCO
:
Para determinar la distribucin de ^ o
2
MCO
necesitamos introducir el supuesto adicional de normalidad de los
errores: - s (0, o
2
1
N
). Dado que:
^-
0
^-
o
2
=
-
0
'-
o
2
=
_
-
o
_
0
'
_
-
o
_
y dado que : - s (0, o
2
1
N
),
_
-
o
_
s (0, 1
N
)
podemos establecer la distribucin exacta del producto
_
"

_
0
'
_
"

_
utilizando el teorema siguiente:
Theorem 1 Sea A un vector aleatorio con distribucin normal multivariante estandardizada: A s (0, 1
N
),
y sea una matriz idempotente y simtrica de dimensin ( ) y rango igual a ,. Entonces, la forma
cuadratica en A, A
0
A, tiene la siguiente distribucin:
A
0
A s
2
(j)
Siendo
_
"

_
s (0, 1
N
), y siendo ' idempotente, aplicando el teorema anterior se obtiene:
^-
0
^-
o
2
=
_
-
o
_
0
'
_
-
o
_
s
2
(rango(M))
^-
0
^-
o
2
=
_
-
o
_
0
'
_
-
o
_
s
2
(Nk)
Sustituyendo ^-
0
^- = ^ o
2
MCO
( /) se obtiene:
^-
0
^-
o
2
=
^ o
2
MCO
( /)
o
2
s
2
(Nk)
2.3 Independencia entre ^
2
MCO
y
^

MCO
:
Se demuestra que ^ o
2
MCO
y
^
,
MCO
son independientes demuestrando la independencia entre
^
2
MCO
(Nk)

2
y
^

MCO

= (A
0
A)
1
A
0
_
"

_
:
^ o
2
MCO
y
^
,
MCO
independientes ()
^ o
2
MCO
( /)
o
2
y
^
,
MCO
,
o
independientes
Para la prueba de este resultado se utiliza el teorema siguiente:
Theorem 2 Sea A un vector aleatorio con distribucin normal multivariante estandardizada: A s (0, 1
N
),
sea 1A una forma lineal en A, y sea A
0
A una forma cuadratica en A, donde es una matriz idempotente
y simtrica de dimensin () y rango igual a /
A
. Entonces 1A y A
0
A son independientes si: 1 = 0.
Una implicacin importante del teorema anterior es la siguiente:
1A
_
X
0
AX
k
A
s t
k
A
si 1A s (0, 1
N
) (por 11
0
= 1), si A
0
A s
2
(k
A
)
y si 1 = 0.
6
Por lo tanto:
^

MCO

= (A
0
A)
1
A
0
_
"

_
es una forma lineal en el vector normal multivariante estandard
"

s (0, 1
N
), donde (A
0
A)
1
A
0
corresponde a la matriz 1 del teorema. Adems,
^"
0
^"

2
=
^
2
MCO
(Nk)

2
=
_
"

_
0
'
_
"

_
es una forma cuadratica en el vector normal multivariante estandard
"

s (0, 1
N
) y en la matriz
idempotente ' (correspondiente a la matriz del teorema). Entonces
^

MCO

y
^
2
MCO
(Nk)

2
son independi-
entes si (A
0
A)
1
A
0
' = 0 por el teorema anterior. Esto es cierto dado que hemos enseado en las secciones
anteriores que: 'A = 0 y A
0
' = ('A)
0
.
Este resultado es muy importante para determinar la distribucin de cada elemento del vector
^
,
MCO
,
por ejemplo
^
,
j
, cuando o
2
es desconocida. Bajo el supuesto de normalidad de los errores, sabemos que:
^
,
j
s (,
j
, [o
2
(A
0
A)
1
]
(j;j)
)
entonces seria posible establecer intervalos de conanza por ,
j
basados en la distribucin normal estandard,
dado que:
^
,
j
,
j
_
o
2
[(A
0
A)
1
]
(j;j)
s (0, 1) si o
2
fuera conocida.
Cuando o
2
es desconocida y viene estimada con ^ o
2
MCO
, la distribucin de
^

j
p
^
2
MCO
(X
0
X)
1
]
(j;j)
tambin lo
es, pero podemos determinarla utilizando los resultados que acabamos de obtener sobre la independencia de
^
,
MCO
y ^ o
2
MCO
:
^
,
j
,
j
_
^ o
2
MCO
[(A
0
A)
1
]
(j;j)
=
(
^
,
j
,
j
),
_
o
2
[(A
0
A)
1
]
(j;j)
_
1
Nk
(^ o
2
MCO
( /)),o
2
=
(0, 1
n
)
_

2
(Nk)
,( /)
s t
(Nk)
En conclusin, se obtiene que el siguiente estadstico tiene una distribucin t:
^
,
j
,
j
_
^ o
2
MCO
[(A
0
A)
1
]
(j;j)
s t
(Nk)
y puede ser utilizado para construir intervalos de conanza y tests de hiptesis sobre el parametro ,
j
.
7