Una introduccion a los Modelos lineales

Walden Alberto Borja Guerrero

Maestra en Estadstica
Facultad de Ciencias
Universidad Nacional de Colombia

8 de junio de 2015

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Antecedentes
Una tecnica con 200 a
nos

A. M. Legendre (1755 1833), 1805.

Gauss (1777 1855): Theoria motus corporum coelestium in

sectionibus conicis solem ambientum, 1809.

Francis Galton (1822 1911): Regression toward mediocrity

in hereditary stature, 1885.

Karl Pearson (1857 1936) y Udny Yule (1871 1951)

generalizaron los resultados estadsticos y ampliaron el alcance
del concepto de correlaci
on.

R.A. Fisher (1890 1962) Theory of statistical

estimationProceedings of the Cambridge. Philosophical
Society 22, 1925.

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Objetivo

Presentar el modelo clasico de regresi

on lineal de k variables (Y y
X2 , X3 , . . . , Xk ) en notaci
on de algebra matricial.
Yi = 1 + 2 X2i + 3 X3i + ... + k Xki + i
i = 1, 2, 3, ..., n
Siendo 1 el intercepto, 2 , ..., k coeficientes parciales de
pendientes, el termino de perturbaci
on estocastica e ila i-esima
observacion, con n como tama
no de la poblaci
on
La FRP se interpreta en la forma usual: la media o el valor
esperado de Y condicionado a los valores fijos (en muestreo
repetido) de X2 , X3 , . . . , Xk , es decir, E(Y |X2i , X3i , ..., Xki ).

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

La ecuacion anterior es una expresi

on abreviada para el siguiente
conjunto de n ecuaciones simultaneas:
Y1 = 1 + 2 X21 + 3 X31 + ... + k Xk1 + 1
Y2 = 1 + 2 X22 + 3 X32 + ... + k Xk2 + 2
.................................
Yn = 1 + 2 X2n + 3 X3n + ... + k Xkn + 2

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

La expresion matricial de este sistema

expresar,

1 X21 X31
Y1
Y2 1 X22 X32

. .
.
.
=
. .
.
.

. .
.
.
1 X2n X3n
Yn

de ecuaciones, se puede

. . . Xk1
. . . Xk2

.
.

.
.

.
.
. . . Xkn

donde y = vector columna n 1 de observaciones sobre la variable

dependiente Y
X = matriz n k, con n observaciones sobre las k 1 variables X2
a Xk , y la primera columna de n
umeros 1 representa el termino del
intercepto. (Esta matriz se conoce tambien como matriz de
datos.)
= vector columna k 1 de los parametros desconocidos 1 , 2 , .
. . ,k
= vector columna n 1 de n perturbaciones ui
Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Este sistema se conoce como representaci

on matricial del modelo
de regresion lineal general (de k variables). Se escribe en forma
mas compacta como

 

y
X
+

=
n1
nk k 1 n1
Donde no haya confusi
on sobre las dimensiones u ordenes de la
matriz X y de los vectores y , y , la ecuaci
on se escribe tan solo
como
y = X +
El objetivo es estimar los parametros de la regresi
on m
ultiple y
efectuar inferencias sobre ellos a partir de la informacion
disponible. En la notaci
on matricial esto equivale a estimar y a
inferir sobre el. Para fines de estimaci
on, es posible utilizar el
metodo de mnimos cuadrados ordinarios (MCO) o el metodo de
maxima verosimilitud (MV), pero ambos metodos producen valores
estimados identicos de los coeficientes de regresi
on.
Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Supuestos de modelo de regresi

on lineal
1)El valor esperado del vector de perturbaciones , es decir, de
cada uno de sus elementos es cero, E()= 0.


E(1 )
0
1
2 E(2 ) 0


. . .
=

E =
.
.
.


. . .
0
n
E(n )

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Supuestos de modelo de regresi

on lineal
2) Homoscedasticidad y no correlaci
on serial: E(0 ) = 2

1
2

. 

0
1 2 . . . n
E ( ) = E
.

.
n
Al efectuar la multiplicaci
on y aplicar el valor esperado a cada
elemento de la matriz, se obtiene:

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

E (21 ) E (1 2 )
E (2 1 ) E (2 )
2
E (0 ) =

.
.
E (n 1 ) E (n 2 )

.
.
.
.

.
.
.
.

. E (1 n )
. E (2 n )

.
.
2
. E (n )

Debido a los supuestos de homoscedasticidad y

serial, la matriz anterior se reduce a:
2

0 0 . . . 0
1
2

0 0 . . . 0
2 0
E (0 ) =
.
= .
. . . . .
0 0 0 . . . 2
0

de no correlacion

0 0 . . . 0
1 0 . . . 0
= 2I
. . . . . .
0 0 . . . 1

donde I es una matriz de identidad n n

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Supuestos de modelo de regresi

on lineal
3)La matriz X de n k es no estocastica; es decir, consta de
n
umeros fijos. El analisis de regresi
on es de regresion condicional,
es decir, condicional a los valores fijos de las variables X
4) No existe multicolinealidad. El rango de X es (X ) = k donde k
es el n
umero de columnas en X y k es menor que el n`
umero de
observaciones, n. Es decir, las columnas de la matriz X son
linealmente independientes.
5)Normalidad de los residuos. El vector tiene una distribucion
normal multivariada, es decir N(0, 2 )

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Estimacion por Mnimos Cuadrados Ordinarios

Este metodo consiste en determinar los valores de los parametros
j de tal manera que la suma de cuadrados del error (SCE) sea
mnima, es decir, que minimiza
0 (y X )

0 = (y X )
= y 0 y 20 X 0 y + 0 X 0 X
Esto se
Como 0 X 0 y es un escalar, es igual a su traspuesta y 0 X .
logra al diferenciar respecto del vector e igualar a cero las
expresiones resultantes
(0 )
= 2X 0 X 2X 0 y = 0

(X 0 X ) = X 0 y
Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

La informacion conocida del problema es X ,y , X 0 X y X 0 y , y la

Mediante el algebra matricial, y dado que exite la
incognita es .
inversa de (X 0 X ), entonces premultiplicando por la (X 0 X )1 se
tiene:
(X 0 X )1 (X 0 X ) = (X 0 X )1 X 0 y
hat = (X 0 X )1 X 0 y

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Otras estimaciones del Modelo(1)

1) Matriz de Varianzas y Covarianzas: Para fines de estimacion
estadstica, es necesario estimar las varianzas de y las covarianzas
Equivalente a:
entre los elementos del vector .
= E [ E ()][
E ()]
0
var cov ()
la cual se escribe explcitamente como
var (1 )
cov (1 , 2 )

var (2 )
= cov (1 , 2 )
var cov ()

.
.
cov (k , 1 ) cov (k , 2 )

.
.
.
.

.
.
.
.

. cov (1 , k )
. cov (2 , k )

.
.
.
var (k )

Se obtiene a partir de:

= 2 (X 0 X )1
var cov ()

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

donde 2 es la varianza homoscedastica de i y (X 0 X )1 es la

matriz inversa ya analizada. Un estimador insesgado de 2 en el
caso de k variables esta dado por
P 2
i
0

=
=
nk
nk
2

donde,
0
, es la suma de cuadrados de la regresi
on, se calcula de
la siguiente manera:

0
= y 0 y 0 X 0 y
2. Coeficiente de correlaci
on R 2 :
R2 =

0 X 0 y nY2
y 0 y nY2

Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales

Algunas aplicaciones de la matriz Hat

La matriz Hat H = X (X 0 X )1 X 0 ayuda a determinar muchos de
los resultados de las estimaciones por Mnimos Cuadrados
Ordinarios. Por ejemplo, cuando premultiplica el vctor de
respuestas y , se obtienen las predicciones de la variable
dependiente, por eso en algunos textos de estadstica es
denominada Matriz de Predicci
on, y a la matriz In H la llaman
matriz residual, puesto que al anteponersele a la variable
dependiente y , se obtienen los respectivos residuales.
y = X = X (X 0 X )1 X 0 y = Hy

= y y = y Hy = (In H)y
SCE =
0
= [(In H)y ]0 [(In H)y ] = y 0 (In H)y

SCT = y 0 (In J)y

SCR = SCT SCE = y 0 (H J)y

donde J = n1 110
Walden Alberto Borja Guerrero

Una introducci
on a los Modelos lineales