Ingeniera Comercial

Econometra
Captulos II
Profesor: Facundo Luna

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Para qu usar modelos de regresin

Examinar la relacin entre una variable dependiente y un

conjunto de variables independientes

Ej. Cmo se relaciona la cantidad demandada de un bien con su

precio?

Predecir el comportamiento esperado de una cierta

variable en funcin de variables independientes conocidas
Ej. Cul es el nivel de consumo dado un cierto nivel de ingreso?

Evaluar hiptesis:
Ej: Cmo es la propensin marginal a consumir de los hogares
pobres?

Ejemplo de un modelo de regresin

Se cree que existe una relacin lineal entre el punto de

ebullicin del agua y la presin atmosfrica a la que esta se
pone a hervir
Se evala esta hiptesis tomando 6 mediciones en los Andes a distintas
alturas
Se registra la presin atmosfrica (pulgadas de mercurio) y el punto de
ebullicin (temperatura en F)
Se obtienen las siguientes medidas
X
Y

20.79
194.5

22.423.89 24.02 25.14 29.04

197.9 200.9 201.4 203.6 210.7

Ejemplo de un modelo de regresin

Se tiene en mente el siguiente modelo

Queremos estimar los parmetros y .

Necesitamos encontrar una manera o definir un mtodo
para hacerlo

Veamos grficamente cmo se visualizan estos

puntos

Ejemplo de un modelo de regresin

Ejemplo de un modelo de regresin

Luce como una recta, pero no es posible conectar

todos los puntos con una misma lnea
El ajuste no es perfecto
Hay ms de una manera de trazar una lnea que pase
cerca de todos estos puntos
Hay que decidir cmo elegir el lugar por donde va a pasar
Vamos a usar un mtodo llamado MINIMOS
CUADRADOS ORDINARIOS, pero bien yo podra decidir
unir el primer punto y el ltimo

195

200

205

210

Ejemplo de un modelo de regresin

20

22

24
Y
linea

26
Fitted values

28

30

Algo de terminologa

En el modelo simple de regresin, tenemos

Tpicamente nos referimos a y como
Variable dependiente, o
Variable explicada, o
Regresando.

Tpicamente nos referimos a x como

Variable independiente, o
Variable explicativa, o
Regresor, o
Variable de control.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Supuestos

RLS.1- Lineal en los Parmetros

RLS.2- Muestreo Aleatorio

RLS.3- Variacin Muestral en la Variable

Explicativa

RLS.4- Media Condicional E(u|x) =0

Cov(u,x)=0
E(xu)=0

Supuestos

El
valor promedio de u, el trmino de error, en la poblacin
es cero. Esto es,
E(u) = 0
Este no es un supuesto muy restrictivo, por que uno siempre puede
pensar que cualquier desviacin de E(u) = 0, puede ser absorbida
por .

Pero

necesitamos hacer un supuesto clave acerca de cmo u y

x se relacionan.
No vamos a querer que conocer x nos de ningn tipo de informacin
acerca de u. Querremos que u y x no estn correlacionadas. Esto es,
E(u|x) = E(u) = 0, lo que implica que

Supuestos

Este ltimo supuesto es crucial.

Para poder interpretar al parmetro de una manera causal
(manteniendo todos los no-observables constantes, un ao
adicional de educacin aumenta los ingresos en $XXX)
uno tiene que asegurarse de que las X sean variables fijas
Por qu? Volvamos al ejemplo
Supongamos que en los no observables est habilidad innata

Supuestos

Causalidad

Un individuo ms hbil tiene, independientemente de su nivel

educativo, un ingreso ms alto que el promedio (un u positivo)
Pero, podra tambin suceder que un individuo ms hbil tambin
encuentra menos costoso adquirir educacin y por lo tanto
tambin un individuo ms hbil adquiere ms educacin
Educacin y habilidad (parte del trmino de error) estn
relacionadas
Cuando uno no especifica el modelo adecuadamente, encuentra
un efecto educacin sesgado hacia arriba Grficamente

15000

20000

Habilidad y educacin

Relacin verdadera

5000

10000

Lnea estimada

10
educ
linea_verdadera
Fitted values

15
salario_h

20

Supuestos

Causalidad
El punto es que la variable educacin nos da informacin
del valor del residuo
A mayor educacin, mayor habilidad y por lo tanto, ms
probable encontrar valores de u altos
Necesitamos que E(u/x)=0 (que X NO de info acerca de los valores
que puede tomar u)
Si E(u/x)=0, entonces
se llama parte sistemtica de Y, o parte explicada
u es la parte no sistemtica o no explicada

Mnimos Cuadrados Ordinarios

Idea bsica es estimar los parmetros a partir de una

muestra de datos.

Sea {(xi,yi): i=1, ,n} una muestra aleatoria, de tamao

N.

Para cada observacin de esta muestra, se cumplir que

Vemoslo grficamente.

Lnea de regresin poblacional; puntos

muestrales y errores asociados.
y
y4

u4

y3
y2

y1

u2 { .

.{

.} u3

} u1

x1

x2

x3

x4

Derivando los estimadores MCO

Para
derivar los estimadores MCO, necesitamos el

supuesto de que E(u|x) = E(u) = 0. Noten que esto tambin

implica que: Cov(x,u) = E(xu) = 0
Por qu? Les recuerdo que Cov(x,u) = E(xu) E(x)E(u)
Si E(u|x) = 0, entonces, Cov(x,u)=0
Si E(u) = 0, Cov(x,u) = E(xu), y entonces, E(xu) = 0.

Vamos a elegir las expresiones para y , tal que estas dos

condiciones se cumplan en la muestra.
E(y x) = 0 => = 0
E[x(E(y x)] = 0=>

=0

Derivando los estimadores MCO

Tenemos que resolver este sistema de dos ecuaciones.

Obtendremos una expresin para y otra para en

funcin de los datos.

Estas sern nuestras estimaciones.

Obtendremos a partir de los datos estimaciones

puntuales para los parmetros del modelo.

Soluciones MCO

Las soluciones estarn dadas por las siguientes

expresiones.

siendo necesario que >0

Pendiente de la recta

La pendiente estimada est dada por la covarianza entre

x e y divida por la varianza muestral de x.

Si x e y estn correlacionadas de manera positiva, la

pendiente ser positiva.

Si x e y estn negativamente correlacionadas, la

pendiente ser negativa.

Necesitamos que x vare en la muestra.

De dnde viene el trmino MCO?

Lo que acabamos de hacer es equivalente a dibujar la
recta tal que estamos minimizando los residuos al
cuadrado.
Esto es, las mismas expresiones se obtienen si
procedemos a minimizar la distancia entre Y y la recta
estimada.
El residuo, , es la estimacin del verdadero valor, u. Y
est dado por la diferencia entre el valor de y para un
cierto individuo y la recta estimada.

De dnde viene el trmino MCO?

Llamamos valores ajustados o predicciones a los

valores de la variable explicada que obtenemos
siguiendo el modelo de regresin simple con los
valores de los coeficientes estimados:

El residuo es entonces la diferencia entre el valor

observado y el valor ajustado de la variable:

Problema de Optimizacin

idea de MCO es usar tcnica de

La
minimizacin usual para obtener el menor
valor de errores al cuadrado

Min =
Condiciones de Primer orden:

Como pueden observar son las mismas expresiones que las

derivadas en los supuestos de MCO

Lnea de regresin poblacional; puntos

muestrales y errores asociados
y
y4

4 {

y 0 1 x
y3
y2

y1

2 { .

.}

3
Valor ajustad o
Valor predicho

1
}
.
x1

x2

x3

x4

Propiedades algebraicas de MCO

La
suma de los residuos estimados es cero.

Y entonces tambin el promedio de los residuos estimados tambin

es cero.

Prueba: primera condicin de primer orden de MCO

La covarianza muestral entre los residuos estimados y x es

cero.

Prueba: segunda condicin de primer orden de MCO

La recta estimada siempre pasa por el promedio de los datos.

Prueba: definicin de

Porqu usar MCO y no otro

mtodo?
Es fcil obtener la frmula de los
estimadores.
Sin tcnicas de optimizacin numrica
Teora estadstica es sencilla: insesgadez,
consistencia y eficiente.
Solucin coincide con las propiedades
deducidas de la esperanza condicional.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Descomposicin de la varianza

Pensemos
en cada observacin como la suma de una
parte explicada y una parte no explicada .
Definamos la expresin
=Suma total de cuadrados
Sintticamente se la llama, STC.
Se puede demostrar que

STC=SCE + SCR

Bondad de Ajuste

Esta expresin nos permite entender qu tan bien

nuestro modelo nos permite ajustar nuestros datos.

Podemos computar la fraccin de la SCT que es

explicada por el modelo.

R2 = SCE/SCT = 1 SCR/SCT
Es la proporcin de la variacin muestral de y que es
explicada por x.

Importante: R2 est entre 0 y 1

Cmo hacer regresiones?

Stata: si tipea el comando reg y x
Uno obtiene los coeficientes estimados y otros
estadsticos cuya funcin ya iremos viendo

Veamos un Ejemplo

Ejemplo

Cmo interpretamos los coeficientes estimados?

Pendiente: un aumento en una hora de trabajo a la semana, reduce

la cantidad de horas de sueo a la semana en 0.15 hrs.
Una persona que no trabaja, duerme a la semana 60 hrs.

En nuestra muestra hay individuos que no trabajan, y si

los sacamos?

Ejemplo

Coeficiente de determinacin? Obtengo un 11%

aproximadamente, segn qu muestra use
Las horas de trabajo explican un 11% de la varianza total en las
horas de sueo.
Veamos hombres versus mujeres

Ejemplo

Ejemplo

Estructura de los captulos

Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Propiedades del estimador MCO

Insesgamiento

Asumamos

Modelo poblacional es lineal en los parmetros:

La muestra que tenemos es aleatoria, de tamao n: {(xi, yi): i=1,

2, , n}. Entonces, podemos escribir , el modelo muestral
como .
E(u|x) = 0 y entonces E(ui|xi) = 0
La variable x tiene varianza positiva.

Propiedades del estimador MCO

Insesgamiento

Insesgamiento: el valor esperado del estimador se corresponde con el verdadero

valor real del parmetro.

La insesgadez es una propiedad deseable, ya que nos asegura

que el estimador en promedio est centrado sobre el parmetro.

Propiedades del estimador MCO

Insesgamiento
Los estimadores MCO para y son insesgados.
Esta propiedad depende de los cuatro supuestos ya
mencionados.
Esta propiedad describe el estimador: en una muestra
dada, podramos estar cerca o lejos del verdadero
parmetro: en promedio estamos bien
Qu tan cerca o lejos puede estar una realizacin
especfica, depende de su varianza

Propiedades del estimador MCO

Varianza
Asumamos que la distribucin de nuestro estimador
est centrada en torno al verdadero parmetro.
Queremos pensar en qu tan dispersa est la
distribucin de este estimador.
Para facilitarnos el anlisis, asumamos por el momento
que Var(u|x) = 2 (Homosedasticidad).
Var(u|x) = E(u2|x)-[E(u|x)]2
E(u|x) = 0, y entonces 2 = E(u2|x) = E(u2) = Var(u)

Propiedades del estimador MCO

Varianza
2 es llamada tambin varianza no condicional, o
varianza del error.
, la raz cuadrada de la varianza del error se llama
desviacin estndar del error.
Decimos entonces que E(y|x)= + x y Var(y|x) = 2

Propiedades del estimador MCO

Varianza

Estas formulas no son validas en presencia de

heterocedasticidad
cae si:
Disminuye
Aumenta

Caso Homosedstico

y
f(y|x)

.
x1

x2

.E(y|x) = + x
0

Caso heteroscedastico

f(y|x)

.
x1

x2

x3

E(y|x) = 0 +
1 x

Estimacin de la varianza

No
conocemos la verdadera varianza del error 2; no
podemos obtenerla por que no conocemos los verdaderos
errores ui

Slo observamos los residuos estimados, i

Podemos usar estos residuos para estimar la varianza del

error.

Usaremos como estimador de la varianza del error, la

varianza del error estimado

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Formas funcionales
logartmicas

Hasta ahora hemos visto modelos en

niveles

W= + Educ+u

Coeficiente mide el cambio en W ante un

cambio unitario en Educ.
Suena poco realista

Interpretacin modelo
simple

Datos CASEN 2011, hombres 25-60 aos

Interpretacin modelo
simple

Limitacin: por cada ao adicional de educacin

un hombre aumenta su salario en $63.544.
Parece un poco naive; uno esperara que no fuera
igual pasar de tener 10 a 11 aos de educacin,
que pasar de tener 17 a 18 (magister).
Cuando veamos el modelo con ms de una
variable, encontraremos maneras de flexibilizar
este supuesto.
En el contexto del modelo simple, uno puede jugar
con la forma funcional, en vez de usar salaros en $
$, usar logaritmos
Veamos cmo

Formas funcionales
logartmicas

Forma logartmica doble (log-log)

ln(W)= 0+1ln(Educ)+

Coeficiente se interpreta como una

elasticidad: qu variacin porcentual
experimenta la variable Y ante un cambio
porcentual en X
Veamos un ejemplo

Formas funcionales
logartmicas

Interpretacin: Cuando los aos de educacin aumentan en un 1%, el salario aumenta en un

0.78%. Si el coeficiente fuera 2.5: un aumento de un 1% en los aos de educacin aumenta el
salario en 2.5%

Formas funcionales
logartmicas

Forma semi-logartmica
ln(W)= 0+1 Educ+
Interpretacin aproximada coeficiente: variacin
porcentual en la variable Y ante un cambio en
una unidad en X.
Se conoce como semi-elasticidad.
Veamos esto con un ejemplo.

Formas funcionales
logartmicas

Interpretacin: Un ao adicional de educacin aumenta el salario mensual en 10,1%

Esto en realidad es una aproximacin (efecto exacto es 10,6%
La frmula para evaluar el cambio en el salario mensual cuando la educacin aumenta en un ao est
dada por

% y 100 exp( 1x) 1

^

Formas funcionales
logartmicas

Por qu usamos logaritmos?

Reducimos el rango de variacin de la variable
dependiente => menor influencia valores
extremos
Flexibilizacin de forma funcional
Ej es demasiado simplista pensar que un ao de
educacin aumenta el salario horario en 500 pesos,
pero tal vez resulta ms plausible postular que un ao
adicional de educacin aumenta el salario en un cierto
%

Formas cuadrticas

Ejemplo
ln W= 0+1Educ+2Educ2+

Lo importante es recordar que para encontrar el

efecto de Educ en W tengo que considerar
ambas pendientes.
En particular:

y 0 1 Educ 2 Educ 2
y 2 Educ Educ

Formas cuadrticas

Lo que en definitiva indica esta frmula es

que el efecto de Educ en W no es lineal.
Depende del valor de Educ.
Si Educ=0, es el efecto de pasar de educ=0 a
educ=1.
Para otros valores de Educ debemos tener en cuenta
el segundo trmino
Que no es constante, sino que depende de Educ

Formas cuadrticas

Estimemos el modelo de salarios con el

trmino cuadrtico

Datos CASEN 2011

12

Linear prediction
13
14

15

Formas cuadrticas

10
aos de escolaridad

15

20

61

10

12

14

16

Formas cuadrticas

10
aos de escolaridad
Linear prediction

15

20

lsal

62

Formas cbicas

Podramos incluso agregar un trmino al

cubo

Datos CASEN 2011

12

13

14

15

Formas cbicas

10
aos de escolaridad

Linear prediction
Yhat Modelo lineal

15

20

Yhat Modelo Cuadrado

Cambios de escala

Escalando datos. Opciones

1. En el modelo de salarios, quiero medir los salarios en
miles de pesos. Cambia la escala de la variable
dependiente.
2. En un modelo en el que tanto la variable dependiente
como la independiente estn medidas en $$, quiero
pasar a medirlas en miles de pesos.

Cambios de escala
1.

En el modelo de salarios, quiero medir los

salarios en miles de pesos. Cambia la escala
de la variable dependiente.
Modelo original: coeficiente muestra en cuntos
pesos aumenta el salario mensual cuando
aumenta en un ao la educacin
Modelo escalado: coeficiente muestra en cuntos
miles de pesos aumenta con cada aumento
unitario en los aos de educacin.
Cambia la escala: coeficientes y errores estndares se
dividen por 1000.
Veamos un ejemplo.

Cambios de escala
Modelo original

Cambios de escala
Modelo con variable dependiente en miles de pesos

Cambios de escala
2.

En un modelo en el que tanto la variable

dependiente como la independiente estn
medidas en $$, quiero pasar a medirlas en
miles de pesos.
No cambia nada, excepto la constante y sumas
explicadas, residuales
Por qu cambian las sumas residuales y la constante?
Suma de residuos antes la tena en pesos cuadrados;
ahora est en miles de pesos.
Constante antes me meda cuntos pesos ganaba un
individuo con cero ao de educacin; ahora me mide
cuntos MILES de pesos.

Ingeniera Comercial

Econometra
Captulos II
Profesor: Facundo Luna