TEMA 2: Modelo de regresion simple

Basado en Wooldridge (2010), Captulo 2

Profesora: Serafima Chirkova
Departamento de Economa.
Universidad de Santiago
Econometra I. Primer semestre 2015

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

1 / 26

Estructura

Introduccion. Definicion del modelo de regresion simple.

Modelo de regresion lineal simple: estimacion

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

2 / 26

Introduccion
Objetivo: presentar un modelo econometrico para analizar la
relacion entre dos variables: como x causa (provoca) cambios
en y .
Problemas basicos:
1

Como se permite que otros factores afecten a y ?

incorporar u: otros factores
Cual es la relaci
on funcional entre x y y ? suponer una
relaci
on lineal
Como asegurarnos que se esta captando una relacion ceteris
paribus? interpretaci
on de los par
ametros

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

3 / 26

Modelo de regresion lineal simple: definicion

Consideramos una ecuacion que relacione y y x:
y = 0 + 1 x + u,

(1)

Nota: suponemos que se cumple en la poblacion de interes.

Elementos del modelo:
variables y termino de error,
relacion funcional,
parametros.

y variable dependiente, variable explicada, variable de

respuesta o regresando.
x variable independiente, variable explicativa, variable
de control o regresor.
u t
ermino de error o perturbaci
on aleatoria que recoge el
efecto de otros factores que afectan a y .
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

4 / 26

Modelo de regresion lineal simple: parametros

1 y 0 son parametros desconocidos que queremos estimar
utilizando un muestra aleatoria de (x, y ).
1 es el parametro de pendiente
1 refleja la variaci
on en y ante un aumento de una unidad en x,
y = 1 x

si

u = 0

manteniendo constantes el resto de los factores que

influyen en y y que vienen recogidos en el termino de error u.
x tiene un efecto lineal sobre y : el aumento en una unidad en x
tiene el mismo efecto sobre y con independencia del valor inicial
de x.
x = 1 y = 1 , x, u = 0

0 es el intercepto o el termino constante

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

5 / 26

Modelo de regresion lineal simple: ejemplos

Ejemplo 1: salario y educacion
Consideremos el modelo de regresion simple que relaciona el
salario de una persona con su nivel de educacion
wage = 0 + 1 educ + u
El termino de error u contiene todos los demas factores que
influyen en el salario, como la experiencia laboral, la habilidad
innata, la antig
uedad en el empleo actual, etc.

Ejemplo 2: rendimiento de frijol de soya y el fertilizante

Supongamos que la produccion de soja esta determinada por el
modelo
yield = 0 + 1 fertilizer + u
El termino de error u contiene todos los demas factores que
influyen en la producci
on de soja como la calidad de la tierra, la
cantidad lluvia cada, etc.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

6 / 26

Modelo de regresion lineal simple: supuestos

Supuesto RLS.1 (linealidad en los par
ametros)
En el modelo poblacional, la variable aleatoria dependiente, y ,
esta relacionada con la variable aleatoria independiente, x, y con
el error (o perturbacion), u, de la manera lineal con respecto a
los parametros 0 y 1 :
y = 0 + 1 x + u,
Ejemplos de modelos lineales:

(2)

wage = 0 + 1 educ 2 + u,
wage = 0 + 1 lneduc + u,
Ejemplos de modelos no lineales:
wage = 0 + educ 1 + u,
wage =
Serafima Chirkova (USACH)

0
+ u.
1 educ

Tema 2. Regresi
on simple

Econometra I, 2015

7 / 26

Modelo de regresion lineal simple: supuestos

(cont.)
Supuesto RLS.2 (muestra aleatoria)
Se cuenta con una muestra aleatoria de tamano n,
{(xi , yi ) : i = 1, 2, . . . , n} que sigue el modelo poblacional de la
ecuacion:
yi = 0 + 1 xi + ui ,
(3)
donde i indexa individuos de una muestra aleatoria de tamano n,
i = 1, 2, . . . , n
Consecuencia: la informacion del individuo i es independiente
de la informacion del individuo j:
cov (ui , uj ) = 0, i 6= j

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

8 / 26

Modelo de regresion lineal simple: relacion x y u

El parametro 1 mide el efecto de x sobre y , con todos los
demas factores (en u) fijos. Pero en que sentido mantenemos
los otros factores para llegar a tales conclusiones?
Como x y u son variables aleatorias necesitamos un concepto
basado en su distribucion de probabilidad.
Supuesto provisional: siempre que incluyamos el termino
constante 0 en la ecuacion podemos suponer que el valor
promedio de u en la poblacion es cero:
E (u) = 0
Es simplemente una normalizacion: el efecto medio de los otros
factores se renormaliza a cero,
Consecuencia: 0 = E (y ) 1 E (x)
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

9 / 26

Modelo de regresion lineal simple: supuestos

(cont.)
Problema: u pueden tener otro tipo de relacion (no lineal) con x:
puede haber relacion u con x 2 , etc.
Supuesto RLS.3 (media condicionada nula)
E (u|x) = 0

(4)

Consecuencia: E (u) = 0, para todos los posibles valores de x,

la media de u siempre es la misma constante, 0.
Supuesto RLS.4 (variaci
on muestral de una variable
explicativa)
Los valores de la variable explicativa xi , i = 1, . . . , N, no pueden
ser todos iguales, es decir, x no puede ser constante.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

10 / 26

Ejemplo: salario y educacion

Como interpretar el supuesto (4) en el contexto de los ejemplos
anteriores?
Ejemplo 1 (cont.)
Para simplificar supondremos que el termino de error u mide
exclusivamente la habilidad innata.
El supuesto (4) implica que el nivel medio de habilidad no
depende de los a
nos de formaci
on.
Bajo este supuesto, el nivel de habilidad medio de los individuos
con 10 a
nos de formaci
on debera ser el mismo que el de los
individuos con 16 a
nos de formaci
on.
Sin embargo, si pensamos que los individuos con mayor
habilidad innata eligen adquirir mayor formacion, la habilidad
media de los individuos con 16 a
nos de formacion sera mayor
que la de los individuos con 10 a
nos de formacion, y el supuesto
(4) no se verificara.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

11 / 26

Ejemplo: rendimiento de frijol de soya y el

fertilizante
Ejemplo 2 (cont)
Para simplificar supondremos que en este ejemplo el termino de
error u mide exclusivamente la calidad de la tierra.
En este caso, si la cantidad empleada de fertilizante en las
distintas parcelas es aleatoria y no depende de la calidad de la
tierra, entonces el supuesto (4) sera cierto: la calidad media de
la tierra no depende de la cantidad de fertilizante.
Por el contrario, si las mejores parcelas reciben una mayor
cantidad de fertilizante, el valor medio de u dependera de la
cantidad de fertilizante y el supuesto (4) no sera cierto.

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

12 / 26

Funcion de regresion poblacional

Vamos a obtener ahora la expresion de la media de y
condicionada a x bajo el supuesto (4). Si calculamos el valor
esperado (condicionado a x) en la ecuacion (1) tenemos que
E (y | x) = E (0 + 1 x + u | x) = 0 + 1 x + E (u | x)
y bajo el supuesto (4)
E (y | x) = 0 + 1 x

(5)

Esta ecuacion muestra que, bajo el supuesto (4), la funci

on de
regresi
on poblacional, E (y | x), es una funcion lineal de x.
De la ecuacion (5) se deduce que:
0 es la media de y cuando x es igual a cero.
1 mide al variaci
on en la media de y ante un aumento de una
unidad en x.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

13 / 26

Modelo de regresion lineal simple: estimacion

Puesto que E (u) = 0, utilizando la ecuacion (1) y substituyendo
u en funcion de las variables observables tenemos que
E (y 0 1 x) = 0

(6)

Por otra parte se puede demostrar que

E (u | x) = 0 E (xu) = 0
y utilizando la ecuacion (1) y substituyendo u en funcion de las
variables observables tenemos que
E (x(y 0 1 x)) = 0

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

(7)

Econometra I, 2015

14 / 26

Metodo de los momentos

Reemplazando en las ecuaciones (6) y (7) las esperanzas
poblacionales por las medias muestrales, se definen las
estimaciones b0 y b1 como las soluciones de las ecuaciones:
n

1X
(yi b0 b1 xi ) = 0
n i=1

(8)

1X
xi (yi b0 b1 xi ) = 0
n i=1

(9)

Notese que las ecuaciones (8) y (9) son las contrapartidas

muestrales de las ecuaciones (6) y (7). Los estimadores
obtenidos como contrapartidas muestrales de momentos
poblacionales se denominan estimadores del m
etodo de los
momentos.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

15 / 26

Los estimadores del Metodo de los Momentos

Los estimadores MM en el modelo de regresion simple:

b1MM

b0MM = y b1MM x
Pn
(xi x) (yi y )
Sxy
= i=1
= 2
Pn
2
Sx
i=1 (xi x)

(10)
(11)

donde
1 Pn
Sxy = n1
i=1 (xi x) (yi y ) es la covarianza muestral
entre x e y ,
2
1 Pn
Sx2 = n1
i=1 (xi x) es la varianza muestral de x.

Demostracion en clase.
MM
MM
A b0
lo denominamos estimador MM de 0 y a b1
estimador MM de 1 .
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

16 / 26

Metodo de Mnimos Cuadrados Ordinarios (MCO)

En el modelo de regresion simple:
yi = 0 + 1 xi + ui , para i = 1, . . . , N
El objetivo es estimar los valores de los coeficientes 0 y 1 .
Para ellos tomamos una muestra de los datos de las variables y
y x: (xi , yi ) para i = 1, , N.
Ejemplo 1: salario y educacion
Queremos analizar si el nivel de educaci
on de un trabajador
tiene alg
un efecto en su salario.
Se toman datos de 526 trabajadores, yi es el salario por hora del
trabajador i, y xi = es el n
umero de los a
nos de educacion del
trabajador i para i = 1, , 526.

Dibujamos la nube de puntos asociada a una determinada

muestra de tamano n y una recta cualquiera
y = b0 + b1 x
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

17 / 26

Metodo de MCO: interpretacion grafica

Cada punto representa una observacion.

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

18 / 26

Metodo de MCO: funcionamiento

La estimacion MCO consiste en minimizar la suma de los
cuadrados de las distancias verticales de los puntos de la nube a
la recta de regresion.
Graficamente la distancia vertical del punto (xi , yi ) a la recta
y = b0 + b1 x viene dada por yi b0 b1 xi .
Por tanto la funcion objetivo que tenemos que minimizar es
n
X
min s(b0 , b1 ) min
(yi b0 b1 xi )2
(12)
b0 ,b1

b0 ,b1

i=1

Las derivadas parciales son:

s(b0 , b1 )
b0

= 2

s(b0 , b1 )
b1

= 2

Serafima Chirkova (USACH)

n
X
i=1
n
X

(yi b0 b1 xi )
xi (yi b0 b1 xi )

i=1
Tema 2. Regresi
on simple

Econometra I, 2015

19 / 26

Metodo de MCO: funcionamiento

Los coeficientes estimados se obtienen igualando a cero las
derivadas parciales de la funcion objetivo
n
X

(yi b0 b1 xi ) = 0

i=1
n
X

donde

xi (yi b0 b1 xi ) = 0

i=1

El valor de b0 es el valor aproximado de 0 , 0 = b0

El valor de b1 es el valor aproximado de 1 , 1 = b1

Estas dos ecuaciones se denominan condiciones de primer

oden de las estimaciones MCO y son identicas a las ecuaciones
(8) y (9).
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

20 / 26

Estimadores MCO
Por tanto los estimadores obtenidos minimizando la funcion
objetivo (12) coinciden con los estimadores MM definidos en las
ecuaciones (10) y (11).
Los estimadores MCO en el modelo de regresion simple:

b1MCO

b0MCO = y b1MCO x
Pn
(xi x) (yi y )
Sxy
= i=1
= 2
Pn
2
Sx
i=1 (xi x)

(13)
(14)

donde
1 Pn
Sxy = n1
i=1 (xi x) (yi y ) es la covarianza muestral
entre x e y ,
2
1 Pn
Sx2 = n1
i=1 (xi x) es la varianza muestral de x.
MCO
MCO
A b0
lo denominamos estimador MCO de 0 y a b1
estimador MCO de 1 .
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

21 / 26

Metodo de MCO: alternativa

Por que se utiliza como criterio minimizar la suma de los
cuadrados de los residuos?
La respuesta es que el criterio es sencillo y da lugar a
estimadores con buenas propiedades bajo ciertos supuestos.
Notese que un criterio que consistiera en minimizar la suma de
los residuos no sera apropiado, ya que los residuos pueden ser
positivos y negativos.
S podramos considerar otros criterios alternativos como por
ejemplo minimizar la suma de los valores absolutos de los
residuos
n
X
mn
|yi b0 b1 xi |
b1 ,b2

i=1

El problema de utilizar este criterio es que la funcion objetivo no

es diferenciable y por tanto es mas complicado calcular el
mnimo.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

22 / 26

Interpretacion de los resultados de la regresion

Se define la recta de regresi
on o funci
on de regresi
on
muestral
yb = b0 + b1 x
y es la version estimada de la funcion de regresion poblacional
E (y | x) = 0 + 1 x.
Se definen el valor ajustado para y cuando x = xi como
ybi = b0 + b1 xi
este es el valor que predecimos para y cuando x = xi . Notese
que hay un valor ajustado para cada observacion de la muestra.
Se define el residuo para cada observacion de la muestra como
la diferencia entre el valor observado yi y el valor ajustado ybi .
ubi = yi ybi
y tenemos un residuo para cada una de las observaciones de la
muestra.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

23 / 26

Interpretacion de los resultados de la regresion

(cont.)
El termino constante, b0 , es el valor predicho para y cuando
x = 0.
En muchos casos no tiene sentido considerar x = 0, y en esos
casos b0 no tiene interes en s mismo. Sin embargo, es
importante que no olvidemos que tenemos que incluir b0 a la
hora de predecir y para cualquier valor de x.
b0 es tambien el valor estimado para la media de y cuando
x = 0.

La pendiente, b1 , mide la variacion en yb cuando x aumenta en

una unidad .
De hecho si x cambia en x unidades, el cambio predicho en y
es de b
y = b1 x unidades.
b1 mide tambien la variaci
on estimada en la media de y cuando
x aumenta en una unidad.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

24 / 26

Metodo de MCO: interpretacion grafica de los

resultados

Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

25 / 26

Ejemplo 1: salario y educacion

En base a una muestra con n = 526 individuos (fichero WAGE1
del libro de Wooldridge) para los que se observa el salario por
hora en dolares, wage, y los anos de formacion, educ, se ha
obtenido la siguiente recta de regresion MCO
wage
[ = 0,90 + 0,54 educ
El valor estimado 0,9 para el termino constante significa que el salario
predicho para los individuos con 0 a
nos de educaci
on es de 90 centavos
(0,9 d
olares) por hora, lo que evidentemente no tiene ning
un sentido.
El valor estimado para la pendiente indica que un a
no mas de formacion
supone un aumento en el salario por hora predicho de 54 centavos (0,54
d
olares). Si el aumento en el n
umero de a
nos de formacion fuese de 3 a
nos,
el salario predicho aumentara en 3 0,54 = 1,62 d
olares.
En cuanto a la predicci
on para distintos valores de educ, el salario por hora
predicho para individuos con 10 a
nos de educaci
on es
wage
[ = 0,90 + 0,54 10 = 4,5 d
olares por hora.
Serafima Chirkova (USACH)

Tema 2. Regresi
on simple

Econometra I, 2015

26 / 26