REGRESION LINEAL SIMPLE

FORMULARIO

Jorge Galbiati Riesco

Modelo de Regresin Lineal Simple

y = +x +
en que y son fijos, es una variable aleatoria con esperanaza E() = 0 y varianza V() = 2 fija. Los parmetros del modelo son , y .
2

x representa la variable independiente, que toma valores fijos determinados

por el experimentador. y es la variable dependiente, que es aleatoria por depender de . El valor esperado de y dado algn valor x de x, es

y = +x
que se denomina recta de regresin.

es el intercepto de la recta con el eje de las y. es la pendiente de la recta.

Para estimar los parmetros del modelo, se dispone de una muestra de n pares (xi,yi), i=1,2,...,n, que corresponden a observaciones de un experimento en que el experimentador asign valores arbitrarios a la variable independiente x y observ los correspondientes resultados de la variable y, que supone se comporta de acuerdo al modelo de regresin lineal simple. En tal caso las observaciones obedecen a la relacin

y i = + xi + i
media 0 y varianza comn 2. Se denominan errores.

i=1,2,...,n

en que los ei son variables aleatorias independientes, con igual distribucin,

Estimadores mnimo cuadrticos de los parmetros

2 ) 2 , en que Los estimadores de , y , son, respectivamente, a, b y

a = y bx
b=
)2 =
en que x =

S xy S xx = S2 1 S yy xy n2 S xx

S yy b S xy n2

1 n 1 n xi e y = y i son los promedios de las x y de las y, n i =1 n i =1

respectivamente.

S xx

1 n = x xi n i =1 i =1
n 2 i n 2 i

S yy

1 n = y yi n i =1 i =1

n 1 n n S xy = xi y i xi y i n i =1 i =1 i =1

Recta de regresin ajustada o recta de regresin estimada

y = a + bx
las observaciones ajustadas estn dadas por

y i = a + bxi
Residuos

i = 1,2,...,n

Son las diferencias entre los valores observados y los valores ajustados de la variable independiente y

ei = y i y i = y i a b xi
Varianza estimada del error

i = 1,2,...,n

2 n S yy b S xy S xy 1 ) 2 2 = = ei = S yy n 2 n 2 S i =1 xx

en que los ei son las diferencias entre los valores observados y los valores ajustados de la variable independiente y

ei = y i y i = y i a b xi
y son los residuos.

i = 1,2,...,n

) 2 es un estimador insesgado de la varianza de los errores del modelo de i

regresin lineal simple. Valores esperados, varianzas y covarianza de los estimadores de y de

E (a) =
ambos son estimadores insesgados.

E (b) =

1 x 2 Var (a ) = 2 + n S xx

Var (b) =

2
S xx

Cov(a, b) = 2

x S xx

)2 . Para estimar las varianzas y covarianza, se sustituye 2 por el estimador

Valor esperado del estimador de la varianza 2
2 E ( ) = 2

tambin es un estimador insesgado.

Coeficiente de determinacin Es una medida de bondad de ajuste de la recta y = a + bx a los puntos (xi,yi), y corresponde al cuadrado del coeficiente de correlacin entre los valores observados de la variable dependiente y y los valores ajustados. Es igual a R =
2
2 S xy

S xx S yy
2

Intervalos de confianza para estimar los parmetros , y

Para que sean vlidos estos intervalos, debe cumplirse el supuesto adicional de que los errores i tienen distribucin normal, es decir

i ~ N (o, 2 ), independientes
Intervalo de coeficiente de confianza 100(1-) para :

para i=1,2,...,n

at

( n 2)
2

1 x2 + n S xx

Intervalo de coeficiente de confianza 100(1-) para :

b t

( n 2)

S xx
2

Pruebas de hiptesis para los parmetros , y

Para efectuar estas pruebas, tambien se requiere el supuesto de normalidad precedente. Prueba de nivel de significacin para : La hiptesis nula es = 0 o El estadstico de prueba es

t=

a o

1 x2 + n S xx

su distribucin dada la hiptesis nula es t de student con n-2 grados de libertad. Prueba de nivel de significacin para : La hiptesis nula es = 0 o El estadstico de prueba es

t=

b o S xx

su distribucin dada la hiptesis nula es t de student con n-2 grados de libertad. Prueba de nivel de significacin para 2 :

La hiptesis nula es 2 = 20 2 20 2 20 El estadstico de prueba es

2 x = ( n 2) 2 o

su distribucin dada la hiptesis nula es ji-cuadrado con n-2 grados de libertad. Anlisis de varianza La prueba de hiptesis asociada al anlisis de varianza en el caso de regresin lineal simple es Ho: = 0 H1: 0 Para efectuar esta prueba se requiere el supuesto adicional de que los errores tienen distribucin normal. La tabla de anlisis de varianza es la siguiente: Fuente de variacin Regresin Error Total Sumas de cuadrados. SC Syy - Sxy2/Sxx Sxy2/Sxx Syy Grados de libertad. GL 1 n-2 n-1 Cuadrados medios. CM SCReg SCErr/(n-2) -Cuociente F CMReg /CMErr ---

El estadstico de prueba es F = CMReg / CMErr Tiene distribucin F con 1 grado de libertad en el numerador y n-2 grados de libertad en el denominador. Se rechaza la hiptesis nula si F es grande.

Prediccin

Es la estimacin del valor de la variable dependiente Y cuando la variable dependiente X toma un valor xo cualquiera. El valor puntual de una prediccin se obtiene reemplazando xo en la ecuacin de la recta estimada, es decir, es igual a

y o = a + b xo
Prediccin de una observacin individual mediante intervalos de confianza
Para construir un intervalo de confianza para una prediccin es necesario que se verifique el supuesto de normalidad de los errores. Un intervalo de confianza para la prediccin del valor individual de una observacin Y cuando la variable independiente X toma el valor xo est dado por

(a + b xo ) t
en que t

1+ ( n 2)
2

1 ( xo x ) 2 + n S xx

(n 2) es el cuantil de la distribucin t de student que acumula una

probabilidad 1

; es la desviacin estndar del error, estimada; x es el

promedio de los valores observados de X ; Sxx es la suma de cuadrados centrados de las X.

Prediccin de la respuesta media mediante intervalos de confianza

a + b xo t

( n 2)
2

1 ( xo x ) 2 + n S xx

Se puede ver que es similar al intervalo para un valor individual, pero es ms angosto, debido a que la estimacin de un promedio es ms precisa que la de un valor individual.

Bandas de confianza
Si se considera xo como una variable que recorre todo el dominio de la X , los extremos de los intervalos de confianza describen unas bandas con forma de hiprbolas, cuya parte ms angosta est en X = x , el promedio, y se ensanchan a medida que se alejan del centro de los valores observados de la variable X.