ANALISIS DE REGRESIN LINEAL SIMPLE

= ()
Dado un valor particular de x, la funcin matemtica () indicara el valor correspondiente de y.
MODELO DE REGRESIN
= 0 + 1 +
Donde:
=
0 1 ,


METODO DE MINIMOS CUADRADOS
= 0 + 1 +
= = (0 + 1 )

= ( 0 1 )
=1

=1

()
= 2 ( 0 1 ) = 0
0
=1

()
= 2 ( 0 1 ) = 0
1
=1

Derivando la frmula para 0 :

2 ( 0 1 ) = 0
=1

( 0 1 ) = 0
=1

0 1 = 0
=1

=1

0 1
=1

0 =

=1

Donde:

Derivando la frmula para 1 :

2 ( 0 1 ) = 0
=1

( 0 1 ) = 0
=1

( 0 1 2 ) = 0
=1

0 1 2 = 0
=1

=1

=1

Sustituyendo 0

=1

=1

=1

[
1
] 1 2 = 0

( )( )
( )2
1
] 1 2 = 0

( )( )
( )2

+ 1
1 2 = 0

1 2 1

( )2
( )( )
=

( )2
( )( )
] =

( )( )

1 =
( )2
2

1 [ 2

As podemos estimar la ecuacin de regresin:

= 0 + 1

( )2
=

( )( )

0 = 1
1 =

INFERENCIAS SOBRE EL MODELO

2

( )

= = ( )2

= =
Pero como nos interesa la no explicada para estimar 2
2 =

( )2

=
2
2

Suma de
cuadrados
error

Suma de
cuadrados
total

1
Suma de
cuadrados
regresin

INFERENCIAS A TRAVES DE INTERVALOS O PRUEBAS DE HIPOTESIS

INTERVALO DE CONFIANZA PARA
[/2,2 /2,2 ] = 1
=

0 0
0

[0 /2,2 0 0 0 + /2,2 0 ] = 1
1
2
20 = 2 [ +
]

 (RESPUESTA DE CAMBIO)
INTERVALO DE CONFIANZA PARA
[/2,2 /2,2 ] = 1
=

1 1
1

[1 /2,2 1 1 1 + /2,2 1 ] = 1
21 =
ARA

PRUEBA DE HIPOTESIS

y
0 0
=
0

1 1
1

0 : 1 = 0
1 : 1 0
INTERVALO DE CONFIANZA PARA LA ECUACIN DE REGRESIN
() = /
1

= 2 [ +

)2

=2

()

[ () /2,2 / + () /2,2 ] = 1
= 0 + 1
a) INTERVALO PARA PRONOSTICO O PREDICCIN
Este intervalo es para una observacin aislada en especfico.
1

( )2

() = 2 [1 + +

[ ( ) /2,2 / + ( ) /2,2 ] = 1

PRUEBA DE SIGNIFICANCIA DE REGRESIN

= +
.

= 1
ANOVA
Fuentes de
variacin
Regresin

Grados de
libertad
k-1

Suma de cuadrados

Error

n-k

= 1

Total corregida

n-1

Cuadrado medio

( 1)

( )

( )2

k es el nmero de parmetros que se estiman

= () = 2

MSR y MSE son estimadores de varianza

0 : 1 = 0
1 : 1 0
=

12 2
=
22 2

,(1),()

Rechazar 0 cuando:

> ,(1),()

COEFICIENTE DE DETERMINACIN Y CORRELACIN

Son medidas que nos ayudan a determinar qu tan bueno es el modelo.
2 0 2 1
Nos indica que porcentaje de la variacin total queda explicada por x.

2 =

= 2 1 1

Nos indica el grado de relacin lineal que hay entre las dos variables.
Si se acerca a -1 o 1 hay un alto grado de relacin entre las dos variables.
=

ESTANDARIZACIN DE RESIDUALES
En ocasiones en el anlisis de residuales es conveniente hacer un anlisis de los residuales
estandarizando, puesto que la desviacin estndar del error es y es estimada por ,
definiremos el residual estandarizado como sigue:
=

PRUEBA DE CARENCIA DE AJUSTE

La prueba consiste en dividir el error o suma de cuadrados error en los componentes siguientes:
Suma de cuadrados error = suma de cuadrados del error puro + suma de cuadrados de carencia de
ajuste.
= +
Para calcular SSPE es necesario tener observaciones repetidas de la respuesta y al menos para
un nivel de x.
11 , 12 , 13 , 11 1
21 , 22 , 23 , 22 2
1 , 2 , 3 ,
Existen m niveles distintos de x.

= ( )

=1 =1

= = ( )
=1

Para realizar la prueba construimos un ANOVA

Fuentes de
variacin

Grados de
libertad

Suma de cuadrados

Cuadrado medio

Regresin

k-1

Error aleatorio

n-k

Carencia de ajuste

m-2

Error puro

n-m

( )

=1 =1

Total

n-1

( )2

m = es el nmero de niveles de x

= ( ) 1

=1

TRANSFORMACIONES
Cuando el modelo de lnea recta no se ajusta tenemos que hacer transformaciones.

Original = 0 1 y x
Transformado log = log 0 + log 1

a) Funcin exponencial
= 0 1

= ln
ln = ln 0 + 1

Funcin intrnseca lineal

Transformacin en y y no en x.

b) Funcin de potencia

= ln

= 0 1

log = log 0 + 1 log

= log

= 0 + 1 2

Transformacin en x y y

= 2

c) Funcin reciproca
1

= ( )

= 0 + 1 ( )

Transformacin en x no en y

d) Funcin hiperblica

0 + 1

= 0 + 1 2

=
= 2

= 0 + 1

ANALISIS DE REGRESIN MULTIPLE

Es cuando se tiene ms de una variable de regresin o variable independiente. Esto es, tenemos
una variable dependiente o respuesta que est en funcin de varias variables independientes.

Por ejemplo: El nmero de artculos defectuosos depende:

1.
2.
3.
4.

La velocidad de la maquina
La experiencia del operario
La calidad de la materia prima
El turno de trabajo

El modelo de regresin lineal mltiple con k variables de regresin ser:

1 , 2, 3 ,, = 0 + 1 1 + 2 2 + 3 3 + +
Es la verdadera ecuacin de regresin mltiple.

= 0 + 1 1 + 2 2 + 3 3 + + +
Estimacin de la ecuacin de regresin a travs de una muestra
Suponga que el experimentador tiene k variables independientes y n observaciones, cada una de
las cuales se puede expresar por la ecuacin:
= 0 + 1 1 + 2 2 + 3 3 + + +
= 1, 2, 3,
= 1, 2, 3,
Donde n es el nmero de observaciones de la muestra y k es el nmero de variables, 11 es el
valor de 1 en la primera observacin de la muestra, 12 es el valor de 2 en la primera observacin
de la muestra.
Planteamiento del problema:
1) 1 = 0 + 1 11 + 2 12 + 3 13 + + 1 + 1
2) 2 = 0 + 1 21 + 2 22 + 3 23 + + 2 + 2
3) 3 = 0 + 1 31 + 2 32 + 3 33 + + 3 + 3
20) = 0 + 1 1 + 2 2 + 3 3 + + +
El mtodo que utilizamos para resolver las ecuaciones es el mtodo de mnimos cuadrados que es
minimizar la suma de los cuadrados de los errores.
1 = 1 0 1 11 2 12 3 13 1
2 = 2 0 1 21 2 22 3 23 2
3 = 3 0 1 31 2 32 3 33 3
Hasta:
= 0 1 1 2 2 3 3
ESTIMACIN DE LOS PARAMETROS POR MINIMOS CUADRADOS

El conocimiento de la teora matricial puede facilitar considerablemente las manipulaciones

matemticas.
Para expresar el modelo en regresin mltiple general en trminos de matrices:
1
2
3
=
4

( )
(1)

1
2
3

)
(( + 1))

1 11 12
1 21 22
= 1 31 32

(
1
2

1
2
3
=
4

( )

13
23
33

1
2
3
=
4

( )

(1)1

(1)

En trminos de matrices, el modelo de regresin lineal mltiple es:

= +
(1) [( + 1)] [(1)1 ](1)
Donde:



() = 0
2
()
= 2

Consecuentemente el vector aleatorio y tiene un valor esperado

() =
Y la matriz de varianza- covarianza de y
2
()
= 2

Las ecuaciones resultantes que es necesario resolver son:

( ) =
Donde denota el vector de coeficientes de regresin estimados.
Los estimadores de mnimos cuadrados son:
La matriz ( ) es:

= ( )1

1
1
1
11 21 31

( ) = 12 22 32
13
23
33

[ 1 2 3

) =

1
1 11 12
1
1 21 22
2
3 1 31 32

[
1

1
2
]

2
1

1 2

2
2

13
23
33

1
2
3

2 3

1 2 1 3

2 3

La ecuacin de regresin para este problema es:

= 0 + 1 1 + 2 2 + 3 3 + 4 4
= ( )1
0
1
= 2
3
[4 ]
Entonces:

2
1

1 2 1 3

4
1 4

( ) = 2

1 2

2
2

2 3

2 4

1 3

2 3

2
3

3 4

[ 4

1 4

2 4 3 4

2
4
]

 1
1
= 2
3
[ 4 ]

= [1 ] = ( )1
2

Entonces:

( ) = 1
[

12

1 2

1 2

22

= 1
[ 2 ]

INFERENCIAS SOBRE EL MODELO

Primeramente estimamos 2 la variacin aleatoria. Al igual que en el caso de la regresin lineal
simple la estimacin de 2 est definida en trminos de la suma de cuadrados de los residuos (SSE):
= ( )2 = 2
Un estimador insesgado de 2 esta dado por el cuadrado medio error (MSE):

2 = =

Esta ltima ecuacin se convierte en:

Por consiguiente otra manera de obtener es

PRUEBA DE SIGNIFICANCIA DE LA REGRESIN

Es una prueba para determinar si existe una relacin lineal entre la respuesta y y un subconjunto
de las variables de regresin 1 , 2 , . Las hiptesis apropiadas son:

0 :
1 = 2 = = = 0
1 :
0 "j"
.
El rechazo de 0 implica que a menos una de las variables de regresin 1 , 2 , tiene una
contribucin significativa en el modelo.
En la prueba de significancia la suma total de cuadrados se divide en la suma de cuadrados debida
a la regresin y la suma de cuadrados debida al error digamos:
= +
Debe rechazarse 0 si el valor calculado del estadstico de prueba es mayor que ,1() . El
procedimiento se puede resumir en la tabla de anlisis de varianza.

Fuentes de
variacin

Grados de
libertad

Regresin

k-1

Error
Total

SS

MS

n-k

( )2

n-1

( )2

= ( )2 = 2

()2
()2
=

F.c. por la media

= ( )
Como:
=
Entonces:
=

( )2
( )2
= [ ( )
]

= ( )

( )2

COEFICIENTE DE DETERMINACIN MULTIPLE

Es una tcnica empleada para medir la adecuacin de un modelo de regresin.
El coeficiente de determinacin mltiple est definida por:
2 =

0 2 1

Un valor grande de 2 no necesariamente implica que el modelo de regresin sea bueno. La adicin
de una variable al modelo siempre aumenta de 2 , sin importar si la variable es o no estadsticamente
significativa. Es as como los modelos tienen valores de 2 grandes pueden proporcionar
predicciones pobres de nuevas observaciones.
Coeficiente de correlacin mltiple 1 1
Es una medida de la oscilacin lineal existente entre y y 1 , 2 , .
INFERENCIAS PARA LOS PARAMETROS DE REGRESIN
Para poder hacer inferencias acerca de los parmetros de regresin primeramente debemos estimar
la varianza de las esta se expresa en trminos de los elementos de la inversa de la matriz . La
inversa de multiplicada por la constante 2 representa la matriz varianza-covarianza o matriz de
covarianza (varianza conjunta de dos variables) de los coeficientes de regresin . Los elementos
de la diagonal de 2 ()1 son las varianzas de 0 , 1 , mientras que los elementos que estn
fuera de la diagonal de esta matriz son las covarianzas.
MATRIZ DE COVARIANZA
2 (0 )
2 (
0 , 1 )

2 (0 , 1 )
2 (1 )
2 ( ) =

[ 2 (0 , ) 2 (1 , )

2 (0 , )
2 (1 , )

2 ( ) ]

2 () = 2 ( )1 = ( )1
INTERVALO DE CONFIANZA PARA
[ 2,() 2 ( ) ( ) + 2,()2( ) ] = 1
Donde ( ) es la raz cuadrada de los valores de la diagonal de la matriz de varianza-covarianza.
*si ningn parmetro pasa por cero quiere decir que son variables importantes.
PRUEBA DE HIPOTESIS SOBRE LOS COEFICIENTES INDIVIDUALES DE REGRESIN
Son tiles para valorar cada variable de regresin en el modelo.
A menudo se tiene inters en hacer pruebas de hiptesis sobre los coeficientes de regresin. Tales
pruebas son tiles para determinar el valor potencial de cada una de las variables de regresin del
modelo de regresin. Por ejemplo el modelo puede ser eficaz con la inclusin de variables
adicionales, o quiz con la eliminacin de uno o mas regresores presentes en el modelo.
La adicin de una variable al modelo siempre hace que SSR aumente y que la SSE es
suficientemente grande como para justificar el uso de una variable mas en el modelo. Por otra parte

la adicin de una variable sin importancia puede aumentar MSE, lo que contribuye un indicador de
que tal variable disminuye la calidad con la que el modelo ajusta a los datos.
Las hiptesis para la prueba de significancia de cualquier coeficiente de regresin individual seran:
1.
0 : = 0
1 : 0
2. Se realiza la prueba con un nivel de significancia
3. El estadstico de prueba para esta hiptesis es:
=

()

Ntese que () es el error estndar del coeficiente de regresin el cual se obtiene de la matriz
varianza-covarianza en la diagonal.
4. Se rechaza la hiptesis nula si > 2,
< 2,
5. Si no se rechaza la hiptesis 0 : = 0, entonces esto indica que el regresor puede
eliminarse del modelo.
A esta prueba se le conoce como PRUEBA PARCIAL O MARGINAL.

NTERVALO DE CONFIANZA PARA LA RESPUESTA MEDIA

Tambin puede obtenerse un intervalo de confianza para la respuesta promedio en un punto en
particular por ejemplo: 1 , 2 , , en este punto se define el vector:
1
1
= 2

[ ]

La respuesta promedio en este punto es: ( ) = = la cual es estimada por:

=
2 ( ) = 2 ( )
2 ( ) = 2 ( )

= [1

1
1
][ 2 ( )] 2

[ ]

Son los valores para las xs para cada experimento para cada serie de valores.

[ 2,() ( ) ( ) + 2,() ( )] = 1

INTERVALO DE CONFIANZA PARA PRONOSTICO O PREDICCIN

Un modelo de regresin puede emplearse para predecir observaciones futuras de la variable
respuesta y, correspondiente a valores particulares de las variables independientes, entonces una
estimacin puntual de la observacin futura en el punto 1 , 2 , , es:
=

Un intervalo de pronstico o prediccin del 100(1) para esta observacin futura es:
[ 2,() ( ) + 2,() ( )] = 1

( ) = 2 [1 + ()1 ] = 2 + 2 ( ) = + 2 ( )

PRUEBA DE CARENCIA DE AJUSTE

A continuacin se presenta una prueba para determinar bondad de ajuste del modelo de regresin.
Las hiptesis que se desean probar son:
0 :
1 :

() = 0 + 1 1 + 2 2 + +
() 0 + 1 1 + 2 2 + +

Se requiere tener observaciones repetidas de la respuesta y al menos para un nivel de 1 , 2 , , .

Se rechaza la hiptesis si > ,()()
Para realizar la prueba construimos una tabla de anlisis de varianza.

Fuentes de
variacin

Grados de
libertad

Regresin

p-1

Carencia de ajuste

m-p

SS

Error puro

n-m

( )

( )
=1 =1

Error

n-p

Total

n-1

( )2

MS