8/21/12

Regresin lineal mltiple

Ctedra de Diseo de Experimentos
Escuela de Ingeniera Industrial
Universidad de Costa Rica

Agenda
1. Introduccin al anlisis de regresin mltiple
2. Anlisis de regresin con software
3. Eleccin de las variables del modelo
4. Caso de estudio
5. Asignacin de tarea

6. Revisin de casos de estudio

8/21/12

Anlisis Multivariante
En un sentido amplio se refiere a todos los mtodos
estadsticos que analizan simultneamente medidas
mltiples de cada individuo u objeto de investigacin.
Es el conjunto de tcnicas estadsticas de anlisis de
datos

Regresin lineal mltiple

8/21/12

Regresin lineal mltiple

Es el mtodo de anlisis ms apropiado cuando el
problema del investigador incluye una nica variable
mtrica dependiente que se supone est relacionada
con una o ms variables mtricas independientes.
El objetivo es predecir los cambios en la variable
dependiente en respuesta a cambios en varias de las
variables independientes.

Regresin lineal mltiple

Los mtodos estadsticos (estocsticos) de prediccin y
optimizacin
Conocidos de manera genrica cmo Anlisis de
respuesta superficial.
La regresin mltiple es uno de ellos.

8/21/12

Anlisis multivariante

Variables
independie
ntes

Ponderacio
nes

Valor
terico

Valor terico
Donde las wi son las ponderaciones de cada variable, que
reflejan la influencia de cada una de ellas sobre el valor terico
en su conjunto.

Regresin lineal mltiple

8/21/12

Regresin lineal mltiple

Regresin lineal mltiple

Dado este problema se busca minimizar las distancias
verticales (y) desde cada uno de los puntos hasta el
plano de mejor ajuste.
Se aplica el mtodo de mnimos cuadrados para
obtener las estimaciones de los coeficientes B0, B1 y B2
en el caso que tengamos dos variables independientes.
En este caso la ecuacin que se requerira minimizar es:

&"# y ! (!
i

+ !1 xi1 + !2 xi2 )$%

8/21/12

Regresin lineal mltiple

De esta ecuacin se obtiene:

! y = nb + b ! x + b ! x
!x y = b !x + b !x + b !x x
!x y = b !x + b !x x + b !x
0

2
1

1 2

1 2

2
2

De qu estamos hablando?
Ejemplo
Los siguientes datos se refieren al nmero de
torceduras requeridas para romper una barra
hecha con una cierta aleacin forjada y a los
porcentajes de dos elementos aleantes presentes
en el metal:

8/21/12

# Torceduras (y)

% elemento A (x1)

% elemento B (x2)

41

49

69

65

40

10

50

10

58

10

57

10

31

15

36

15

44

15

57

15

19

20

31

20

33

20

43

20

Con estos datos podemos calcular:

!x

!x

= 40

= 200

! x = 120
! x x = 500
2
1

! y = 723
! x y = 1963
1

! x y = 8210
2

1 2

!x

2
2

= 3000

8/21/12

723 = 15b0 + 40b1 + 200b2

1963 = 40b0 +120b1 + 500b2
8210 = 200b0 + 500b1 + 3000b2

y = 46, 4 + 7, 78x1 !1, 65x2

Si se necesita conocer cuntas torceduras se requieren para
romper una de las barras cuando el porcentaje del
elemento x1 es 2,5 y el porcentaje del elemento x2 es 12

y = 46, 4 + 7, 78(2, 5) !1, 65(12)

= 46.0

8/21/12

Recuerdan los supuestos del

modelo?
Normalidad
Independencia
Misma varianza

De igual manera se prueba con

los residuos

Qu pasara con software?

Anlisis de salida del software

8/21/12

Caso de estudio
Durante cierta ciruga el mdico puede requerir bajar la
presin arterial del paciente por medio de la aplicacin de
cierta droga. Despus de finalizada la ciruga, regresar la
presin arterial del paciente a la normalidad depende de
la dosis de droga administrada y el promedio de presin
sistlica que el paciente mostr durante la operacin.
La administracin del hospital y los mdicos desean estudiar
la relacin entre la dosis de una nueva droga, el promedio
de presin sistlica durante la operacin y el tiempo que
toma la presin arterial del paciente en regresar a la
normalidad, una vez que ha cesado la aplicacin de la
droga.

Regresin mltiple (Minitab)

Los estudiantes a esta altura de la carrera ya estn
familiarizados con el software y el ingreso de datos
El resultado se obtiene con la siguiente ruta:
Minitab Stat Regression

Un ejemplo de salida del software se presenta a

continuacin

10

8/21/12

Veamos los resultados

1. La ecuacin de regresin.

2. Existe regresin. El valor F es 7.36 y es significante a 0.002.

11

8/21/12

Veamos los resultados

3. Existe relacin entre la variable dependiente e
independientes.

4.

El valor T nos dice tambin cual de las variables regresoras tiene

mayor efecto sobre la variable respuesta. En este caso la dosis.

Veamos los resultados

3. El modelo de regresin mltiple explica el 22,5 % de la
variacin en el tiempo de recuperacin de los pacientes

4. Adems existen algunos de los datos recopilados sobre los

que deberamos prestar atencin pues estn muy alejados
de los patrones esperados

12

8/21/12

Comprobacin de supuestos

Otros anlisis importantes

R2 y R2 ajustado
R2 es el mismo valor estudiado en la regresin lineal
simple, conocido cmo Coeficiente de correlacin
R2 ajustado, se basa en una ecuacin dnde el
coeficiente de regresin se ajusta para incluir la
ponderacin relacionada a la cantidad de muestras y
variables independientes en el modelo.
Se debe tener cuidado con el rango de accin. R2
pronosticado

13

8/21/12

Otros anlisis importantes

EL Factor de inflacin de la varianza (VIF)
Explica cuanto de error estndar (Se Coef) de una
variable independientes puede ser explicado por su
interrelacin con otras variables independientes
Se solicita su clculo independientemente.
No aplica a la constante
El valor VIF nunca puede ser menor que 1
Si el valor VIF es grande (Mayor que 10) tenemos un
problema de colinealidad.
Con un problema de colinealidad se debera optar por
trabajar con subgrupos: Stepwise Regression y Best
Subsets Regression

Eleccin de las variables del

modelo

14

8/21/12

Eleccin de variables predictoras

Los problemas de investigacin, generalmente asocian
muchas variables a la solucin de un problema
Generalmente resulta muy difcil, sino imposible
estudiarlas todas. Por esta razn debe de realizarse una
eleccin.
Los mtodos para realizar esta eleccin son:
Anlisis progresivo de regresin
Anlisis de mejores subconjuntos

Problemas por eleccin de malos

regresores
Existe cuatro posibles salidas de un anlisis de
regresin:
i. El modelo de regresin esta Especificado
correctamente
ii. El modelo de regresin est Sub especificado
iii. El modelo de regresin tiene una o ms Variables
extraas
iv. El modelo de regresin esta Sobre especificado

15

8/21/12

Las posibles salidas

Modelo de regresin estimado correctamente
La ecuacin contiene todos los predictores relevantes
y solamente los relevantes. No hay predictores del
modelo perdidos, redundantes o extraos.
Coeficientes de regresin, predicciones de respuesta
y clculo de error insesgados.
Este es el resultado que queremos obtener.

Las posibles salidas

Modelo de regresin sub especificado
Cuando a la ecuacin le falta uno o ms predictores
importantes.
Quizs el peor escenario.
Los predictores estn sesgados.
El error de estimacin sobre estimado
En la vida real no tenemos como distinguir estos sesgos.

16

8/21/12

Las posibles salidas

Modelo de regresin contiene variables extraas
Las variables extraas no estn ligadas a la variable respuesta ni
a ninguna otra variable preditora.
Buena noticia: la estimacin de parmetros y de respuesta, as
como el MSE son insesgados.
La mala noticia, perdemos grados de libertada para el MSE.
Con menos grado se libertad, nuestros intervalos de confianza
son ms anchos y las pruebas de hiptesis son menos potentes.

Las posibles salidas

Modelo de regresin sobre especificado
Cuando a la ecuacin tiene una o ms variables
redundantes
La estimacin de parmetros y de respuesta, as como el
MSE son insesgados.
Problemas de multicolinealidad.
Errores estndar de coeficientes de regresin estn
inflados
No debera utilizarse para asignar los efectos especficos
de los predictores

17

8/21/12

Recomendaciones para
construccin del modelo
1. Identifique adecuadamente su objetivo de anlisis u
investigacin
2. Identifique todos los posibles candidatos de predictores.
3. Use procedimientos de seleccin de predictores para
encontrar el balance entre modelos sub especificados y
modelos con variables extraas o redundantes.
4. Ajuste adecuadamente el modelo (detalles de
residuales, interacciones, escalas, etc).

Anlisis progresivo de regresin

Stepwise regression

18

8/21/12

Para esto necesitamos

19

8/21/12

Ejemplo
Investigadores estn interesados en conocer cmo la composicin
qumica del cemento afecta la evolucin del calor durante el
endurecimiento del cemento. La variable respuesta y es: Evolucin
del calor en caloras durante el calentamiento del cemento, en una
base por gramo. Y las posibles variables regresoras son:
X1= % de aluminio tri calcio
X2 = % de Silicato tri calcio
X3 = % de Aluminio ferrita tri calcio
X4= % de Silicato bi calcio

En una matriz de diagramas de dispersin se puede apreciar:

20

8/21/12

El procedimiento

Recordemos:
Empezamos sin predictores y los agregamos y retiramos
basados en los resultados parciales de la prueba F, es
decir, los resultados de la prueba T de los parmetros
que son obtenidos hasta el momento. Nos detenemos
cuando no es justificables eliminar o agregar
predictores.

Inicio del procedimiento

Se debe definir un nivel de significancia para decidir
cual variable debe entrar en el modelo, a este valor se le
llamar Alfa para entrar , E
Se debe definir un Alfa para salir tambin.
Muchos softwares estadsticos, incluido minitab, tienen
configurados estos niveles de significancia en 0,15.

21

8/21/12

Paso 1
Calcule la regresin de manera independiente de cada
predictor (xn) con respecto a la variable respuesta (y).
De los predictores que tengan un valor P de la prueba T
ms pequeo que 0.15, escoja al menor para incluirlo en
el modelo progresivo.
Si ninguno es ms pequeo que 0.15, detngase.

Paso 2
Supongamos que x1 fue la variable regresora ms pequea
de aquellas con el valor P menor que 0,15 en el paso 1. Es
decir el mejor predictor.
Ajuste cada pareja posibles de predictores utilizando x1, es
decir: x1 y x2; x1 y x3; . x1 y xp-1.
La pareja de predictores que tengan un valor P de la
prueba T ms pequeo que 0.15, escoja al menor para
incluirlo en el modelo progresivo.
Si ninguno es ms pequeo que 0.15, detngase, el modelo
con un predictor obtenido en el paso 1 es su modelo final.

22

8/21/12

Paso 2. Continuacin
Supongamos que x2 fue el mejor segundo predictor y
super el valor p para ingresar en el modelo.
Se debe verificar si la inclusin del predictor x2 afecta
de alguna manera al predictor x1.
Es decir, si el valor P para la prueba T de x1 es ms
grande que 0,15, entonces debe removerse x1

Paso 3
Supongamos que x1y x2 estn dentro de un modelo
progresivo de dos predictores.
Ajuste cada uno de los modelos de tres variables
predictoras restantes, es decir: x1, x2, y x3; x1, x2, y x4; x1,x2, y
x5; x1,x2 y xp-1.
De los tros de predictores que tengan un valor P de la
prueba T ms pequeo que 0.15, escoja al menor para
incluirlo en el modelo progresivo.
Si ninguno es ms pequeo que 0.15, detngase, el modelo
con un predictor obtenido en el paso 1 es su modelo final.

23

8/21/12

Paso 3. Continuacin
Supongamos que x3 fue el mejor tercer predictor y
super el valor p para ingresar en el modelo.
Se debe verificar si la inclusin del predictor x3 afecta
de alguna manera a los predictores x1 y x2.
Es decir, si el valor P para la prueba T de x1 o x2 es ms
grande que 0,15, entonces debe removerse x1 o x2.

Fin del procedimiento

Se continua el procedimiento descrito hasta que el
agregar una variable predictora no haga cumplir el valor
de ingreso.

24

8/21/12

Ejemplo
Retomamos el ejemplo de los cementos explicado
anteriormente
Se ajusta los valores de nivel de significancia de entrada
y salida en el modelo en 0,15.
Se calculan las regresiones de cada variable predictora
independientemente.

Ejemplo

25

8/21/12

Ejemplo. Paso 2

X2 no es
elegible.
X1 y x4 estn
empatadas
cmo efecto
de Minitab. El
valor p ms
pequeo
corresponde
a x1.

Ejemplo. Paso 2
Cmo ya se tena un predictor, se debe verificar su nivel
de significancia.
Cmo este nivel de significancia es 0.001, ambas
variables se mantienen en el modelo.
Se continua al paso 3.

26

8/21/12

Ejemplo. Paso 3

Ejemplo. Paso 3
Cuando el predictor x2 ingresa en el modelo, el valor P
de x4 aumenta a 0,205.
Por esta razn el predictor x4 debe salir del modelo.

27

8/21/12

Ejemplo. Paso 4

Esta
sera la
salida
de
Minitab
de este
proceso

28

8/21/12

Consideraciones finales
El ltimo modelo obtenido, no es necesariamente el
ptimo
Aunque el procedimiento no da un nico modelo final,
generalmente hay varios modelos igual de buenos.
El procedimiento por si solo no tiene conocimiento a
cerca de los predictores, estos deben ser agregados por
alguien que conozca el proceso.

Regresin de los mejores

subconjuntos
Best Subsets regression

29

8/21/12

Consideraciones generales

La idea general es elegir un subconjunto

de predictores que cumpla de la mejor
manera el objetivo propuesto. (El mayor
r2 o el menor SME)

Se debe tener cuidado de

incluir todos los predictores
posibles

El proceso. Paso 1
Identifique los modelos derivados de las posibles
combinaciones de todos los regresores.
Puede ser un nmero muy grande de combinaciones,
supongamos un ejemplo de 3 regresores, obtendremos 8
posibilidades.

Un modelo sin predictores

Tres modelos con un predictor
Tres modelos con dos predictores
Un modelo con los tres predictores

Si hay n posibles predictores, existen 2n posibles modelos

30

8/21/12

El proceso. Paso 2
Elija el modelo que cumpla mejor el criterio objetivo
Los criterios objetivos pueden ser
Mayor r2
Mayor r2 ajustada
Menor SME

Si se cambia el criterio, la eleccin puede cambiar.

Se pueden elegir varios modelos en este punto.

El proceso. Paso 3
Elija el modelo adecuado.
Con los modelos obtenidos en el paso anterior, realice
anlisis para elegir el que mejor ajusta a sus necesidades:
Anlisis de residuos
Prediccin
Regresores
Permita responder la pregunta de investigacin

31

8/21/12

Ejemplo
Retomemos el ejemplo del cemento.
Si utilizamos por ejemplo R2, cada vez que agreguemos
una variable se obtendr un mejor valor, sin embargo
nos ayudar a definir cundo no vale la pena agregar
ms variables.

Se analiza la respuesta de minitab

Nmero
de
variables

Cules
variables

32

8/21/12

Caso de estudio
Bienvenidos a la U

Regresin lineal mltiple

Ctedra de Diseo de Experimentos
Escuela de Ingeniera Industrial
Universidad de Costa Rica

33