Estadística y diseño de experimentos

Regresión lineal
Clase No. 19-20

UNIVERSIDAD DE
ANTIOQUIA
Dto. Ingeniería Química

M.Sc. Gabriel Yarce

Medellín, Abril 2018

1
 MODELOS DE REGRESION LINEAL

En general, suponga que hay una sola variable de dependiente o de

respuesta (𝑦) que depende de 𝑘 variables independientes o
regresores, por ejemplo, 𝑥1 , 𝑥2 , … , 𝑥𝑛 . La relación que existe entre estas
variables se caracteriza por un modelo matemático llamado modelo de
regresión.
Mod. Reg. Lineal múltiple

Mod. Reg. Lineal simple

Coeficientes de regresión

2
 Enfoque matricial de la regresión

Mod. Reg. Lineal simple

3
 Método de mínimos cuadrados
En el caso de una regresión lineal simple se considera un solo
regresor. Las estimaciones de 𝛽0 y 𝛽1 deberán dar como resultado
una recta que sea el “mejor ajuste” para los datos. El científico
alemán Karl Gauss propuso estimar 𝜷𝟎 y 𝜷𝟏 a fin de minimizar
la suma de los cuadrados de las desviaciones 𝝐𝒊 . A este criterio
se le llama método de mínimos cuadrados.

4
 Función
objetivo

Ecuaciones normales de
mínimos cuadrados

5
 Resolviendo para y

6
Enfoque matricial, resolviendo para el vector
Función
objetivo

Escalar

7
ANOVA para la significación de una regresión

Grados de libertad:

Cuadrados medios 𝑴𝑺𝑬 y 𝑴𝑺𝑻𝒓𝒂𝒕𝒂𝒎 :

8
 Representación gráfica de 𝑺𝑺𝑻 , 𝑺𝑺𝑬 y 𝑺𝑺𝑹 :

9
Enfoque matricial – Cálculo de 𝑺𝑺𝑻 , 𝑺𝑺𝑬 y 𝑺𝑺𝑹 :

10
 Evaluando la adecuación del modelo de regresión
1. Gráfico de probabilidad normal de residuales

11
2. Gráfico de 𝒆𝒊 contra 𝒚
ෝ𝒊

3. Gráfico de 𝒆𝒊 contra 𝒙𝒊
Situación grave
Situación Usar una
ideal transformación

𝒆𝒊 desiguales Modelo NO adecuado

Usar una Agregar mas términos
transformación al modelo
12
4. Coeficiente de determinación (𝑹𝟐 )

Es una medida de la cantidad en que se reduce la variabilidad del

valor 𝑦 obtenido al usar las variables 𝑥1 , 𝑥2 , … , 𝑥𝑘 . O en otras
palabras “la cantidad de la variabilidad que esta explicada
por el modelo de regresión”.

Agregar una variable al modelo siempre incrementará el valor de

𝑅 2 , independientemente de si la variable adicional es significativa
o no. A menos que la 𝑆𝑆𝐸,𝑛𝑢𝑒𝑣𝑜 se disminuya por la cantidad
igual al 𝑀𝑆𝐸,𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 , el nuevo modelo tendrá un 𝑀𝑆𝐸,𝑛𝑢𝑒𝑣𝑜 >
𝑀𝑆𝐸,𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 debido a la pérdida de un grado de libertad.

13
5. Estadístico 𝑹𝟐𝒂𝒋𝒖𝒔𝒕𝒂𝒅𝒂

Puesto que 𝑅 2 siempre se incrementa cuando se agregan

variables al modelo. De hecho, si se agregan términos
2
innecesarios, el valor de la 𝑅𝑎𝑗𝑢𝑠𝑡𝑎𝑑𝑎 se reducirá con frecuencia.

6. Residuales estandarizados (𝒅𝒊 )

14
7. Residuales studentizados (𝒓𝒊 ):
Matriz
gorro

Diagonal de
matriz H

Al usar el 𝑀𝑆𝐸 para estimar la 𝜎ො 2 en realidad se esta

sobreestimando la varianza para algunos residuales. Puesto que
ℎ𝑖𝑖 es la localización de 𝑒𝑖 en el espacio 𝑥𝑖 , la varianza de 𝑒𝑖
depende de donde esté en el punto 𝑥𝑖 , de la siguiente forma:

15
8. PRESS – Suma de cuadrados del error de
predicción:

El residual PRESS es solo el residual ponderado de acuerdo con

los elementos de la matriz gorro ℎ𝑖𝑖 . Los datos para los que ℎ𝑖𝑖
es grande, tendrán residuales PRESS grandes. Son deseables
valores pequeños de PRESS.

9. Estadístico 𝑹𝟐𝒑𝒓𝒆𝒅𝒊𝒄𝒄𝒊ó𝒏

16
 SELECCIÓN EMPÍRICA DE UNA TRANSFORMACIÓN

En ocasiones la varianza (𝜎 2 ) de las

observaciones se incrementa
cuando la magnitud de la
observación ( 𝑦𝑖 ) se incrementa.
Este sería el caso si el error o ruido
( 𝜀𝑖 ) del experimento fuese un
porcentaje constante de la
magnitud de la observación. Si este
es el caso los residuales (𝑒𝑖 ) se
harían mayores conforme 𝑦𝑖 se
hiciera mas grande. La gráfica 𝑟𝑖 vs
𝑦ො𝑖 se vería como un embudo con la
boca hacia afuera.

17
Sea 𝐸 𝑦 = 𝜇 la media 𝑦, y suponga que la desviación estándar de
𝑦 es proporcional a una potencia de la media de 𝑦 tal que,

Quiere encontrarse una transformación de 𝑦 que produzca una

varianza constante. Suponga que la transformación es una potencia
de los datos originales, por ejemplo

Puede demostrarse que,

Evidentemente, si se hace 𝝀 = 𝜶 − 𝟏, la varianza de los datos

transformados 𝑦𝑖∗ es constante.

18
Transformaciones comunes para estabilización de varianza:

19
 Gráfico 𝒍𝒐𝒈 𝑺𝒊 𝒗𝒔 𝒍𝒐𝒈(ഥ
𝒚𝒊 .) para hallar 𝜶

20
Profesor de cátedra – UdeA
M. Sc. Gabriel Yarce

gabriel.yarce@udea.edu.co

21