Vous êtes sur la page 1sur 27
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

MODELO DE REGRESIÓN LINEAL

Pregunta N° 01

PRÁCTICA DIRIGIDA

lineal Prof. Luis Huamanchumo de la Cuba MODELO DE REGRESIÓN LINEAL Pregunta N° 01 PRÁCTICA DIRIGIDA

Solución.-

lineal Prof. Luis Huamanchumo de la Cuba MODELO DE REGRESIÓN LINEAL Pregunta N° 01 PRÁCTICA DIRIGIDA
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Pregunta N° 02 Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística

Pregunta N° 02

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Solución.-

Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo de
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Pregunta N° 03 Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística

Pregunta N° 03

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Demostrar que la matriz varianza-covarianza del estimador máximo verosímil restringido en menor que la del estimador máximo verosímil

Solución.-

Se pide demostrar que: Var(bmvr) < Var(bmv). Además,

Se pide demostrar que: Var( b mvr) < V a r ( b m v )

(1)

Restando β a ambos miembros de (1)

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba

(b mvr -β)(b mvr -β)ˈ = [(b mvr -β) + A(r-Rb mv )][(b mv -β)ˈ + (r-Rb mv )ˈAˈ]

Sea la H 0 : Rβ = r cierta, entonces:

(b mvr - β)(b mvr -β)ˈ=(b mv - β)(b mv - β)ˈ+( b mv - β)(Rβ-Rb mv )ˈAˈ+A(Rβ-Rb mv )( b mv -β)ˈ +A(Rβ-R b mvr )(-Rb mvr )ˈAˈ

(b mvr - β)(b mvr - β)ˈ = (b mv - β)(b mv - β)ˈ - (b mv - β)(b mv - β)ˈRˈAˈ - AR(b mv - β)(b mv - β)ˈ + AR(b mv - β)(b mv - β)ˈRˈAˈ

(2)

Tomando valor esperado en ambos miembros de (2):

Var(b mvr ) = Var(b mv ) – Var(b mv )RˈAˈ - ARVar(b mv ) + ARVar(b mv )RˈAˈ

Donde:

ARVar(b mv )RˈAˈ= σ²(xˈx) -1 Rˈ(R(xˈx) -1 Rˈ) -1 (R(xˈx) -1 Rˈ)(R(xˈx) -1 Rˈ) -1 R(xˈx) -1

= σ²(xˈx) -1 Rˈ(R(xˈx) -1 Rˈ) -1 R(xˈx) -1

= Var(b mv )RˈAˈ

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Pregunta N° 04 Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística

Pregunta N° 04

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo de

Solución.-

Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo de
Pregunta N° 05 Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística

Pregunta N° 05

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo de

Solución.-

Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo de
Pregunta N° 06 Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística

Pregunta N° 06

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Para el modelo de regresión lineal centrado sólo en las variables explicativas, calcular los cuadrados medios de la media global, regresión y residual.

Solución.-

sólo en las variables explicativas, calcular los cuadrados medios de la media global, regresión y residual.
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

– FIEECS Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Análisis de Varianza Prof. Luis
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Modelo de regresión lineal

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba MODELOS LINEALES – Modelo de regresión lineal Prof. Luis Huamanchumo
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Suma de Cuadrados en el ANVA

TEOREMA

Dado A 1 , A 2 , … A m matrices simétricas nxn tal que r(A s )=n s para

s=1, …,m y

A s = I n . Si n s = n, entonces,

(1)

A s es idempotente para todo s=1, 2, …,m

(2)

A r A s =0 para todo rs

Demostración.- Hipótesis: Tesis: Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de

Demostración.-

Hipótesis:

Tesis:

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba

A

1

, A

2

, …, A

s

r(A

s

) = n

s

Huamanchumo de la Cuba A 1 , A 2 , …, A s r(A s )

simétricas nxn

s=1,…, n

1) A

2) A

s

s

es idempotente

A

r

= 0 ;

r s

s= 1, …, m

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

)

Sea A i =B

i

C

i

por factorización de rango

+ A

A

+ … + A

s

= I

 

1

2

B

1

1

2

2

 

B

… B

 
 

1

2

s

B

C + B

C + … + B

s

C

C

C

1

2

s

n

C

=

= I

s

I

n

n

Por hipótesis Σn = n, entonces, el número de columnas de B es n. De allí que, B sería una matriz cuadrada de rango completo.

s

C

C

C

1

2

s

B 1

B

… B

 

2

s

=

I

n

C

C

i

i

B

B

j

i

= 0 ,

= I

,

i

i j

i

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba

de la Cuba Prof. Luis Huamanchumo de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2)
de la Cuba Prof. Luis Huamanchumo de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2)

Además,

la Cuba Prof. Luis Huamanchumo de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2) (i)

Se cumple 2)

(i)

y sabemos que:

Y reemplazando en (i)

de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2) (i) y sabemos que: Y reemplazando

de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2) (i) y sabemos que: Y reemplazando
de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2) (i) y sabemos que: Y reemplazando

es idempotente s

de la Cuba ⇒ ⇒ Además, ⇒ Se cumple 2) (i) y sabemos que: Y reemplazando
Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Distribución de Formas Cuadráticas en el ANVA

TEOREMA

Dado un vector aleatorio nx1 y es una variable aleatoria distribuida como N(µ,), donde es una matriz nxn definida positiva de rango n. Entonces, y’Ay está distribuida como χ 2 p (λ) y donde λ= µAµ /2 si y sólo si, una de las siguientes condiciones se cumple:

1) A (o A) es una matriz idempotente de rango ‘k’.

2) )

A A = A y r(A)=k.

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba

Demostración.-

Hipótesis:

Tesis:

Y N(µ,Σ) , Σ>0, r(Σ)=n

(nx1)

2

y’Ay ∼χ (λ) ,

p

λ = µ’Aµ/2

1) AΣ es una matriz idempotente, r(AΣ)=p o 2) AΣA=A y r(A)=p

)

Z = T

-1

(Y - µ)

tal que

Σ = TT’ > 0 , por hipótesis

-1

-1

2

TZ + µ = Y , luego, (TZ + µ)’A(TZ + µ)=(Z + T µ)’T’AT (Z + T µ) ∼ χ (λ)

p

Pero Z ∼ N(0, I) ⇒ V = Z + T µ ∼ N(T µ

Pero Z N(0, I)

V = Z + T µ ∼ N(T µ, I)

-1

-1

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Prof. Luis Huamanchumo de la Cuba

T’AT tiene que ser idempotente de rango p

(T’AT)’T’AT = T’AT

TATTAT = TAT

AΣA = A o

Premultiplicando por T:

Además:

ΣAΣAT = ΣAT ΣAΣA = ΣA

r(AΣA) = r(A) = p r(AΣ) = tr(AΣ) = r(A)

por hipótesis porque Σ es de rango completo

Escuela Profesional de Ingeniería Estadística – FIEECS Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Escuela Profesional de Ingeniería Estadística – FIEECS

Prof. Luis Huamanchumo de la Cuba

MODELOS LINEALES – Análisis de Varianza

Prof. Luis Huamanchumo de la Cuba

Hipótesis:

Y N(µ,Σ) , Σ>0, r(Σ)=n

(nx1)

1) AΣ es una matriz idempotente, r(AΣ)=p o 2) AΣA=A y r(A)=p

)

Tesis:

2

y’Ay ∼χ (λ) ,

p

λ = µ’Aµ/2

Z = T

-1

(Y - µ)

tal que

Σ = TT’ > 0 , por hipótesis

Y’AY=(Z + T

-1

-1

µ)’T’AT (Z + T

µ) pero Z + T µ ∼ N(T µ, I)

-1

-1

(i)

Además,

TAT(TAT) = TAΣAT = TAT

por hipótesis T’AT es idempotente

R(T’AT)=r(ATT’) = r(AΣ) = p por hipótesis

De (i) y (ii):

2

yAy χ (λ) ,

p

-1

-1

λ = (T µ)’T’AT(T µ)/2 = µ’Aµ/2

(ii)

De (i) y (ii): 2 y ’ A y ∼ χ ( λ ) , p