Estimación por MCO

Estimación MCO
El objetivo de la estimación por MCO es
minimizar la sumatoria de los errores estimados
al cuadrado.

𝑚𝑖𝑛 ෍ 𝑢ො 2 𝛽መ = 𝑋 ′ 𝑋 −1 (𝑋′𝑌)

መ = 𝜎ො 2 𝑋 ′ 𝑋
𝑣𝑎𝑟(𝛽) −1
መ
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 {𝛽}
𝑢′
ො 𝑢ො
𝜎ො 2 =
𝑛−𝑘
 Propiedades de un Estimador
• Insesgadez
𝐸 𝛽መ = 𝛽

• Eficiencia
𝑣𝑎𝑟 𝛽መ 𝑒𝑠 𝑚í𝑛𝑖𝑚𝑎

• Consitencia
Plim 𝛽መ = 𝛽
𝑛→∞
 Supuestos MCO
1. Modelo estocástico: (𝑢𝑖 )
2. E 𝑢𝑖 = 0
3. Homocedasticidad
var 𝑢𝑖 = 𝜎 2 ∀ 𝑖 = 1,2,3, … , 𝑛
4. No Autocorrelación
cov 𝑢𝑖 , 𝑢𝑗 = 0 ∀ 𝑖 ≠ 𝑗
5. Exogeneidad
cov 𝑋𝑖 , 𝑢𝑖 = 0 ∀ 𝑖
 Supuestos MCO
(2) + (3) + (4) : Los errores son ruido blanco.

𝐸 𝑢𝑢′ = 𝜎 2 𝐼

(2) + (3) + (4) + (5): Condiciones de Markov

“El estimador de MCO es el Mejor Estimador

Lineal Insesgado (MELI)”
 Supuestos MCO
6. Modelo es lineal en parámetros.

7. Supuesto de estabilidad estructural.

8. Causalidad unidireccional.

9. No multicolinealidad: Las variables son

linealmente independientes.
 Supuestos MCO
10. Los valores de X son fijos o determinísticos.

11. Variabilidad en los valores de X.

12.Número de observaciones debe ser mayor al

número de incógnitas.

13.Modelos correctamente especificado.

 Representación de un modelo
Representación extendida:
𝑌𝑖 = β0 + β1 𝑋1𝑖 + β2 𝑋2𝑖 + ⋯ + β𝑘−1 𝑋𝑘−1𝑖 + 𝑢𝑖

Representación matricial:
𝑌𝑛𝑥1 = 𝑋𝑛𝑥𝑘 β𝑘𝑥1 + 𝑢𝑛𝑥1

Donde:
𝑌1 𝑢1
1 𝑋11 𝑋21 ⋯ 𝑋𝑘−11 𝑢2
𝑌2 ⋯ 𝑋𝑘−12
1 𝑋12 𝑋22 β′ = β0 β1 β2 ⋯ β𝑘−1 𝑢= ⋮
𝑌= ⋮ 𝑋= ⋮
⋮ ⋮ ⋮ ⋮ 𝑢𝑛−1
𝑌𝑛−1 1 𝑋1𝑛 𝑋2𝑛 ⋯ 𝑋𝑘−1𝑛
𝑌𝑛 𝑢𝑛
 Modelo Lineal Simple
Tenemos que:
𝑌𝑖 = β0 + β1 𝑋1𝑖 + 𝑢𝑖

𝑌𝑖 = β෠ 0 + β෠ 1 𝑋1𝑖 + 𝑢ො 𝑖

𝑌෠𝑖 = β෠ 0 + β෠ 1 𝑋1𝑖

𝑌𝑖 − 𝑌෠𝑖 = 𝑢ො 𝑖

Optimización:

𝑚𝑖𝑛 ෍ 𝑢ො 𝑖 2 𝑚𝑖𝑛 ෍(𝑌𝑖 − 𝛽መ0 − 𝛽መ1 𝑋1𝑖 )2

𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 {𝛽መ0 𝛽መ1 } 𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 {𝛽መ0 𝛽መ1 }

 Modelo Lineal Simple
Derivando: 2
𝜕 σ 𝑌𝑖 − 𝛽መ0 − 𝛽መ1 𝑋1𝑖
=0
𝜕 𝛽መ0
2
𝜕 σ 𝑌𝑖 − 𝛽መ0 − 𝛽መ1 𝑋1𝑖
=0
𝜕 𝛽መ1

Obtenemos el sistema de ecuaciones:

෍ 𝑌𝑖 = ෍ 𝛽መ0 + 𝛽መ1 ෍ 𝑋1𝑖

෍ 𝑋1𝑖 𝑌𝑖 = 𝛽መ0 ෍ 𝑋1𝑖 + 𝛽መ1 ෍ 𝑋1𝑖

2
 Modelo Lineal Simple
Resolviendo el sistema tenemos que:

𝑐𝑜𝑣 𝑋, 𝑌
𝛽መ1 =
𝑣𝑎𝑟(𝑋)

𝛽መ0 = 𝑌ത − 𝛽መ1 𝑋ത
 Modelo Lineal General
Tenemos que:
𝑌 = 𝑋β + 𝑢

𝑌 = 𝑋𝛽መ + 𝑢ො

𝑌෠ = 𝑋𝛽መ

𝑌 − 𝑌෠ = 𝑢ො

Optimización:

𝑚𝑖𝑛 𝑢′
ො 𝑢ො 𝑚𝑖𝑛 𝑌 − 𝑋𝛽መ ′ 𝑌 − 𝑋𝛽መ
መ
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 {𝛽} መ
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 {𝛽}
 Modelo Lineal General
Derivando:
𝜕 σ 𝑌 − 𝑋𝛽መ ′ 𝑌 − 𝑋𝛽መ
=0
𝜕𝛽መ

Obtenemos:
𝑋 ′ 𝑌 = 𝑋 ′ 𝑋𝛽መ

Finalmente:
𝛽መ = 𝑋´𝑋 −1 (𝑋 ′ 𝑌)
 Modelo Lineal General
Tenemos:
𝑢ො = 𝑀𝑥 𝑌

Donde:
𝑀𝑥 = I − X X ′ X −1 X ′

A dicha matriz se le conoce como la matriz

generadora de errores y tiene tres propiedades:
 Es simétrica
 Es idempotente
 Es ortogonal a X
 Modelo Lineal General
Partiendo de que:
𝑢′
ො 𝑢ො = 𝑌′𝑀𝑥 𝑌

Tenemos que:
𝑢′
ො 𝑢ො = 𝑢′𝑀𝑥 𝑢

Se demuestra:
𝑢′
ො 𝑢ො
𝜎ො𝑢2 =
𝑛−𝑘
 Propiedades de un Estimador
• Insesgadez
𝐸 𝛽መ = 𝛽

• Eficiencia
𝑣𝑎𝑟 𝛽መ 𝑒𝑠 𝑚í𝑛𝑖𝑚𝑎

• Consitencia
Plim 𝛽መ = 𝛽
𝑛→∞
 Bondad de ajuste
Sabemos que:
𝑌 = 𝑌෠ + 𝑢ො

Por lo tanto:
෠ + 𝑣𝑎𝑟(𝑢)
𝑣𝑎𝑟(𝑌) = 𝑣𝑎𝑟(𝑌) ො

Se define el coeficiente de determinación como:

𝑣𝑎𝑟 𝑌෠
𝑅2 =
𝑣𝑎𝑟(𝑌)
 Tabla Anova

Fuente de variación Suma de cuadrados Grados de libertad

Total de la regresión 𝑆𝑇𝐶 = 𝑌 ′ 𝑌 − 𝑛𝑌ത 2 𝑛−1
Debido a la regresión 𝑆𝐸𝐶 = 𝑌෠ ′ 𝑌෠ − 𝑛𝑌ത 2 𝑘−1
Debido a los residuos 𝑆𝑅𝐶 = 𝑢ො ′ 𝑢ො 𝑛−𝑘
 Bondad de ajuste
De la expresión:
෠ + 𝑣𝑎𝑟(𝑢)
𝑣𝑎𝑟(𝑌) = 𝑣𝑎𝑟(𝑌) ො

Tenemos que:
𝑌′𝑌 ෠ 𝑌෠
𝑌′ 𝑢′
ො 𝑢ො
ത 2
−𝑌 = − 𝑌ത 2 +
𝑛 𝑛 𝑛
Que equivale a:
𝑆𝑇𝐶 = 𝑆𝐸𝐶 + 𝑆𝑅𝐶

Finalmente:
𝑆𝐸𝐶 𝑆𝑅𝐶
𝑅2 = 𝑅2 =1−
𝑆𝑇𝐶 𝑆𝑇𝐶
 Bondad de ajuste
Es importante tener algunas consideraciones
con respecto al R cuadrado:
 Si en un modelo no se incluye el intercepto, el R
cuadrado puede ser negativo.
 El R cuadrado es creciente con el número de
variables.
 Los R cuadrado de dos modelos con diferente
variable endógena, no son comparables.
 Bondad de ajuste
El coeficiente de determinación es una función creciente al número de
variables.

Por tanto el beneficio de incluir variables adicionales es mejorar la

bondad de ajuste del modelo, sin embargo el incrementar el número
de variables tiene un costo, la pérdida de grados de libertad.

Por ello, el R cuadrado ajustado o corregido, es una medida mas

confiable de la bondad de ajuste de un modelo.

2 𝑛−1
𝑅𝑎𝑗𝑢𝑠𝑡𝑎𝑑𝑜 =1− (1 − 𝑅2 )
𝑛−𝑘
 Bondad de ajuste

2 𝑛−1
𝑅𝑎𝑗𝑢𝑠𝑡𝑎𝑑𝑜 =1− (1 − 𝑅2 )
𝑛−𝑘

Es importante tener en cuenta que:

2
𝑘 𝑅2 𝑅𝑎𝑗𝑢𝑠𝑡𝑎𝑑𝑜 𝑏𝑒𝑛𝑒𝑓𝑖𝑐𝑖𝑜

2
𝑘 (𝑛 − 𝑘) 𝑅𝑎𝑗𝑢𝑠𝑡𝑎𝑑𝑜 𝑐𝑜𝑠𝑡𝑜

Si luego de incrementar el número de variables, se incrementa el R cuadrado

ajustado, el beneficio es mayor al costo, por lo tanto vale la pena incluir la
variable adicional.
 Propiedades de un Estimador
• Insesgadez
𝐸 𝛽መ = 𝛽

• Eficiencia
𝑣𝑎𝑟 𝛽መ 𝑒𝑠 𝑚í𝑛𝑖𝑚𝑎

• Consitencia
Plim 𝛽መ = 𝛽
𝑛→∞
 Inferencia Estadística
• Proceso mediante el cual se sacan conclusiones sobre una
población, a partir de la información obtenida en una muestra
representativa.

Muestreo
Población

Muestra

INFEREN
CIA
Pruebas de Hipótesis: Procedimiento
1. Se plantean la hipótesis nula (se busca rechazar) y la
alternativa.

2. Se selecciona el nivel de significancia (alfa).

3. Se identifica el estadístico adecuado.

4. Regla de decisión.

5. Conclusión.
 Pruebas de Hipótesis: Tipos
• Pruebas de igualdad: dos colas.

𝐻𝑜 : 𝑏𝑖 = 𝑘
𝐻𝑎 : 𝑏𝑖 ≠ 𝑘
 Pruebas de Hipótesis: Tipos
• Pruebas de desigualdad: una cola izquierda

𝐻𝑜 : 𝑏𝑖 ≥ 𝑘
𝐻𝑎 : 𝑏𝑖 < 𝑘
 Pruebas de Hipótesis: Tipos
• Pruebas de desigualdad: una cola derecha

𝐻𝑜 : 𝑏𝑖 ≤ 𝑘
𝐻𝑎 : 𝑏𝑖 > 𝑘
 Inferencia MCO
1. Prueba t:
𝐻𝑜 : 𝛽መ𝑖 = 𝑘
𝐻𝑎 : 𝛽መ𝑖 ≠ 𝑘
𝛽መ − 𝑘
𝑡𝑐𝑎𝑙𝑐 =
𝑠𝑡𝑑(𝛽)መ

𝑡~𝑡(∝,𝑛−𝑘)
2

Si: k=0  Prueba de significancia individual.

 Inferencia MCO
2. Prueba F:
𝐻𝑜 : 𝑅 𝛽መ =r
𝐻𝑎 : 𝐴𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛𝑎 𝑟𝑒𝑠𝑡𝑟𝑖𝑐𝑐𝑖ó𝑛 𝑛𝑜 𝑠𝑒 𝑐𝑢𝑚𝑝𝑙𝑒.

′ −1
𝑅 𝛽መ − 𝑟 𝑅𝑣𝑎𝑟 𝛽መ 𝑅 ′ 𝑅𝛽መ − 𝑟
𝐹𝑐𝑎𝑙𝑐 =
𝑞
𝐹~𝐹(∝,𝑛−𝑘,𝑞)
2

Si se testea que todas las pendientes sean igual a 0, a la

prueba se le conoce como la prueba de significancia conjunta.
 Predicción
• Entenderemos por predicción a la aplicación
de nuestro modelo.
X

modelo
Y predicción
X Y
 Predicción MCO
Condiciones:
• Buena especificación.
• Estabilidad de parámetros.
• Homocedasticidad y No Autocorrelación.
 Predicción MCO
Origen del error de predicción:
• La naturaleza del modelo (componente aleatorio).
• La variabilidad de los coeficientes estimados.
• Error en el pronóstico de las variables
independientes.
• Errores de especificación en el modelo.
 Predicción MCO
Predicción incondicional:

𝐼𝐶 𝑌 = 𝑌෠ ± 𝑡𝛼 𝜎𝑢
2

Predicción condicional:
1 (Xt+1 − 𝑋ത 2 )
𝐼𝐶 𝑌 = 𝑌෠ ± 𝑡𝛼 𝜎𝑢 (1 + + )
2 T σ(𝑋𝑡 − 𝑋ത 2 )