TECNICAS DE

EVALUACION DE
MODELOS
Tcnicas de Evaluacin de
Modelos
Se define como un amplio conjunto de
contrastes a los cuales un modelo puede y
debe someterse en muy diferentes
etapas durante el proceso de
construccin y subsiguiente empleo.
Existen una gran cantidad de ndices que
buscan medir la bondad de un modelo, la
eleccin se har en base a los objetivos
que persigue el investigador.
Tcnicas de Evaluacin de
Modelos
Por lo general, para medir la eficancia
de los modelos se divide la muestra en
dos, con la primera parte de la
muestra se construye el modelo y con
la segunda se evala la eficacia del
modelo (anlisis fuera de la muestra)
Tcnicas de Evaluacin de
Modelos
A continuacin se presentan ocho
mtodos o ndices utilizados en la
contrastacin de los modelos
clasificados en:
Contrastes de significacin estadstica
Validacin del modelo fuera de la
muestra
Contrastes de hiptesis bsicas.
Contrastes de Significacin
Estadstica
1.- Signo esperado del parmetro de regresin: un
contraste bsico para todo parmetro es que su
signo coincida con el que se haba planteado
originalmente en el modelo, basado en el
conocimiento terico de las relaciones econmicas.
2.- Coeficiente de determinacin (R
2
): se interpreta
como la proporcin de la variacin de la variable
endgena que queda explicada por la regresin:
R
2
= 1 - S
e
2
R
2
= coeficiente de determinacin
S
y
2
S
e
2
= varianza de los errores
S
y
2
= varianza de la variable real

Se establece que un R
2
= 0.8 es suficiente para
considerar que un modelo es bueno, sin embargo,
no se puede emitir un juicio inmediato sobre la
validez del modelo a partir de este indicador.
3.- Contraste de significacin de un parmetro
individual (estadstico t): un parmetro puede
considerarse estadsticamente significativo (a
niveles de confianza de aprox. 95%) si el valor
del estimador supera dos veces su desviacin
estndar.
4.- Estadstico de Durbin y Watson: se conoce
como estadstico d y se utiliza para detectar
autocorrelacin serial (o correlacin serial).
( )
d
e e
e
t t
t
t n
t
t
t n
=


=
=
=
=

1
2
2
2
1
Et: error o residuo en t
t: tiempo
Es la razn de las sumas de
las diferencias al cuadrado
de residuos sucesivos.
Una de las limitaciones de este test es que verifica la
hiptesis de ausencia de autocorrelacin en el trmino
de perturbacin, frente a la hiptesis alternativa de
autocorrelacin de primer orden. Si la estructura de
autocorrelacin del trmino de de perturbacin fuese
ms compleja, su deteccin podra pasar inadvertida.
Contrastes de Significacin
Estadstica
5.- Estadstico H de Durbin: es una
prueba para muestras grandes para
detectar correlacin serial de primer
orden en los modelos autorregresivos.


Se puede obtener a partir de d:
)]

[var( 1

2
o N
N
p H

=
p

|
.
|

\
|
= d
2
1
1

H tiene una distribucin asintomtica

normal (AN) con promedio cero y varianza
unitaria. A partir de la distribucin normal
se sabe que la probabilidad de que H se
encuentre entre entre -1.96 y +1.96 es
aproximadamente 95%.
Por tanto, la regla de decisin ser: si H se
encuentra entre -1.96 y +1.96 no se rechaza
la hiptesis nula de que no existe
autocorrelacin de primer orden (positiva o
negativa)
Regresiones Espurias
Este problema aparece cuando se haya la
regresin esttica entre series econmicas
afectado por tendencias comunes, lo que lleva
a encontrar R
2
elevados, sin que exista
realmente una relacin de causa efecto.
Adems, aparte del elevado R2, aparece un
valor pequeo de Durbin y Watson, indicativo
de que los errores de la ecuacin estn
autocorrelacionados positivamente.
Si no se presta atencin a este problema, se
puede incurrir en serios problemas de
especificacin.
Validacin del Modelo Fuera de
la Muestra (prueba a posteriori)
Se relaciona con la capacidad del modelo
para describir la realidad y para predecir
fuera del intervalo muestral el
comportamiento de la variable endgena.
Existen una serie de medidas que se
pueden utilizar bien sea en la fase de
construccin de un modelo, como tambin
durante el proceso de aplicacin, los
cuales se describen a continuacin.
MEDIDAS A POSTERIORI DEL MODELO
1. Medidas sobre los errores:
2. Anlisis prediccin realizacin:
3. Comparacin con otros modelos:
- Error cuadrtico medio
- Error medio absoluto
-
Diagramas prediccin-
realizacin
- Anlisis de punto de cambio de
tendencias (turning points)
- Coeficiente de desigualdad de
Theil
- Descomposicin del error
- Comparacin con modelos
"ingenuos"
- Comparacin con modelos
alternativos.
1.- Medidas sobre los errores
Error cuadrtico medio: consiste en la suma
de las diferencias al cuadrado entre lo real y
lo proyectado por el modelo
Error = (p
i
- r
i
)
2
= e
2
i
/N
p= valor proyectado, r = valor real N = tamao de la muestra
Error medio absoluto y porcentaje
cuadrtico de error
Error = (p
i
- r
i
)
2
/r
i
= e
2
i
/N
p= valor proyectado, r = valor real N = tamao de la muestra

N
r r P
M C E R
I I I
2
] / ) [(
. . . .%

=
Raz cuadrada del
% de error cuadrtico
medio
Para verificar si las diferencias entre los errores cuadrticos
medios correspondientes a los dos mtodos de prediccin,
es significativa, se utilizan las siguientes series:
S
t
= e
t
+ e*
t
y D = e
t
- e*
t

donde e
t
+ e*

son los errores de prediccin de los procedimientos
1 y 2, respectivamente. Luego, se verifica la hiptesis de que el
coeficiente de correlacin entre S y D es igual a cero, para lo
cual se utiliza el test t o test z de Fisher. Si se rechaza la
hiptesis existe una diferencia significativa entre los errores
cuadrticos medios de ambas predicciones (ndice W-K).

2.-Anlisis Prediccin-Realizacin
Diagramas prediccin-realizacin: se construye a
partir de las tasas de variacin reales (eje x) y
estimadas (eje y) para la variable endgena
% Real de Cambio
%Estimado
de Cambio
Sobreestimacin
Subestimacin
del cambio
1
Error del cambio
de signo
2
Error del
cambio
de signo
I
II
III
IV
Cuadrante I: %cambio de la variable es mayor que
cero al igual que la variacin proyectada
Cuadrante III: %cambio de la variable es menor que
cero al igual que la variacin proyectada.
Cuadrante II y IV: el error ha sido de signo: se han
proyectado aumentos (disminuciones) frenta a
disminuciones (aumentos) reales
La lnea de prediccin perfecta corresponde a la
diagonal que divide a dos cuadrantes (I y III)

Anlisis de puntos de cambio de Direccin
(%P.D): los puntos de cambio de tendencia
en una serie temporal permiten contrastar
el correcto comportamiento del modelo. Se
utiliza:
%P.D: Porcentaje de prediccin de cambios
de direccin: porcentaje de cambios
predichos correctamente por el modelo
(puntos en los cuadrantes I y III)
%P.D: porcentaje de cambios de tendencia
erradas respecto al total real de cambios de
tendencia
Coeficiente de desigualdad de Theil
(U): permite analizar tanto la bondad
de la prediccin como los
componentes de ste:

=
=

=
N
t
t
N
t
t t
R
N
R P
N
U
2
2
2
2
1
) (
1
% en real Variacion 100 *
% en proyectada Variacion 100 *
1
1
1
1

=
t
t t
t
t
t
e
t
t
X
X X
R
X
X X
P
El coeficiente U se interpreta como la relacin entre la raz
cuadrada del error cuadrtico medio de las predicciones y la
raz cuadrada del error cuadrtico medio correspondiente
al modelo naive que supone que no habr cambios en el futuro.
Para este modelo, U
2
= 1 , lo que representa un lmite superior,
ya que si lo sobrepasa, implica que el modelo predice peor que
el modelo ingenuo de paseo aleatorio.
Se puede descomponer el ndice U2 en
tres nuevos ndices: U
2
=U
2
s+U
2
v+U
2
c
Componente de sesgo U
2
s



Componente de varianza: U
2
v;

=
N
t
t
s
R
N
R P
U
2
2
2
2
1
) (
Recoge las diferencias entre
las medias.

=
N
t
t
r p
v
R
N
S S
U
2
2
2
2
1
) (
Este componente es mayor
cuanto ms difieran entre
si las desviaciones estndar
de las predicciones y de los
datos reales.
Componente de correlacin U
2
c:

=

=
N
t
t
R P
C
R
N
S S r
U
2
2
1
) 1 ( 2
R P
S S
R R P P
r

=
) ( ) (
Recoge las diferencias entre la
variacin conjunta entre predicciones
y realizaciones. Si Uc= 0 implica que
el coeficiente de correlacin es 1.
A medida que Uc se va acercando a 1,
la prediccin ser ms imperfecta.
3.- Comparacin con otros modelos
Comparacin con modelos ingenuos:
son modelos tan simples que en la
prctica slo se usan como referencia
a fin de valorar la capacidad
predictiva de otros modelos ms
complejos, comparando sus errores de
prediccin con los de stos.
CRITERIO
AIC de Akaike
BIC de Sawa
AICC de Hurvich y Sai
SBIC de Schwartz
HQ de Hannan y Quinn
MDL de Rissanen
BEC de Geweke y Meese
ln s
K
T
k
2
2 +
s T K K
s
s
K
k
K
2
2
2
2 1 ( ) ( ) + +

(
(
ln
( )
s
T K
T K
k
2
2
+
+

ln
ln( )
s
K T
T
k
2
+
ln
ln(ln( ))
s
K T
T
k
2 2
+
( )
ln
ln
T s
X X
T
k
2
+
'
s K s
T
T k
K K
2 2
+

ln( )
FORMULA
Otros ndices tiles para la valoracin de modelos

s
k
2

es la varianza residual corregida de cada modelo, es decir, SCR/(T - K), siendo
SCR la suma de los cuadrados de los residuos, T el tamao muestral y K el nmero de
regresores incluidos en el modelo .
K = k, para el modelo restringido y K= k para el modelo completo.
s
k
2
es la varianza residual corregida correspondiente al modelo completo.
X es la matriz de los K regresores.
2
kt
s
son las varianzas mustrales corregidas en la estimacin recursiva