Académique Documents
Professionnel Documents
Culture Documents
N-k
t t+K
t=1
k
N
2
t
t=1
( )( )
( )
x x x x
r
x x
(1)
donde r
k
es el coeficiente de autocorrelacin de retardo k, x
es la media general, x
t
es la observacin en
el instante t y N es la cantidad de observaciones.
La funcin de autocorrelacin parcial (FACP) r
kk
al retraso k es la correlacin entre observaciones que
estn separadas k periodos de tiempo, manteniendo constantes las correlaciones en los retrasos
intermedios (es decir retrasos menores de k). En otras palabras, la autocorrelacin parcial es la
correlacin que existe entre observaciones separadas por k unidades (retrasos) de tiempo despus de
eliminar el efecto de las observaciones intermedias.
1
k-1
k k-1,j k- j
kk
j=1
k-1
k-1,j j
j=1
1
2,3,...
1
r si k
r r r
r
si k
r r
=
=
=
(2)
donde r
kk
es el coeficiente de autocorrelacin parcial de retardo k y r
kj
= r
k-1,j
- r
kk
r
k-1,k-j
para j=1,2,,k-1.
Los coeficientes de autocorrelacin tambin se utilizan para verificar la aleatoriedad de la serie.
Tericamente todas las autocorrelaciones de series aleatorias deben ser cero. En la prctica se puede
considerar que una serie es aleatoria si para todos los retrasos , las autocorrelaciones se encuentran en
el intervalo:
s s
k
1 1
1.96 1.96 r
N N
(3)
Este intervalo se denomina intervalo de no significacin de r
k
. Est basado en una distribucin normal con
un grado del 95% de confianza y es el conjunto de valores que puede tomar r
k
para que, con un riesgo
del 5%, se pueda admitir la ausencia de correlacin entre valores de la serie, desplazados k unidades de
tiempo. Por todo ello, al calcular la funcin de autocorrelacin de una serie, es apropiado representarla
grficamente junto al intervalo, para considerar nicamente como coeficientes de autocorrelacin
significativos aquellos cuya estimacin est fuera del citado intervalo.
ASPECTOS METODOLGICOS
Los experimentos se llevaron a cabo en dos etapas. En la primera parte se realiz un anlisis exploratorio
de los datos para comprobar si hay datos ausentes, puntos extremos, anlisis de tendencia y finalmente
un anlisis de las funciones de autocorrelacin. En la segunda parte, se realiz la prediccin de la serie
analizada en los distintos niveles (uno y doce pasos adelante). Se disearon numerosas modelos de
redes combinando arquitecturas, tipos de preprocesamiento, reglas de retardo para crear las ventanas de
tiempo y reglas de divisin de datos. Estas combinaciones se realizaron para cada tamao de paso de
prediccin adelantado.
El proceso de implementacin se ha realizado utilizando el software de procesamiento matemtico
Matlab
versin 7.10 (R2010a) asistido con el Toolbox Neural Networks. El hardware utilizado fue una PC
con procesador Intel Core 2 Duo de 2.13 GHz, 2 GB de Memoria RAM.
Anlisis de las funciones de autocorrelacin
Una vez realizado el anlisis exploratorio se traz la grfica de la serie temporal como se muestra en la
Figura 2, para efectuar luego un anlisis de los retardos significativos de la serie obtenidos mediante la
aplicacin de las funciones de autocorrelacin. Tales retardos proporcionan informacin til acerca de
cules son apropiados para ser tomados como entrada de la red neuronal. Este estudio permiti tambin
tener una idea general de las correlaciones del caudal medio mensual respecto a sus valores pasados.
Figura 2. Serie temporal resultante del anlisis exploratorio.
El correlograma resultante de la aplicacin de la funcin de autocorrelacin sobre la serie se muestra en
la Figura 3. Las barras verticales representan los coeficientes de autocorrelacin y las bandas
horizontales representan el intervalo de confianza dentro del cual se supone que la autocorrelacin se
puede asumir nula y fuera del cual la autocorrelacin es significativa. Estos lmites horizontales sealan
dos errores estndares de los estimadores de los coeficientes, bajo la hiptesis de que los estimadores
son esencialmente nulos por encima de un cierto valor del rezago k.
En la Figura 3 se puede observar tambin que a partir del rezago 3 se repite lo siguiente: 7 coeficientes
negativos seguidos de 5 coeficientes positivos (5 + 7 = 12 coeficientes), lo que permite concluir que la
serie tiene una componente de variacin de tipo estacional, corroborando la estacionalidad de perodo 12
que muestra el grfico de la serie original (Figura 2 anterior). Por lo tanto, este anlisis de
autocorrelaciones lineales en la estructura de retraso revela una fuerte estacionalidad de la serie
histrica. La figura anterior tambin muestra que despus del rezago 60 los coeficientes son muy
cercanos a cero, lo que indica que el comportamiento es prcticamente aleatorio y ya no hay correlacin
significativa a partir de ese rezago. Como el objetivo es encontrar los retardos apropiados para las
entradas de la red neuronal, se consideraron aquellos ms influyentes de entre todos los significativos.
En este anlisis se identifican autocorrelaciones significativas en los retardos t-1, t- 4 a t-8, t-11 a t-13, t-
17 a t-20, t-23, t-24, t-25, t-28 a t-31, t-35 a t-37, t-47, t-48 y t-60 de la serie, con las cuatro
autocorrelaciones ms dominantes en los retardos t-1, t-13, t-23, t-24. La autocorrelacin en el retardo t-0
se ignora de este anlisis ya que siempre su valor es uno.
Figura 3. Valores de la funcin de autocorrelacin (FAC).
Figura 4. Valores de la funcin de autocorrelacin parcial (FACP).
El correlograma resultante de la aplicacin de la FACP sobre la serie se muestra en la Figura 4. Se
observa en la grfica que hay varios coeficientes fuertemente correlacionados cerca de la mitad de la
serie, y posteriormente los coeficientes son muy cercanos a cero. Posteriormente se identifican
autocorrelaciones significativas en los retardos t-1, t-2, t-10, t-13, t-14, t-23, t-26, t-37, t-46, t-48, t-50, t-53,
t-54, t-55, t-56, t-57, t-58, t-59 y t-62 de la serie, con las cuatro autocorrelaciones ms dominantes en los
retardos t-55, t-57, t-58, t-59. La autocorrelacin en el retardo t-0 tambin se ignora de este anlisis ya
que siempre su valor es uno.
Configuracin de las redes neuronales
Preprocesamiento de datos
Cada configuracin de red neuronal utiliz como datos de entrada series escaladas mediante tcnicas de
preprocesamiento de datos. Se emplearon dos tipos de preprocesamiento (Demuth et al., 2010):
1. MNMX: Mnimo/Mximo con rango [-1,1].
2. STD: Media cero ( =0) y desviacin estndar uno ( =1).
Determinacin de la arquitectura de entrada
Para la determinacin de la arquitectura de entrada, se emplea un enfoque emprico propuesto en Cortez
et al. (2006), que consiste en utilizar la informacin basada en el anlisis de las series de tiempo. Cinco
estrategias heursticas se ponen a prueba para la seleccin de los retardos de entrada, basadas en las
caractersticas de la serie. Estas estrategias se aplican en forma de reglas que determinan el vector de
retardo que mejor se ajusta a la serie de tiempo:
1. Utilizar todos los retardos desde 1 hasta un mximo m dado: (1,2,m). En donde m se
estableci en 13, un valor que se consider suficiente para abarcar efectos mensuales
estacionales y de tendencia.
2. Utilizar todos los retardos que contienen los valores de autocorrelacin por encima de un
umbral determinado (Ecuacin 3).
3. Utilizar los cuatro retardos con las ms altas autocorrelaciones. Se seleccionaron las cuatro
autocorrelaciones ms significativas.
4. Utilizar informacin de descomposicin. En esta regla se eligi la primera opcin ya que la
serie, previo anlisis exploratorio, presenta estacionalidad con perodo k = 12 y tambin
posee una leve tendencia.
- [1, K, K+1] Si la serie temporal es estacional (con perodo K) y con tendencia.
- [1, K] si la serie es estacional.
- [1] y [1, 2] si la serie tiene tendencia
5. Utilizar todos los retardos que contienen los valores de autocorrelacin parcial por encima de
un determinado umbral (Ecuacin 3).
Las reglas 1 y 4 son las nicas que no utilizan funciones de autocorrelacin para determinar los retardos.
Conjuntos de entrenamiento y prueba
Teniendo en cuenta que una de las circunstancias que determinan en buena medida la capacidad de
generalizacin de la red es el nmero de ejemplos de entrenamiento (Haykin, 1998), en este trabajo se
emplearon tres tipos de Reglas de Divisin de datos (RD), los cuales determinan el tamao de los
conjuntos de datos de entrenamiento y prueba, con el objetivo de que los ejemplos del conjunto de
entrenamiento sean suficientes para cubrir el espacio de entrada, contemplando la mayora de las
situaciones posibles. Las reglas son: RD1 con 60% para entrenamiento / 40% para prueba. RD2 70/30 y
RD3 80/20.
Neuronas ocultas
Para determinar la cantidad de neuronas ocultas se ha empleado el mtodo aplicado en (Martnez et al.,
2009), que establece una cantidad mnima y mxima de neuronas ocultas ecs. (4) y (5), de acuerdo a
la cantidad de pares de entrenamiento que se utilizan:
( ) ( )
( )
min
( ) ( )
( 1)
1
e s s
o
e s
P N
H
N N
=
+ +
(4)
( ) ( )
max
1
o e s
H P
= (5)
donde H
(o)
es la cantidad de neuronas ocultas, P
(e-s)
es la cantidad de pares entrada-salida establecidos
para entrenamiento, N
(e)
es la cantidad de neuronas de entrada y N
(s)
es la cantidad de neuronas de
salida.
Criterios de evaluacin
Los criterios de evaluacin utilizados para seleccionar los mejores modelos fueron el error cuadrtico
medio (MSE por sus siglas en ingls) y el Coeficiente de Determinacin (R
2
):
( )
=
=
2
1
1
N
i i
i
MSE t a
N
(6)
donde N es el nmero de observaciones, t
i
es el valor observado y a
i
es el valor calculado o estimado.
( )
( )
=
=
2
2 1
2
1
1
N
i i
i
N
i
i
t a
R
t t
(7)
donde N es el nmero de observaciones, t
i
es el valor observado, a
i
es el valor calculado o estimado y t
es el promedio de los datos observados.
RESULTADOS
Las Tablas 1 a 4 resumen los resultados obtenidos por regla de retardo de las predicciones de uno y
doce pasos adelante para los dos tipos de redes, indicando el nmero de modelos ejecutados, el nmero
de modelos que tuvieron xito en el proceso entrenamiento (es decir, que alcanzaron el error objetivo de
entrenamiento), el porcentaje de xito sobre los modelos ejecutados y el porcentaje de xito sobre el total
de modelos exitosos. La codificacin de cada ttulo de columna se detalla a continuacin:
Tabla 1. Resultados por Regla de Retardo para las
predicciones de un paso adelante en redes
tipo TDNN.
Tabla 2. Resultados por Regla de Retardo para
las predicciones de un paso adelante
en redes tipo NARX.
RR NM NE PEM PET
RR1 4340 3099 71% 20%
RR2 7920 6383 81% 41%
RR3 900 823 91% 5%
RR4 620 567 91% 4%
RR5 5120 4641 91% 30%
Totales 18900 15513 82% 100%
RR NM NE PEM PET
RR1 4400 2400 55% 18%
RR2 8060 5631 70% 42%
RR3 960 726 76% 5%
RR4 640 473 74% 4%
RR5 5200 4167 80% 31%
Totales 19260 13397 70% 100%
En la Tabla 1 se puede observar que las reglas RR3, RR4 y RR5 tienen el mayor PEM (91%). Tambin,
las reglas RR2 y RR5 tienen el mayor PET (41% y 30% respectivamente). En la Tabla 2 la regla RR5
tiene el mayor PEM (80%). Tambin, al igual que para el tipo de red TDNN (Tabla 1), las reglas RR2 y
RR5 tienen el mayor porcentaje de xito sobre el total de modelos exitosos, PET del 42% y 31%
respectivamente, porcentajes casi iguales para ambos tipos de red. En base a estos resultados, se
procedi a realizar las predicciones de doce pasos adelante aplicando slo las reglas de retardo RR2 y
RR5, que fueron las que mejores resultados proporcionaron.
Tabla 3. Resultados por Regla de Retardo para las
predicciones de doce pasos en redes tipo
TDNN.
Tabla 4. Resultados por Regla de Retardo para
las predicciones de doce pasos en
redes tipo NARX.
RR NM NE PEM PET
RR2 3800 3055 80% 48%
RR5 3840 3366 88% 52%
Totales 7640 6421 84% 100%
RR NM NE PEM PET
RR2 3800 3130 82% 48%
RR5 3840 3380 88% 52%
Totales 7640 6510 85% 100%
Referencias de tablas
TP: Tipo de preprocesamiento donde:
MNMX: Mximo/Mnimo.
STD: Media y desviacin estndar.
RR: Regla de retardo.
RD: Regla de divisin de datos.
NM: Nmero de modelos ejecutados.
NE: Nmero de modelos exitosos.
PEM: Porcentaje de xito sobre el nmero de
modelos ejecutados.
PET: Porcentaje de xito sobre el total de modelos
exitosos.
Como se puede observar en la Tabla 3, hay una leve ventaja en los porcentajes de xito (PEM y PET)
para la regla RR5. Tambin se observa en la Tabla 4 que los porcentajes de xito (PEM y PET) son
levemente mayores para la regla de retardo RR5.
La Tabla 5 presenta los resultados obtenidos de los mejores modelos de las predicciones de uno y doce
pasos adelante que tuvieron un mejor desempeo sobre los datos del conjunto de prueba. Para ello, se
seleccion el modelo que produjo el menor error de generalizacin. Cada fila corresponde al nmero de
pasos delante de prediccin, tipo de red, tipo de preprocesamiento, regla de retardo, regla de divisin de
datos, nmero y mximo retardo, nmero de neuronas de la capa oculta, nmero de parmetros, y los
valores MSE y R
2
de entrenamiento y prueba respectivamente.
Tabla 5. Mejores modelos para predicciones de uno y doce pasos adelante.
NP RED TP RR RD
Retardos Neuronas
Ocultas
N de
Parmetros
Entrenamiento Prueba
N Max MSE R
2
MSE R
2
1 TDNN MNMX RR5 RD3 13 54 17 256 0,000326 0,9960 0,005593 0,6004
1 NARX MNMX RR5 RD3 20 48 16 353 0,000565 0,9941 0,003913 0,6988
12 TDNN STD RR5 RD3 16 57 2 37 0,003591 0,9949 0,007493 0,9438
12 NARX MNMX RR5 RD2 32 57 2 69 0,000110 0,9988 0,003379 0,7400
Se observa claramente que la regla de retardo que produjo los mejores modelos corresponde a la regla
RR5. En cuanto al error de prediccin (MSE de prueba), el tipo de red que produce los errores ms bajos
corresponde a los de tipo NARX. Se observa tambin que para la prediccin de doce pasos se obtuvo un
mayor grado de ajuste (R
2
) respecto a los obtenidos para un paso adelante.
En base a los resultados de los mejores modelos identificados en el conjunto de datos de prueba, para
cada nivel de prediccin y tipo de red, y con el objeto de resaltar las diferencias entre los datos obtenidos,
se muestran a continuacin los resultados de cada modelo para los conjuntos de datos de entrenamiento
y prueba junto con la serie original (Figuras 5 a 8).
Figura 5. Resultados de prediccin para el
modelo TDNN en un paso adelante.
Figura 6. Resultados de prediccin para el
modelo NARX en un paso adelante.
Figura 7. Resultados de prediccin para el
modelo TDNN en 12 pasos adelante.
Figura 8. Resultados de prediccin para el
modelo NARX en 12 pasos adelante.
CONCLUSIONES
Se han desarrollado diversos modelos de redes neuronales basados en dos arquitecturas bsicas, las
redes de tiempo diferido (TDNN) y las redes no lineales autorregresivas con entradas exgenas (NARX),
configuradas en base a anlisis de autocorrelacin. Para la experimentacin y anlisis del comportamiento
de los modelo de redes TDNN y NARX, se utiliz una serie temporal de diez aos correspondiente al caudal
mensual en m
3
/s del Sistema Las Maderas, Jujuy, Argentina, efectundose un preprocesamiento de datos y
un anlisis de autocorrelacin para mejorar el comportamiento de los modelos.
En base a las reglas de distribucin de datos predefinidas, en ningn caso se obtuvo el mejor modelo a
partir de reglas de retardo que no utilicen funciones de autocorrelacin (RR1 y RR4). Por el contrario, en
todos los casos se obtuvo los mejores modelos a partir de una regla de retardo que utiliza funciones de
autocorrelacin (RR5) para determinar la arquitectura de entrada de los modelos neuronales.
Una variedad de configuraciones de redes neuronales TDNN y NARX se han evaluado con xito a la
prediccin de series de tiempo con uno y doce pasos adelante. Se comprob que utilizando resultados de
predicciones de un paso, impacta en la decisin de diseo de modelos neuronales para predecir los
pasos siguientes doce pasos adelante luego de examinar los resultados de las predicciones de un
paso adelante.
Las experiencias realizadas han mostrado que es posible obtener mejores resultados a partir de la
aplicacin de funciones de autocorrelacin para determinar la arquitectura de entrada de los modelos
neuronales.
REFERENCIAS
Box G.E.P., Jenkins G.M. & Reinsel G.C. Time Series Analysis: Forecasting and Control. Ed. Wiley, ISBN:
9780470272848, 4 ed. USA. 2008.
Cortez P., Rocha M., & Neves J. Time Series Forecasting by Evolutionary Neural Networks. In J. Rubual
and J. Dorado (Eds.), Artificial Neural Networks in Real-Life Applications. chapter III, pp. 47-70,
Hershey, Idea Group Publishing, ISBN:1-59140903-9. USA. 2006.
Del Bro B.M., Sanz Molina A. Redes neuronales y sistemas borrosos. Ed. Alfaomega, ISBN:
9789701512500. Espaa. 2007.
Demuth H., Beale M. & Hagan M. Neural Network Toolbox 6 (UG). Ed. The MathWorks, Inc. USA.
2010.
Gutirrez J.J. Prediccin de Datos en Series de Tiempo con Redes Neuronales Artificiales - Aplicaciones
sobre datos hidrometeorolgicos del Sistema Las Maderas, Jujuy, Argentina. Tesis de grado. Facultad
de Ingeniera. Universidad Nacional de Jujuy. Argentina. 2012.
Haykin S. Neural Network: A Comprehensive Foundation. Ed. Prentice-Hall, ISBN-10: 0132733501. USA.
1998.
Martnez S.L., Tarifa E.E & Snchez Rivero V.D. Filtros neuronales para la eliminacin de ruido en
seales de procesos. Investigaciones en Facultades de Ingeniera del NOA, ISBN 978-987-633-042-8,
Tomo 2, pp V128-V133. Salta Argentina. 2009.
Zhang G.P., Neural Networks in Business Forecasting. Ed. Idea Group Publishing, ISBN:
9781591401766. USA. 2004.