Anlisis estadstico de un modelo de dispersin.

La evaluacin estadstica de un modelo se realiza por comparacin de los datos entregados por el
modelo (concentraciones modeladas o predichas) con los datos monitoreados (u observados) en el
lugar de estudio. Por lo general se pueden considerar todas las concentraciones, o agrupar las ms
altas o aquellas que sobrepasen la norma de calidad de aire.
Se obtienen datos de concentracin en promedios horarios, diarios, etc. simulados por el modelo y
se comparan con datos monitoreados en las estaciones de monitoreo que estn disponibles en el rea
de estudio.
Los datos de concentraciones obtenidos se pueden comparar realizando estadsticas de todas las
concentraciones observadas y predichas respetando la hora en que stas ocurren, es decir se
comparan ambas series de tiempo.
Por otro lado se eligen las concentraciones ms altas, que sobrepasen la norma de calidad del aire,
tanto predichas como observadas y se realiza un ranking de stas de mayor a menor sin importar la
hora en que ocurren, de esta manera se generan dos conjuntos de valores decrecientes de
concentraciones, uno proveniente del monitoreo y el otro de la simulacin, as se pueden comparar
las distribuciones de concentraciones observadas y modeladas.
Siendo n el nmero de datos de concentracin (g/m3) calculados y monitoreados, Oi (g/m3) la
concentracin promedio horaria observada, Pi (g/m3) la concentracin promedio horaria simulada
por el modelo, los siguientes parmetros para la evaluacin de modelos de dispersin han sido
recomendados por la EPA de EEUU en el documento Guideline on Air Quality Models (1986):

- Concentracion media observada (O)

O=

1 n
Oi
n i=1

Ecuacin 1

- Concentracin media modelada (P)

P=

1 n
Pi
n i=1

Ecuacin 2

- Desviaciones estndar de lo observado (o), de lo modelado (p)

1 n
o =
( O i O )2

n 1 i=1

1 n
p =
( Pi P )2

n 1 i=1

0.5

Ecuacin 3

0.5

Ecuacin 4

Copyright 2009 Hctor Jorquera, Pontificia Universidad Catlica de Chile

- Concentracin media del residual (SESGO)

SESGO = O P

Ecuacin 5

- Diferencia media normalizada (NMD) o SESGO/Media Observada

NM D =

OP
O

Ecuacin 6

- Error de la raz cuadrada media (RMSE)

1/ 2

1 n

RMSE = ( O i Pi )2
n i=1

Ecuacin 7

La evidencia emprica indica el comportamiento esperado de estas variables, donde se espera

fundamentalmente que el valor medio observado de concentraciones debe ser lo ms parecido
posible al valor medio modelado. Las desviaciones estndar de las concentraciones observadas y
modeladas no deben diferir mucho tampoco. El valor medio residual y el error de la raz cuadrada
media deben ser lo ms pequeos posibles.
- Error de la raz cuadrada media sistemtico (RMSEs) y no-sistemtico (RMSEns)
1 n

RMSE s = ( O i P i ) 2
n i=1

1 n
RMSEns = ( Pi Pi ) 2

n i=1

1/ 2

Ecuacin 8

1/ 2

Ecuacin 9

donde,

P i = a + bO i

Ecuacin 10

Siendo a, el intercepto y b la pendiente de una regresin lineal de mnimos cuadrados entre la

variable predicha, Pi, y la variable observada Oi:

a = P bO

n
( O i O )( Pi P )

b = i=1 n

2
( O i O )

i=1

Ecuacin 11

Ecuacin 12

Adems se cumple que:

RMSE 2 = RMSEs2 + RMSEns2

Ecuacin 13

Copyright 2009 Hctor Jorquera, Pontificia Universidad Catlica de Chile

Segn Willmott (1982) tanto el error cuadrtico medio sistemtico como el no-sistemtico entregan
valiosa informacin en cuanto a la potencialidad de mejorar los resultados del modelo. Para un buen
modelo la porcin no-sistemtica del error cuadrtico medio es ampliamente superior a la porcin
sistemtica de RMSE. Una mayor porcin sistemtica de RMSE indica un modelo pobre, difcil de
mejorar. Se definen dos parmetros que especifican la concordancia horaria de los datos:
- Coeficiente de correlacin (Corr)
n

1
Corr =
n

( O i O )( Pi P )
i =1

Ecuacin 14

o p

- ndice de evaluacin (IA)

( O i Pi )2

i =1
IA = 1
2
n
i=1 ( Pi' + O 'i )
n

Ecuacin 15

Donde,

Pi' = Pi O Ecuacin 16
O 'i = O i O Ecuacin 17
El ndice de evaluacin (o de concordancia) siendo adimensional, debe ser visto como una medida
estandarizada del error cuadrtico medio, teniendo un valor entre 0 y 1. Cuando su valor es 1,
aquello indica una perfecta concordancia de las concentraciones observadas (Oi) y de las
concentraciones entregadas por el modelo (Pi), si su valor es 0, aquello indica una concordancia
deficiente entre los datos observados y predichos (Robeson, 1990).
Como resultado de las desviaciones entre las concentraciones observadas y las predichas por los
modelos en general, de acuerdo a las indicaciones de la EPA (EPA, 1986) para la evaluacin de
modelos de dispersin, un rango tpico de variacin de las concentraciones horarias o diarias es del
orden de un 50%. Este rango de variacin tolerado se debe a la incertidumbre propia de todo
modelo de dispersin (Zanetti, 1990).
Cada situacin simulada por un modelo est caracterizada por condiciones conocidas para cada
evento que corresponden a las variables medidas ingresadas al modelo como, por ejemplo, las
caractersticas de la emisin y de la meteorologa. Pero adicionalmente en todo modelo existen
variables desconocidas en cada evento, como por ejemplo el nivel de turbulencia atmosfrica.
Aun cuando se tenga un modelo perfecto siempre existirn desviaciones de las concentraciones
observadas. Un modelo se considera deficiente si la diferencia media normalizada (SESGO/Media
observada) es superior a un 50 por ciento (US EPA, 1986):
O-P
> 50% modelo deficiente
O

Copyright 2009 Hctor Jorquera, Pontificia Universidad Catlica de Chile

El resultado de un gran nmero de estudios es que los modelos (EPA, 1986) presentan mejores
resultados para predecir concentraciones promedio en el largo plazo que para estimar
concentraciones de corto plazo en lugares especficos.
Adicionalmente a estas estadsticas en el caso de comparar todas las concentraciones, es
muy comn realizar grficos de frecuencia acumulada de la distribucin de concentraciones tanto
observadas como predichas y comparar la frecuencia acumulada de las salidas del modelo con la
frecuencia acumulada de los datos monitoreados. La tabla siguiente resume los parmetros
estadsticos que se pueden emplear para evaluar modelos de dispersin.

Tabla 1 Parmetros estadsticos analizados en la evaluacin del modelo

Set de datos
Parmetros analizados
Todas las concentraciones

Concentraciones mas altas

Sesgo/Media Observada (NMD)

Raz del error cuadrtico medio (RMSE)
ndice de evaluacin (IA)
Frecuencias acumuladas
Coeficiente de correlacin (Corr)
Sesgo/Media Observada (NMD)
Nmero de sobrepasos a la norma de calidad del aire

Referencias.
1) Grnskei, K.E., S.E. Walker, y F. Gram. 1993. Evaluation of a model for hourly spatial
concentration distributions. Atmospheric Environment. 1:105-120.
2) Robeson, S.M., y D.G. Steyn. 1990. Evaluation and comparison of statistical forecast
models for daily maximum ozone concentrations. Atmospheric Environment. 2:303-312.
3) U.S. Environmental Protection Agency (EPA). 1986. Guideline on Air Quality Models
(Revised). EPA-450/2-78-027R, Office of Air Quality Planning and Standards, Research
Triangle Park, North Carolina, USA.
4) U.S. Environmental Protection Agency (EPA). 1984. Interim procedures for evaluating air
quality models (revised). EPA-450/4-84-023, Office of Air Quality Planning and Standards,
Research Triangle Park, North Carolina, USA.
5) Willmott, C.J. 1982. Some comments on the evaluation of model performance. Am. Met.

Soc. Bull. 63:1309-1313.

6) Zanetti, P. 1990. Air Pollution Modeling: Theories, Computational Methods and Available
Software. Van Nostrand Reinhold., New York, USA.

Copyright 2009 Hctor Jorquera, Pontificia Universidad Catlica de Chile