Simulación de Sistemas

Análisis de Modelos
Simulación de Sistemas – Semestre 2008 -1
Ing. Walter Silva Sotillo
Agenda

1. VALIDACIÓN DE RESULTADOS
1. Comparación de los resultados de salida del modelo con los del sistema real
2. Test de Turing
2. ANÁLISIS DE RESULTADOS PARA SISTEMAS TERMINALES Y NO-TERMINALES
1. Sistemas Terminales y No Terminales
2. Análisis de Sistemas Terminales
3. Análisis de Sistemas No Terminales
Validación de Resultados
Dado que las salidas del modelo se emplearán para obtener conclusiones es
importante que se pueda confiar en el modelo

¿Es el modelo una representación

Sistema creíble del sistema real?
Modelo
Real

Para esto se emplea la validación y la verificación

Validación de Resultados

VERIFICACIÓN Se refiere a la construcción correcta de un modelo. Se puede definir verificación

como el proceso de determinar si la lógica operacional del modelo (programa de
ordenador) se corresponde con la lógica del diseño. En términos más simples,
consiste en determinar si hay errores en el programa.

¿Están procesados correctamente los sucesos del modelo?

¿Son válidas las fórmulas matemáticas y las relaciones incluidas en el modelo?
¿Están calculadas correctamente las estadísticas y medidas de ejecución?

VALIDACIÓN Se refiere a la construcción de un modelo correcto. La validación es el proceso de

determinar si el modelo, como abstracción, es una buena representación
del sistema

 Comparación de los resultados de salida del modelo con los del sistema real.
 Test de Turing.
Validación de Resultados
Comparación de los resultados de salida del modelo con
los del sistema real
Sistema
Real

Modelo Comparación entre ambos

empleando métodos estadísticos

Se plantean pruebas de Hipótesis, supongamos que generamos valores observados de una variable
Y, (ya sea, tiempo de espera, número de personas en cola, etc.). Sabemos que en el sistema real el
promedio de la variable Y es una constante c.

Forma 1:
Se plantea la prueba de hipótesis de la siguiente manera:
H0 : E(Y) = c, vs.
H1 : E(Y) ≠ c.
Se calcula el estadístico t0 = [ E(Y) – c] / [S/ √n], donde n es el tamaño de muestra.
Y donde S es la Desviación Estándar de la muestra, que se calcula de la siguiente manera:
S = √ [ ( ∑(Yi – E(Y)2 ) / (n-1) ]
La hipótesis nula H0 se rechaza si │t0│ > tα/2 , n-1
Validación de Resultados
Comparación de los resultados de salida del modelo con
los del sistema real

Forma 2:
Si las hipótesis alternativas fueran:
H1 : E(Y) > c, se rechaza si t0 > tα , n-1
H1 : E(Y) < c, se rechaza si t0 < tα , n-1

Se debe de tener en cuenta adicionalmente los errores Tipo I y los errores Tipo II.

El error Tipo I es la probabilidad de rechazar la hipótesis nula, dado que es verdadera y se define de la
siguiente manera:

P( Rechazar H0 / H0 es verdadera ) = α

El error Tipo II es la probabilidad de no rechazar H0 cuando en realidad es falsa y se define asi:

P( No rechazar H0 / H1 es verdadera ) = β(δ), donde δ = │E(Y) - c│/ S

Si escogemos un “α” pequeño, aseguramos una probabilidad pequeña para el error Tipo I.
Para disminuir la probabilidad del error tipo II, debemos incrementar el tamaño de la población “n”.
Validación de Resultados
Test de Turing

En este test, a un experto, o grupo de expertos, se le presentan resúmenes o informes de resultados de

ejecución del sistema y del modelo, a los que se les ha dado el mismo formato. Estos informes se reparten
aleatoriamente, para ver si los expertos son capaces de discernir cuáles son los reales del sistema y cuales
la imitación resultado de la simulación.

Si los expertos no son capaces de distinguir entre ambos, se puede concluir que no hay evidencias para
considerar inadecuado al modelo. Si descubren diferencias las respuestas sobre lo que encuentran
inconsistente se puede utilizar para realizar mejoras en el modelo.
Análisis de Resultados para Sistemas Terminales y No Terminales
¿Cuál es la diferencia entre un sistema Terminal y un Sistema No Terminal?

SISTEMA TERMINAL SISTEMA NO TERMINAL

Tiene una condición fija de
comienzo y un evento definido
para terminar la simulación
Ejemplos: Banco, correo, fast foods
No tiene una condición fija de
comienzo y tampoco un evento
definido para terminar la simulación
Ejemplos: Hospitales, sistemas de producción,
sistemas de telefonía, trámites documentarios

La corrida dura un tiempo La corrida dura un período no definido

específico. de tiempo.
Las condiciones iniciales son Las condiciones iniciales no son
conocidas. importantes.
Las condiciones iniciales son El interés se sitúa en el
importantes comportamiento del estado estacionario

¿Cómo se analizan los resultados de cada uno?

Análisis de Sistemas Terminales
La decisión a tomar en un Sistema Terminal es LA CANTIDAD DE RÉPLICAS NECESARIAS para que
el análisis sea confiable

Se requiere según la mayoría de procedimientos estadísticos:

Datos Independientes
Sigan una distribución normal
El problema es que los datos podrían estar correlacionados, por eso se trabaja con varias réplicas, los
cuales se presumen son independientes y normales (Teorema del Límite Central)

Para crear estos datos empleamos el ELEMENT Outputs, donde se definirán las siguientes
expresiones para medir indicadores de interés:

Variable Descripción
DAVG(Dstat ID) Promedio de estadística en DSTAT
DMIN(Dstat ID) Mínimo de estadística en DSTAT ID
DMAX(Dstat ID) Máximo de estadística en DSTAT ID
TAVG(Tally ID) Promedio de valores en Tally ID
TMIN(Tally ID) Mínimo de valores en Tally ID
TMAX(Tally ID) Máximo de valores en Tally ID
NC(Count ID) Valor de contador Count ID

Se generarán archivos que contienen para cada réplica el valor del estadístico solicitado
Análisis de Sistemas Terminales
Intervalos de Confianza

Para construir un intervalo de confianza para el promedio se deben correr réplicas y estar seguro que
son independientes. Para calcular un intervalo de confianza para el promedio se usa:
sx
h  t1α/2,n1s x  t1α/2,n1
n
Donde h es la mitad del ancho del intervalo,
t1 / 2,n1 se toma de la tabla de valores de T para un nivel de confianza de ,

sx y sx es la desviación estándar de los promedios y la desviación estándar del parámetro
que se está estudiando, respectivamente.

Si construimos el intervalo apropiadamente, el promedio de una muestra aleatoria caerá dentro del
intervalo con una probabilidad de 1 - , o sea que el nivel de confianza es (1 - )%. El ancho del
intervalo medirá, cuan preciso es el estimado x, del promedio desconocido. A menor ancho de intervalo
mejor el intervalo.
Análisis de Sistemas Terminales
¿Cuál es el número total de réplicas requeridas?

Para determinar el número de replicas (n*) que se necesitan para alcanzar un ancho de intervalo
específico (h*), se hacen n réplicas inicialmente, se calcula el ancho del intervalo inicial (h) y si se
determina que este es muy ancho, se reduce el mismo tomando más observaciones :

  h 2 
n*  n  
  h *  

El número total de réplicas requeridas para reducir el ancho del intervalo es n*, en donde [] significa
redondeo hacia el próximo entero

Luego de calcular la nueva n*, se hacen n* - n réplicas adicionales asegurando que las mismas son
independientes.
Análisis de Sistemas Terminales
Ejemplo
Para un sistema terminal simulado se hicieron 10 corridas, la tabla inferior muestra el valor del indicador
Trabajos completados

Corrida Trabajos
Corrida Trabajos Con n = 10 y un nivel de confianza de 95% completados
completados t 0.975, 9 = 2.262 11 94
1 93 Se tiene que h es igual a 4.7 12 115
2 113 Con un nivel de confianza de 95% podemos 13 111
3 107 decir que el número esperado de trabajos 14 102
4 103 completados por día para este modelo estará
15 108
5 112 entre 99.9 y 109.3.
16 96
6 103
Si queremos que h  3, entonces: 17 111
7 112
n * = [ 10 (4.7/3)2 ] = [24.6] = 25 18 107
8 100
19 113
9 98
Se necesitan: 10 103
10 105
25 - 10 = 15 observaciones adicionales.
x  104.6, sx  6.59
11 113
12 113
13 103
sx
h  t1α/2,n1s x  t1α/2,n1 14 99
n 15 104

x  106, sx   6.5

Para un nivel de confianza de 95% t 0.975, 24 = 2.064 y h = 2.7
Análisis de Sistemas No Terminales
Características
No existe una condición inicial que sea fija ni constante entre réplicas
No tiene condición natural de finalizar
En este tipo de sistema existen dos etapas. Estas son:
Etapa de transición o de calentamiento (warm-up period)
Estado estabilizado

Estado
estabilizado

Etapa de
calentamiento

Simulación de Sistemas – Semestre 2008 -1

Análisis de Sistemas No Terminales
Estado Estabilizado

Aquí se tiene interés en analizar el sistema en su estado estabilizado (steady state), por dos razones:
Es en este estado donde cualquier medida de desempeño está estabilizada.
Cualquier observación recogida en la etapa de transición sesgará los resultados

Para evitar que los resultados estén sesgados, tenemos tres métodos para analizar el sistema. Estos son:

Reducir la etapa de transición al seleccionar las condiciones iniciales apropiadas para la corrida

Descartar los datos pertenecientes al inicio de la simulación, de esta manera se evitan las
observaciones sesgadas de la etapa de transición

Correr la simulación por mucho, mucho tiempo; de manera tal que los datos del estado estabilizado,
dominen los datos de la etapa de transición
Análisis de Sistemas No Terminales
Intervalos de Confianza

Otro objetivo del análisis de los sistemas no-terminales es el de estimar la varianza del promedio la
medida de desempeño de interés, de manera tal que se pueda desarrollar un intervalo de confianza
para el promedio.

En el caso del sistema terminal, la estimación de la varianza es sencilla, ya el largo de corrida es
fijo y se generan un número de réplicas independientes con una condición inicial fija. En los sistemas
terminales, cada réplica nos da un resultado insesgado e independiente.

En los sistemas no-terminales, se introduce sesgo al inicio de cada réplica. Además, en estos
sistemas no existe una condición definida de como terminar una réplica. Una manera de evitar estos
problemas es haciendo una sóla y larga corrida.

El problema surge, al realizar una sola y larga corrida, pues luego, se deberá trabajar con datos
altamente correlacionados. Además, la ausencia de independencia entre observaciones complica el
análisis
¿Cómo se procede entonces?
En sistemas No Terminales se empleará:
MÉTODO DE LAS MEDIAS DE GRUPO (Batch Mean)
Análisis de Sistemas No Terminales
Método de las Medias de Grupo

Los pasos a seguir son los siguientes:

Se realiza una sola y larga corrida.

Se agrupan las observaciones en “Batches” consecutivos.

Si los grupos son suficientemente largos, la correlación entre ellos es pequeña.

Los valores de cada grupo se toman como observaciones IID. ( independientes e idénticamente
distribuidas)

Emplearemos el OUTPUT ANALYZER del Arena, analizando en

este caso archivos generados en el ELEMENT DSTATS
Datos basados en el tiempo/observaciones

Los indicadores pueden ser de dos tipos:

Basados en el Tiempo
Basados en Observaciones

¿Cómo identificar si un indicador se basa en el tiempo o en observaciones?

Se debe preguntar si para un instante(observación o evento dado) el indicador refleja un
valor que NO depende de valores anteriores. Si es así, su valor se obtiene a partir de
sólo la observación actual y es entonces basado en Observaciones

Indicadores basados en el tiempo: cuyo valor varía en función del tiempo y acumulan el
valor de observaciones anteriores. Algunos ejemplos:
NR(Recurso)
NQ(Cola)
TAVG(Tally)

Indicadores basados en observaciones: tiene un valor en particular para una

observación dada, no acumulan el valor en el tiempo de las observaciones anteriores:
(Cola.WaitingTime)
Tally
Datos basados en el tiempo/observaciones

EN ARENA, en el OUTPUT Analyzer, se pueden generar dos tipos de output data files:

Time persistent
Based on Observations

Los Time persistent generan un archivo que contiene todos los valores del indicador dado
entre el instante inicial hasta el instante final del horizonte de simulación
Se pueden generar a partir del ELEMENT DSTATS

Los Based on Observations generan un archivo que contiene sólo el valor del indicador al
finalizar la simulación. Es decir generan un dato por réplica
Se pueden generar a partir del ELEMENT OUTPUTS
Cuando se genere un archivo output con cada tipo y se grafique en el OUTPUT Analyzer
los basados en el tiempo se verán como una línea en función del tiempo que representa la
evolución del valor, mientras que los basados en observaciones sólo se verán como
puntos.