Académique Documents
Professionnel Documents
Culture Documents
2010
2
Indice general
2. Procesos Estocasticos 17
2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Procesos estocasticos estacionarios . . . . . . . . . . . . . . . . . 19
2.2.1. Proceso estocastico estacionario en sentido estricto . . . . 19
2.2.2. Proceso estocastico estacionario en sentido amplio . . . . 19
1
2.3. Continuidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 20
3. Simulacion 22
3.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2. Proceso de Simulacion . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3. Simulacion de Monte Carlo . . . . . . . . . . . . . . . . . . . . . 24
3.3.1. Generacion de numeros aleatorios . . . . . . . . . . . . . . 25
3.3.2. Numeros aleatorios con distribucion especfica . . . . . . . 25
Metodo de transformada inversa . . . . . . . . . . 25
Distribucion normal . . . . . . . . . . . . . . . . . 26
Distribucion chi-cuadrado . . . . . . . . . . . . . . 27
3.3.3. Ajuste de Distribuciones . . . . . . . . . . . . . . . . . . . 27
T-test . . . . . . . . . . . . . . . . . . . . . . . . . 27
Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . 28
5. Procesos de Markov 38
5.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.1. Estructura de un proceso de Markov . . . . . . . . . . . . 41
5.1.2. Algunas aplicaciones de procesos de Markov de tiempo
discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.1.3. Algunas aplicaciones de procesos de Markov de tiempo
continuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.1.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2. Cadenas de Markov de tiempo discreto . . . . . . . . . . . . . . . 45
5.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . 45
2
5.2.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . 45
5.2.3. Teoremas de cadenas de Markov . . . . . . . . . . . . . . 47
Forma Canonica de una cadena absorbente . . . . . . . . 47
Teorema de cadenas regulares . . . . . . . . . . . . . . . . 48
Corolario (calculo del lmite de la probabilidad de estado ) 50
5.2.4. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . 52
5.3. Cadenas de Markov de tiempo continuo . . . . . . . . . . . . . . 53
5.3.1. Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo . 54
5.3.3. Propiedad de falta de memoria . . . . . . . . . . . . . . . 54
5.3.4. Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 55
5.4. Cadenas de Markov con recompensa . . . . . . . . . . . . . . . . 57
5.4.1. Proceso con recompensa . . . . . . . . . . . . . . . . . . . 57
5.4.2. Proceso de decision markoviano . . . . . . . . . . . . . . . 58
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3
Captulo 1
Revision de conceptos de
probabilidades
4
1.1. Introduccion
1.1.1. Medida de probabilidad
En la teora de probabilidades, un experimento es cualquier proceso de prue-
ba y observacion. Un experimento con un resultado incierto es llamado un experi-
mento aleatorio. El conjunto de resultados posibles de un experimento aleatorio
es llamado el espacio de muestra, denotado por . Cada resultado wi de un
experimento aleatorio es llamado un punto de muestra. Si el conjunto de los
resultados de un espacio de muestra es numerable, entonces para n resultados
posibles se puede definir = {w1 , w2 , . . . , wn }.
Un evento es la ocurrencia de uno o varios de los resultados posibles de
un experimento. Entonces, un evento es un subconjunto del espacio muestral.
Por ejemplo, en el caso de un experimento del lanzamiento de un dado, los
resultados posibles son representados por = {1, 2, 3, 4, 5, 6}, mientras que
un evento puede ser el conjunto E = {2, 3, 5}. Si el experimento consiste en el
lanzamiento de dos monedas al aire, cada una con resultado cara (C) y sello
(S), se tiene = {(C, C), (C, S), (S, C), (S, S)}; el evento hay al menos una
cara en el resultado queda representado por E = {(C, C), (C, S), (S, C)}.
Sean A y B dos eventos definidos sobre . Entonces, usualmente se definen
los siguientes eventos:
A B, puntos de A no contenidos en B.
1. F y F .
2. Si A F , entonces A 6 F , donde A es el complemento de A, i.e., A =
F A.
3. F es cerrado frente aSla union T
y la interseccion. Si A1 , A2 , . . . , Ak perte-
k k
necen a F , entonces i=1 Ai y i=1 Ai tambien estan en F .
1. 0 P [A] 1.
2. P [] = 1.
5
3. Dados los conjuntos disjuntos A1 , A2 , . . . , Ak F ,
1. P [A] = 1 P [A].
2. P [] = 0.
3. Si A B, entonces P [A] P [B].
4. Dados A y B cualesquiera,
P [A] = P [A B] + P [A B].
5. Dados A y B cualesquiera,
P [A B]
P [A | B] = .
P [B]
Consideremos el ejemplo del lanzamiento de dos dados. Si A es el evento que
el resultado es 7 y B el evento que el primer dado resulta 4. Entonces, se verifica
lo siguiente:
P [{4, 3}]
P [A | B] = ,
P [{4, 1}] + P [{4, 2}] + P [{4, 3}] + P [{4, 4}] + P [{4, 5}] + P [{4, 6}]
1/36 1
= = .
1/6 6
1.1.3. Independencia
Dos eventos A y B se dicen independientes si P [A | B] = P [A]. De esto se
desprende:
P [A | B] = P [A]
P [A]P [B]
= ,
P [B]
6
con lo cual es inmediato,
P [A B] = P [A]P [B]
Ai , i = 1, . . . , n,
Ai Aj = , i, j = 1, . . . , n, i 6= j,
A1 A2 . . . An = .
P [Ak A]
P [Ak | A] = Pn .
i=1 P [A | Ai ]P [Ai ]
P [A | Ak ]P [Ak ]
P [Ak | A] = Pn .
i=1 P [A | Ai ]P [Ai ]
X : <.
Sea Ax el conjunto de todos los elementos tal que X asigna el valor x, es
decir,
Ax = { | X() = x}.
1 Dado que Ak pertenece a la particion de , uno y solo uno de los eventos ha sucedido.
7
Denotaremos por P [X = x] la probabilidad que la funcion X resulte en el valor
x, es decir la probabilidad de Ax . Como ejemplo, si se considera el lanzamiento
de dos dados y definimos la variable aleatoria X : {suma de los resultados},
entonces X = 5, es equivalente a:
FX (x) = P [X x].
Esta expresion denota la probabilidad de que la variable X tome algun valor
menor o igual a x. Por sus siglas en ingles, esta funcion es usualmente llamada
CDF (cumulative distribution function).
pX (x) = P [X = x].
La CDF de una variable aleatoria discreta se define por
X
FX (x) = P [X = k].
kx
dFX (x)
fX (x) = .
dx
8
1.2.3. Esperanza y momentos de una variable aleatoria
SI X es una variable aleatoria, se define la esperanza o media de X, E[X],
como
P
i xi pX (xi ),
si X es discreta,
E[X] = X =
R
xfX (x)dx, si X es continua.
El momento n-esimo de una variable aleatoria X se define como
P
n
i xi pX (xi ),
si X es discreta,
n
E[X ] = X n =
R n
x fX (x)dx, si X es continua.
De esta forma, el primer momento de una variable aleatoria corresponde a la
esperanza.
El n-esimo momento central, alrededor de la media, es definido por
P
n
i (xi X) pX (xi ),
si X es discreta,
n
E[(X X) ] = (X X)n =
R
(x X)n fX (x)dx, si X es continua.
Z
d d
MX (s) = esx fX (x)dx
ds ds 0
Z
= xesx fX (x)dx,
0
9
En general,
dn
MX (s = 0) = (1)n E[X n ].
dsn
1.3.2. Transformada z
Sea X una variable aleatoria discreta que toma solo valores no negativos. Se
define la transformada z de pX (x), denotada por GX (z), como
X
GX (z) = E[z X ] = z x pX (x).
x=0
d d X x
GX (z) = z pX (x)
dz dz 0
X
= xz x1 pX (x),
0
dn dn1 d
E[X n ] = n
G X (z = 1) + n1
GX (z = 1) + . . . + GX (z = 1).
dz dz dz
X
pX (x) = pXY (x, y),
y
X
pY (y) = pXY (x, y).
x
10
Si X e Y son variables aleatorias independientes, entonces
2
fXY (x, y) = FXY (x, y).
xy
Las expresiones marginales se obtienen como
Z
fX (x) = fXY (x, y)dy,
Z
fY (y) = fXY (x, y)dx.
D = {(x, y) | x + y s},
= {(x, y) | x s y}.
11
Z Z sy
FS (s) = P [X + Y s] = P [X s y] = fXY (x, y)dxdy,
Z Z sy
= fX (x)dx fY (y)dy,
Z
= FX (s y)fY (y)dy.
Z
d d
fS (s) = FS (s) = FX (s y)fY (y)dy,
ds ds
Z
d
= FX (s y)fY (y)dy,
ds
Z
= fX (s y)fY (y)dy.
12
Ademas, se verifica
E[X] = p,
2
X = p(1 p),
GX (z) = 1 p + zp.
Ademas, se verifica
E[X(n)] = np,
2
X(n) = np(1 p),
GX(n) (z) = (zp + 1 p)n .
pX (x) = px (1 p)x1 x = 1, 2, . . . .
E[X] = 1/p,
2 2p
X = ,
p2
zp
GX (z) = .
1 z(1 p)
13
1.5.4. Distribucion de Pascal
Supongamos que se desarrolla n experimentos de Bernoulli independientes.
Sea Xk la variable aleatoria representando el numero de pruebas de Bernoulli
hasta el k-esimo exito. Entonces, Xk es una variable aleatoria de Pascal con
parametro (n, k, p). Se tiene entonces
n1 k
pXk (x) = p (1 p)nk k = 1, 2, . . . ; n = k, k + 1, . . . .
k1
x
X n1
FXk (x) = P [Xk x] = pk (1 p)nk (1.3)
k1
n=k
Ademas, se verifica
E[Xk ] = k/p,
2 k(1 p)
X = ,
k
p2
h zp ik
GXk (z) = .
1 z(1 p)
E[X] = ,
2
X = ,
GX (z) = e(z1) .
14
FX (x) = P [X x] = 1 ex (1.5)
Ademas, se verifica
E[X] = 1/,
2
X = 1/2 ,
MX (s) = .
s+
Ademas, se verifica
E[Xk ] = k/,
2 k
X = ,
k
2
h ik
MXk (s) = .
s+
15
1 x2
fX (x) = e 2 <x< (1.9)
2
Z x
1 y2
FX (x) = P [X x] = e 2 dy (1.10)
2
16
Captulo 2
Procesos Estocasticos
17
2.1. Introduccion
Mientras que una variable aleatoria X mapea un elemento s (con
llamado el espacio de muestra) en un numero X(s), en un proceso estocastico
la variable mapea el espacio muestral a diferentes valores en el tiempo. As,
tenemos el numero X(t, s), con t T y T llamado el conjunto parametro del
proceso. Para cada s, la variable X(t) es una funcion que depende del tiempo.
Entonces, X(t, s) es una coleccion de funciones del tiempo. Si el tiempo se fija,
entonces se tienen numeros X(s) y s es una variable aleatoria.
Un proceso estocastico es una coleccion de variables aleatorias {X(t, s) |
t T, s } definido sobre un espacio de probabilidad dado e indexado por
el tiempo t. Un proceso estocastico es llamado tambien un proceso aleatorio y
puede ser clasificado segun las caractersticas del parametro T :
X (t) = E[X(t)].
Tambien se define la funcion de autocorrelacion, que mide la correlacion entre
dos observaciones del proceso estocastico, entre X(t) y X(t + )
18
2.2. Procesos estocasticos estacionarios
Un proceso estocastico estacionario es un proceso que no vara sus propie-
dades estadsticas en el tiempo. Un procesos aleatorio puede ser estacionario en
el sentido estricto o estacionario en el sentido amplio.
X (t) = X (0),
RXX (t, t + ) = RXX (0, )
X (t) = X ,
RXX (t, t + ) = RXX ( ).
2.3. Continuidad
2.4. Procesos de conteo
Un proceso de conteo es un proceso estocastico del tipo {N (t), t 0} tal
que N (t) es la variable aleatoria representando el numero total de eventos de un
fenomeno ocurrido entre un tiempo inicial 0 y un tiempo t. Entonces, se tiene
las siguientes propiedades:
N (t) 0, t.
N (t) es entero.
19
Si s < t, entonces N (s) < N (t).
Para todo s < t, N (t) N (s) representa el numero de eventos ocurridos
en el intervalo de tiempo (s, t].
N (0) = 0.
El proceso tiene incrementos independientes.
(t)n et
P (N (t + s) N (s) = n) = , n = 0, 1, . . . (2.1)
n!
P (N (T + s) N (s) = 0) = eT . (2.2)
Pero esto implica que el tiempo t que transcurre hasta la ocurrencia de un evento
es mayor que T , es decir
P (t > T ) = eT , (2.3)
o equivalentemente, P (t T ) = 1 eT . Esta probabilidad es exactamente
la CDF de la funcion exponencial representada por f (T ) = eT . De esta
forma, el proceso estocastico de conteo Poisson tiene asociado un proceso es-
tocastico de tiempo de ocurrencia del evento. El valor esperado y la varianza de
t bajo la distribucion exponencial son expresadas por E(t) = 1 y V (t) = 12 ,
respectivamente.
Las siguientes propiedades son interesantes en esta distribucion, cuando se
considera los modelos de filas de espera:
20
1. Dados 0 t1 t2 y 4t 0, se tiene
P (t1 < t < t1 + 4t) > P (t2 < t < t2 + 4t) (2.4)
2. Falta de memoria:
M = mn{t1 , t2 , . . . , tn }.
Entonces,
es decir, M es P
una variable aleatoria con distribucion exponencial de
n
parametro = i=1 i .
21
Captulo 3
Simulacion
22
3.1. Introduccion
3.2. Proceso de Simulacion
La simulacion es el proceso por el cual se imita el comportamiento de un
sistema para estudiar la interaccion entre sus componentes y las relaciones causa-
efecto que comparten. En general, un proceso de simulacion corresponde a las
siguientes etapas:
Para las variables exogenas hay dos estrategias basicas para obtener datos
que caracterizan su comportamiento: uso de datos recolectados median-
te un metodo estadstico (muestreo o censo) o analtico (ej., ecuaciones
diferenciales), y generacion de datos mediante un proceso de generacion
estocastico.
En el primer caso, el comportamiento de una variable puede ser dicho
determinstico, mientras que en el segundo caso se puede decir estocastico.
Preparacion de datos
En esta etapa, las variables son preparadas formateadas, escaladas, codifi-
cadas y/o transformadas para que las componentes y relaciones entre ellas
puedan ser simuladas consistentemente.
Modelamiento
En esta etapa se establecen las relaciones entre las variables identificadas
y se construye un modelo simulable. Un modelo simulable es aquel donde
23
las relaciones causa-efecto, los mecanismos de cambio de estado de todas
las variables del modelo, y los eventos que los gatillan, son definidos, deter-
minista o estocasticamente. El primer estado de una variable del modelo
se dice estado inicial. El ultimo estado que una variable alcanza en un
modelo simulado se dice estado final.
Simulacion
La simulacion consiste en el desarrollo de los eventos que gatillan los cam-
bios de estado de todas las variables del modelo simulable, desde el estado
inicial hasta el alcance del estado final de cada una de ellas. Si el desarro-
llo de los eventos ocurre a intervalos regulares de tiempo, la simulacion se
dice de intervalo regular. Caso contrarios, se dice simulacion por eventos.
El modelo simulable debe ser validado para garantizar que las variables
que representan el sistema y las relaciones entre ellas han sido correcta-
mente definidos. Esto se realiza usualmente mediante la definicion de casos
de prueba a traves de los cuales comportamientos conocidos del sistema
simulado pueden ser reproducidos. De lo contrario, el modelo debe ser
ajustado.
Analisis y evaluacion de resultados
Los resultados de la simulacion de un modelo validado pueden ser ana-
lizados para identificar el comportamiento del sistema bajo diferentes si-
tuaciones, es decir, estados iniciales de las variables. El conjunto de valo-
res iniciales de las variables del modelo es denominado una configuracin
inicial, y constituyen un escenario. El proceso de la simulacion permite
conocer la respuesta del sistema bajo distintos escenarios. La evaluacion
de los resultados de la simulacion es el metodo por el cual un analista es-
tablece una relacion causa-efecto entre le escenario o configuracion inicial
y los resultados. Usualmente la evaluacion se reporta usando metricas que
representan el comportamiento del sistema frente a los escenarios.
Implementacion
La etapa de implementacion considera el uso del modelo en un ambiente
donde cumple el proposito para el que fue definido.
24
3.3.1. Generacion de numeros aleatorios
Un aspecto fundamental de la simulacion de Monte Carlo es el uso de un
generador de numeros aleatorios, un procedimiento para producir secuencias
de numeros de acuerdo a una distribucion de probabilidad. Esto significa que
la distribucion de frecuencias de la serie de numeros producidos satisface las
propiedades de la distribucion de seleccionada. Salvo que se indique lo contrario,
un numero aleatorio es una observacion producida a partir de una distribucion
uniforme. Si la distribucion es discreta, los numeros aleatorios son enteros, de
lo contrario, se produce numeros aleatorios reales.
Cuando se considera numeros aleatorios enteros pertenecientes a una secuen-
cia n1 , n2 , . . . , np , la probabilidad pj de la observacion nj esta dada por:
1
pj = . (3.1)
np n1 + 1
En el caso de numeros aleatorios uniformes en el intervalo [a, b], la distribucion
de probabilidad queda expresada como:
(
1
si a x b
pj = ba (3.2)
0 si no.
El metodo congruencial mixto es un procedimiento que genera una secuencia
de numeros aleatorios enteros xn en un intervalo [0, m 1], usando la ecuacion
recurrente:
xn + 21
yn = . (3.4)
m
25
1. Generar numero aleatorio uniforme r [0, 1].
2. Establecer F (x) = r y despejar x.
ln(1 r)
x= . (3.5)
El teorema siguiente establece las condiciones por las cuales el metodo des-
crito es aplicable.
Teorema 1. Sea X una variable aleatoria continua cuya funcion de distribucion
acumulada F es continua, tal que la inversa F 1 existe. Si U = F (X) es una
variable con distribucion uniforme en el intervalo (0, 1), entonces X = F 1 (U )
sigue la distribucion F .
26
Distribucion chi-cuadrado Se sabe que la variable aleatoria Y definida co-
mo una suma de los cuadrados de n variables aleatorias xi distribuidas normal-
mente sigue una distribucion chi-cuadrado. Entonces, para generar valores y de
Y basta usar la formula
n
X
y= x2i , (3.10)
i=1
X
t= , (3.11)
S/ n
donde X es la media de la muestra, la media poblacional, S la desviacion
estandar de la muestra y n el tamano de la muestra. Entonces, se realiza la
siguiente prueba:
H0 : X =
H1 : X 6=
X
z= . (3.13)
/ n
27
En ese caso, la prueba es la misma, y la hipotesis se acepta al nivel de
significancia si la siguiente condicion se cumple:
X = {25,8, 24,2, 22,7, 18,8, 25,7, 22, 6, 20,0, 12,1, 15,2, 6,1}.
Suponga que los datos se distribuyen normalmente y que la media poblacional
es = 15,0.
1. calcule el valor t;
2. identifique en tabla el valor crtico t/2 , a un 95 % (http://en.wikipedia.org/),
con 10 grados de libertad;
28
H0 : F (x) = F (x) x (3.17)
H1 : F (x) 6= F (x) x
3. determine D;
4. identifique Dt (usando tabla), al nivel = 0,05;
5. indique si H0 se rechaza o acepta.
29
Captulo 4
30
4.1. Introduccion
Los modelos de filas de espera se identifican mediante la notacion de Kendall
[5], la cual propone que un modelo se describa por la nomenclatura siguiente:
(a/b/c) : (d/e/f ),
donde
Por ejemplo, un modelo para el cual las tasas de llegada y de servicio son de tipo
Poisson, o Markovianas, con un servidor, con esquema de servicio cualquiera, sin
restriccion del numero de tems, y fuente infinita, queda descrito por M/M/1 :
DG//.
31
n, numero de tems en el sistema (fila y servicio);
n , tasa de llegada (nacimiento) de los tems;
n , tasa de salida o servicio (muerte);
pn , probabilidad de estado estable de que haya n tems en el sistema.
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en n tems, debe suceder
1 p1 = 0 p0 . (4.2)
Entonces,
0
p1 = ( )p0 . (4.3)
1
Para n = 1,
0 p0 + 2 p2 = (1 + 1 )p1 , (4.4)
con lo cual es facil comprobar que
0 1
p2 = ( )p0 , (4.5)
2 1
y por induccion se verifica
n1 n2 . . . 0
pn = ( )p0 n = 1, 2, . . . . (4.6)
n n1 . . . 1
P
Sabiendo que n=0 pn = 1, se determina el valor de p0 .
32
Es facil ver las relaciones siguientes
X
Ls = npn (4.7)
n=0
X
Lq = (n c)pn (4.8)
n=c
Ls = ef Ws (4.9)
Lq = ef Wq . (4.10)
= ef + perdidos . (4.11)
Claramente, si el sistema tiene capacidad infinita, = ef . Por otro lado, se
tiene la siguiente relacion entre los tiempos esperados
1
Ws = Wq + , (4.12)
Multiplicando ambos lados de la ecuacion por ef , se deduce
ef
Ls = Lq + , (4.13)
Notese que perdidos = pN , es decir, la tasa de perdida depende de la
probabilidad del sistema de alcanzar N tems.
33
4.3.2. Determinacion de pn en funcion de p0
Definiendo = , se verifica
pn = n p0 n = 0, 1, 2, . . . . (4.14)
El valor de p0 se obtiene sabiendo que
p0 (1 + + 2 + . . .) = 1. (4.15)
Si < 1 se tiene
1
p0 ( ) = 1, (4.16)
1
o bien,
p0 = 1 , (4.17)
con lo cual se obtiene,
pn = (1 )n n = 0, 2, . . . . (4.18)
X
Ls = npn (4.19)
n=0
X
= n(1 )n (4.20)
n=0
d X n
= (1 ) (4.21)
d n=0
d 1
= (1 ) (4.22)
d 1
= . (4.23)
1
A partir de este resultado se puede deducir las otras medidas (comprobarlo!),
1
Ws = (4.24)
Wq = (4.25)
(1 )
2
Lq = . (4.26)
1
34
4.4. (M/M/1 : DG/N/)
En este modelo, el numero de tems en el sistema esta limitado a N . Uti-
lizando un procedimiento similar al anterior se puede obtener los resultados
indicados a continuacion.
4.4.1. Determinacion de n y n
Cuando el sistema llega a su lmite, la tasa de llegada se ve limitada, no
as la tasa de servicio.
(
si n = 0, . . . , N 1,
n = (4.27)
0 si n > N 1,
n = si n 0. (4.28)
p0 (1 + + 2 + . . . + N ) = 1, (4.30)
lo que conduce a
(
1
1N +1
si 6= 1,
p0 = 1
(4.31)
N +1 si = 1,
de manera que se obtiene
(1)n
(
1N +1
si 6= 1,
pn = 1
n = 0, . . . , N (4.32)
N +1 si = 1,
ef = perdidos = (1 pN ) (4.33)
Luego, se puede determinar Ls cuando 6= 1:
35
N
X
Ls = npn (4.34)
n=0
N
(1 ) X n
= n (4.35)
1 N +1 n=0
N
(1 ) d X n
= (4.36)
1 N +1 d n=0
d 1 N +1
(1 )
= (4.37)
1 N +1 d 1
1 (N + 1)N + N N +1
= . (4.38)
(1 )(1 N +1 )
entonces,
(1(N +1)N +N N +1 )
(
(1)(1N +1 )
6= 1,
Ls = (4.39)
N
2 = 1.
4.5.1. Determinacion de n y n
Dado que no hay lmite en la fila, no existen tems perdidos por lo cual la
tasa de llegada iguala la tasa efectiva, es decir, ef = . Ademas, si la tasa de
servicio en cada servidor es , entonces a tasa maxima de servicio de c servidores
esta dada por c. Existe una situacion especial cuando el numero de tems a
servir es inferior al numero de servidores. Entonces,
n = (4.40)
(
n n < c
n = (4.41)
c n c
36
4.5.2. Determinacion de pn en funcion de p0
Usando la ecuacion (4.6), se puede ver que:
( n
Q p0 n<c
( ni=1 i )
pn = nQ (4.42)
p
(c)(nc) ( ci=1 i ) 0
nc
n
n
(
(n!n ) p0 = n! p0 n<c
= n n
p = c!c(nc)
c!c (c)(nc) 0
p0 nc
P
Para determinar p0 se sabe que n=0 pn = 1. Entonces, suponiendo que
c < 1,
( c1
)1
X n c X nc
p0 = + (4.43)
n=0
n! c! n=c c
( c1
X n )1
c
1
= + (4.44)
n=0
n! c! 1 c
X
Lq = (n c)pn (4.45)
n=c
X
= kpk+c (4.46)
k=0
X k+c
= k p0 (4.47)
ck c!
k=0
c+1 X k1
= p0 k (4.48)
c!c c
k=0
c+1 d X k
= p0 (4.49)
c!c d( c ) c
k=0
c+1
= p0 (4.50)
(c 1)!(c )2
37
Captulo 5
Procesos de Markov
38
5.1. Introduccion
La teora de probabilidad moderna estudia los procesos aleatorios donde el
conocimiento de resultados previos influye en las predicciones para experimentos
futuros. A inicios del 1900, Andrei A. Markov propuso el estudio de experimentos
secuenciales, donde las predicciones de los resultados de experimentos futuros
fueran condicionados por los resultados de experimentos pasados. Estos fueron
llamados experimentos secuenciales. Posteriormente, Norbert Wiener y Andrei
Kolmogorov dieron forma a la teora que se conoce como cadenas de Markov.
Se dice que el proceso estocastico definido por las distribuciones de transicion
es un proceso de Markov de primer orden si la relacion (5.2) es satisfecha.
Si el estado futuro depende del estado actual y del estado precedente, el proceso
es llamado de segundo orden, y as sucesivamente. En general, diremos que la
matriz P = (pij ) (i, j = 1, . . .), es la matriz de transicion homogenea, es decir,
las probabilidades de transicion son independientes del tiempo.
Ejemplo 1. Consideremos un modelo basico para aproximar las caractersticas
de un medio de comunicacion de datos en una red de estaciones comunicando
por va inalambrica. El modelo supone dos estados:
pij = P (et+1 = ej | et = ei , et1 = ei1 , et2 = ei2 , et3 = ei3 , . . .). (5.2)
39
Notese que cada fila implica una distribucion de probabilidades, y se supondra que
las distribuciones entre filas son independientes. Sea qit la probabilidad que el
medio este en el estado i en el tiempo t. Entonces,
X
qit = 1, qi,t 0 (5.5)
i
1. Inicio
2. t = 0: definir el estado inicial del medio, usando la informacion q10 y q20 .
3. t > 0: Para cada t
4. Fin
40
Cuadro 5.1: Tipos de procesos de Markov
Espacio de estados
Discreto Continuo
Discreto CM de tiempo discreto PM de tiempo discreto
Tiempo
Continuo CM de tiempo continuo PM de tiempo continuo
Proceso de ramificacion
Considerese un sistema que consiste inicialmente de un conjunto finito de
elementos. A medida que el tiempo pasa, cada elemento puede desaparecer
independientemente con probabilidad p0 o producir k otros elementos con
probabilidad pk (k = 1, 2, . . .. El comportamiento de los nuevos elementos
es igual al de sus padres. Sea Xn el tamano de la poblacion despues de n
de estos eventos. El proceso {Xn |n 0} es una cadena de Markov llamada
proceso de ramificacion.
41
Los proceso de ramificacion se usan en diferentes dominios de la ciencia y
la ingeniera: crecimiento de poblacion, expansion de una epidemia, fision
nuclear.
Movilidad social
En sociologa se ha usado cadenas de Markov para determinar como las
clases sociales de padre, abuelo, etc., afectan la clase social de los hijos.
Esto esta basado en el hecho que las personas pueden ser clasificadas en
tres niveles: clase alta, clase media, clase baja. Cuando las probabilidades
condicionales son conocidas, se pueden usar para representar las transicio-
nes entre clases de las generaciones sucesivas en una familia, modelando
la movilidad social como una cadena de Markov.
Proceso de decision de Markov
Un proceso de decision de Markov se usa para modelar sistemas dinami-
cos inciertos cuyos estados cambian con el tiempo. En tales sistemas, el
tomador de decision debe tomar una decision en el tiempo, con resultados
inciertos. Cada accion tomada por el decisor puede generar una recompen-
sa o un costo. El objetivo es encontrar una secuencia optima de acciones
que le permitan al decisor obtener la maxima recompensa esperada en un
intervalo de tiempo, finito o infinito.
Sistemas de filas
Como hemos visto, los sistemas de filas pueden encontrarse en multiples
aplicaciones. En general, un sistema de filas consiste de una fila y un
conjunto de servidores. Cuando la llegada de los elemento a la fila sigue
una distribucion de Poisson, y los servidores tienen un tiempo de servicio
distribuido exponencialmente, el numero de elementos se comporta como
una cadena de Markov.
Inventario
Supongamos una bodega donde se controla el inventario de cierto tipo
de producto mediante un mecanismo de reposicion, el cual opera por la
necesidad de responder a la demanda. Sea c la capacidad (en unidades) de
la bodega, In el numero de unidades de producto en el tiempo n y dn la
demanda de unidades en el mismo perodo. El administrador de la bodega
ha definido un modelo de reposicion que se aplica cada perodo: si el nivel
de inventario desciende mas abajo de un nivel permitido m, se pide la
cantidad necesaria para llegar hasta el nivel c, de lo contrario se repone
la cantidad demandada en el perodo. La variable siguiente representa el
42
comportamiento del numero de unidades de producto en inventario, al
inicio de cada perodo:
(
max{0, c dn } In1 m
In =
max{0, In1 dn } In1 > m
5.1.4. Ejemplos
A continuacion se presenta algunos ejemplos que dan cuenta de la variedad
de problemas que pueden ser modelados usando procesos de Markov.
43
probabilidad de ocurrencia de cada tipo de cra. La cra de dos padres do-
minantes debe ser dominante, la de dos padres recesivos debe ser recesivo,
y la de uno dominante con uno recesivo debe ser hbrida.
En una pareja con un animal dominante y el otro hbrido, cada cra debe
obtener un gen G del primero y tiene igual probabilidad de obtener un G
o un g del segundo. Esto implica que hay una probabilidad igual de tener
una cra dominante o hbrida. Nuevamente, en una pareja de un recesivo
y un hbrido, hay igual probabilidad de obtener un recesivo o un hbrido.
En una pareja de dos hbridos, la cra tiene igual chance de tener un G
o un g de cada padre. En consecuencia, las probabilidades son 1/4 para
GG, 1/2 para Gg y 1/4 para gg.
Consideremos un proceso de emparejamientos continuos. Comencemos con
un individuo de caracter genetico conocido y emparejemoslo con un hbri-
do. Suponemos que hay al menos una cra. Una cra es elegida al azar y
es emparejada con un hbrido y este proceso es repetido a traves de un
numero de generaciones. El tipo genetico de la cra elegida en generaciones
sucesivas puede ser representado por una cadena de Markov. Los estados
son dominante, hbrido y recesivo. Las probabilidades de transicion son:
0, 5 0, 5 0
P = 0, 25 0, 5 0, 25
0 0, 5 0, 5
44
5.2. Cadenas de Markov de tiempo discreto
5.2.1. Introduccion
El proceso de tiempo discreto {Xk , k = 0, 1, 2, . . .} es llamado una cadena
de Markov si para todo i, j, k, . . . , m, se cumple lo siguiente:
45
En el caso general se tiene
(2) P
Usualmente se define pkj = i pki pij , como la probabilidad de ir de k a j en
dos pasos. Se puede demostrar por induccion que
(n)
X
qjn = qk0 pkj .
k
(n)
pkj = P [Xn = j|X0 = k] (5.11)
X
= P [Xn = j, Xr = i|X0 = k] (5.12)
i
X
= P [Xn = j|Xr = i, X0 = k]P [Xr = i|X0 = k] (5.13)
i
X
= P [Xn = j|Xr = i]P [Xr = i|X0 = k] (5.14)
i
(nr) (r)
X
= pki pij (5.15)
i
46
~qn = ~q0 P (n) .
47
En este caso, por el teorema anterior es facil ver que las potencias de la matriz
de transiciones convergen a la siguiente matriz (verifquelo):
1 0 0
(n)
P = 1 0 0 . (5.21)
1 0 0
48
P
donde, j j = 1.
Demostracion. 1 :
Sea X una cadena de Markov con matriz de transiciones P , partiendo en el
estado si . Sea Y una cadena de Markov con matriz de transiciones P , partiendo
con probabilidades iniciales dadas por el vector fijo . Los procesos X e Y se
suponen independientes.
Consideremos una tercera cadena de Markov con matriz de transiciones P ,
que observa los procesos X e Y . Los estados de P son los pares ordenados (i, j),
es decir, los pares tales que X = i y Y = j al mismo tiempo. Las probabilidades
de transicion estan dadas por
P (Xn = j, n T ) = P (Yn = j, n T ).
Multiplicando ambos lados de la ecuacion anterior por P (n T ), la formula de
probabilidad condicional implica
P (Xn = j | n T ) = P (Yn = j | n T ).
Sabemos que para todo n, P (Yn = j) = j (consecuencia de la ecuacion (5.10)).
Ademas,
P (Yn = j, n T ) j , si n
Esto implica
P (Xn = j, n T ) j , si n
1 W. Doeblin, Expose de la Theorie des Chaines Simple Constantes de Markov a un Nombre
Fini dEtats, Rev. Mach. de lUnion Interbalkanique, vol. 2 (1937), pp. 77-105.
49
Pero, usando el mismo razonamiento anterior, dado que P (n < T ) 0 cuando
n , se puede concluir,
P (Xn = j) j , si n ,
lo que demuestra el teorema.
Notese que si = {1 , 2 , . . .}, la expresion (5.26) puede ser escrita como
= P, (5.27)
de manera que se interpreta como el vector propio por la izquierda de P .
lm P (X(m) = j) = j . (5.30)
m
(m1)
X
j = lm pik pkj (5.32)
m
k
X
= k pkj (5.33)
k
50
Ejemplo:
Considerese la matriz de probabilidades siguiente:
0, 6 0, 4
P = (5.34)
0, 35 0, 65
Solucion:
Por la ecuacion (5.26),
1 = 0, 61 + 0, 352 (5.35)
2 = 0, 41 + 0, 652 (5.36)
1 = 1 + 2 (5.37)
Hay tres ecuaciones y dos variables, por lo cual una de las ecuaciones
es redundante. Usando la primera y tercera ecuaciones se puede mostrar
facilmente que = {1 , 2 } = {7/15, 8/15}.
Ejemplo:
Suponga que la matriz de transiciones que representa los cambios de mo-
dulacion en un canal inalambrico es la siguiente :
1/2 1/4 1/4
P = 1/2 0 1/2
1/4 1/4 1/2
51
El valor medio de capacidad de canal en cada estado es dado por los valores
siguientes:
1 = 500kbps
2 = 1mbps
3 = 2mbps
(5.39)
(1)
pjj = fjj
(2) (2) (1)
pjj = fjj + fjj pjj
(3) (3) (2) (1) (2)
pjj = fjj + fjj pjj + fjj pjj
...
(n) (n) (n1) (n2) (2) (1) (n1)
pjj = fjj + fjj pjj + fjj pjj + . . . + fjj pjj ,
es decir,
n1
(n) (n) (nk) (k)
X
pjj = fjj + fjj pjj . (5.40)
k=1
Esto implica
n1
(n) (n) (nk) (k)
X
fjj = pjj fjj pjj . (5.41)
k=1
(n)
El sistema puede retornar a j en 1, 2, 3, . . . , n, . . . pasos. Luego, fjj define una
P (n)
distribucion de probabilidad si n=1 fjj = fjj = 1. En ese caso, el sistema
vuelve al estado j. El tiempo medio de regreso es definido como
(n)
X
jj = nfjj (5.42)
n=1
52
estado transitorio fjj < 1
estado recurrente fjj = 1
estado recurrente nulo jj =
estado recurrente no-nulo jj <
(n)
estado periodico, de perodo T pjj = 0 si (n mod T 6= 0)
estado recurrente ergodico si no-nulo y aperiodico
estado absorbente j es absorbente si pjj = 1
53
pij (t) = P (X(t + s) = j|X(s) = i), (5.45)
pj (t) = P (X(t) = j), (5.46)
donde, pij (t) es la probabilidad de que el proceso ira desde el estado i al estado
j en un tiempo t, y pj (t) es la probabilidad de que el sistema esta en el estado
j en el tiempo t. Dado que estas son probabilidades, se tiene
X
pij (t) = 1, (5.47)
j
X
pj (t) = 1. (5.48)
j
X
pij (t + s) = P (X(t + s) = j, X(t) = k|X(0) = i),
k
X P (X(t + s) = j, X(t) = k, X(0) = i)
= ,
P (X(0) = i)
k
X P (X(t) = k, X(0) = i) P (X(t + s) = j, X(t) = k, X(0) = i)
= ,
P (X(0) = i) P (X(t) = k, X(0) = i))
k
X
= P (X(t) = k|X(0) = i)P (X(t + s) = j|X(t) = k, X(0) = i),
k
X
= P (X(t) = k|X(0) = i)P (X(t + s) = j|X(t) = k),
k
54
P (X(t + s) = j|X(s) = i) = P (X(t) = j|X(0) = i),
equivale a
Hay una distribucion de probabilidad que tiene esta propiedad, llamada falta de
memoria, que es
P (4Ti > t) = et ,
es decir, la distribucion exponencial con funcion de densidad f (t) = et . En
efecto, se tiene la siguiente relacion
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.
Entonces, para que el sistema se estabilice en el estado n, debe suceder
55
n1 pn1 (t) + n+1 pn+1 (t) = (n + n )pn (t) n = 1, 2, . . . . (5.51)
Para que el sistema este en equilibrio en j, es decir, que las entradas igualen las
salidas, se debe cumplir2
X
ij pi (t) = j pj (t) j = 1, 2, . . . . (5.52)
i6=j
que satisfacen
X
i pij (t) = j j = 1, 2, . . . . (5.55)
i
56
Definamos la variable aleatoria X(t), numero de equipos retrasados en el
tiempo t. Luego, X(t) {0, 1, 2}. Si la unidad temporal es 1 da, entonces se
puede ver lo siguiente:
w0 = 0 (5.56)
w1 = 1 + 1
w2 = 2
w0 = 2 (5.57)
w1 = 3
w2 = 2
20 = 21 (5.58)
31 = 20 + 22
22 = 1
57
de un experimento desarrollado con una muestra relevante de usuarios se deter-
mino que un usuario puede hacer transiciones de un tipo de pagina a otro segun
la siguiente matriz de transiciones:
0, 25 0, 5 0, 25
P = 0, 4 0, 3 0, 3 ,
0, 3 0, 3 0, 4
Cada vez que un usuario realiza un cambio de estado el periodico digital recibe
una recompensa neta que proviene de los anuncios pagados por las empresas que
publicitan en el medio. Supongamos que la ganancia neta por cada cambio de
estado queda definida por la siguiente matriz
10 5 2, 5
R= 5 3 4 .
4 1 2
El periodico esta interesado en saber cual es la ganancia que obtiene por
un usuario que visita el sitio durante n minutos. Entonces, sea gi,n la ganancia
esperada en n pasos, a partir del estado i = 1. Luego, la ganancia esperada en un
paso, a partir de i = 1, se calcula como 100, 25+50, 5+2, 50, 25. Asimismo,
la ganancia esperada en dos pasos a partir de i = 1, gi,2 , esta determinada por
3
X
gi,2 = pij {rij + gj,1 } .
j=1
58
o no introducir el anuncio (accion 2). Las opciones disponibles conducen a las
matrices de transicion y recompensas siguientes:
0, 30 0, 4 0, 3
1
P = 0, 225 0, 375 0, 4 ,
0, 5 0, 25 0, 25
7 7 3
R1 = 4 6 2 .
5 2 1
0, 25 0, 5 0, 25
P 2 = 0, 4 0, 3 0, 3 ,
0, 3 0, 3 0, 4
10 5 2, 5
R2 = 5 3 4 .
4 1 2
Entonces, el editor del periodico se enfrenta al problema de determinar cual
sera la estrategia que le genere el mayor retorno esperado en una sesion de
usuario tpica. Si k representa el numero de una accion, entonces un editor que
desea maximizar sus ganancias aplicara la siguiente funcion para determinar la
ganancia esperada en n minutos, dado un estado inicial i:
Xm
pkij rij
k
gi,n = max + gj,n1 .
k{1,2}
j=1
Notese que esta es una formula recursiva que indica que la ganancia esperada
en n pasos, a partir del estado i, depende de las acciones futuras del tomador
de decision. Este modelo de calculo es llamado programacion dinamica donde el
resultados se puede determinar calculando los terminos en gj,1 , gj,2 , . . . , gj,n1 ,
etc., hasta llegar a gj,n .
59
Bibliografa
[1] Banks, J., Carson, J., Nelson, B. and Nicol, D., Discrete-Event System Si-
mulation. 3rd edition, Prentice-Hall, 2001.
[4] Ross, S., Introduction to Probability Models, Eight Edition, Academic Press,
2003.
[5] Taha, H., Investigacion de Operaciones, Alfaomega, 1995.
[6] Winston, W., Operations Research: Applications and Algorithms, Duxbury
Press, 1994.
60