2011cadenasmarkov PDF

Introduccin Cadenas de Markov en Tiempo Discreto Cadenas de Markov en Tiempo Contnuo
Cadenas de Markov
Javier Pereira
Ncleo de Red
IIE - FING - UdelaR
12 de mayo de 2011
1/56
Agenda
Introduccin
Cadenas de Markov en Tiempo Discreto
Cadenas de Markov en Tiempo Contnuo

Procesos de Poisson
Procesos de nacimiento y muerte
Ejemplos
2/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
3/56
Conceptos Introductorios
Proceso estocstico
Un proceso estocstico X = (Xt , t T ) es una familia de
variables aleatorias cuyo ndice t T es llamado el conjunto de
los ndices (o parmetro de tiempo) del proceso X.
Para cada t T , Xt es una variable aleatoria sobre el espacio
de estado del proceso X.
Espacio de Estado
El espacio de estado de un proceso estocstico X es el
conjunto mnimo E de todos los valores posibles que las V.A. Xt
pueden asumir (estados posibles del sistema). Notamos Xt = e
el evento que indica que en el instante t el proceso se
encuentra en el estado e.
4/56
Conceptos Introductorios
Proceso estocstico
Un proceso estocstico X = (Xt , t T ) es una familia de
variables aleatorias cuyo ndice t T es llamado el conjunto de
los ndices (o parmetro de tiempo) del proceso X.
Para cada t T , Xt es una variable aleatoria sobre el espacio
de estado del proceso X.
Espacio de Estado
El espacio de estado de un proceso estocstico X es el
conjunto mnimo E de todos los valores posibles que las V.A. Xt
pueden asumir (estados posibles del sistema). Notamos Xt = e
el evento que indica que en el instante t el proceso se
encuentra en el estado e.
4/56
Procesos Estocsticos de Tiempo y Espacio Discretos

Espacio de estados discreto
Un espacio de estado discreto X = Xn , n N, tiene como
caracterstica que su parmetro de tiempo vara sobre los
nmeros naturales:
e E n N/P(Xn = e) > 0
Probabilidad Condicional
Estudiamos dichos procesos suponiendo conocida la
probabilidad condicional de que el proceso est en el estado en
en la etapa n, suponiendo que sabemos que el proceso estuvo
en el estado e1 en la etapa 1, e2 en la etapa 2 y as hasta la
etapa n 1
P (Xn = en |X0 = e0 , X1 = e1 , . . . , Xn1 = en1 )

5/56
Procesos Estocsticos de Tiempo y Espacio Discretos

Espacio de estados discreto
Un espacio de estado discreto X = Xn , n N, tiene como
caracterstica que su parmetro de tiempo vara sobre los
nmeros naturales:
e E n N/P(Xn = e) > 0
Probabilidad Condicional
Estudiamos dichos procesos suponiendo conocida la
probabilidad condicional de que el proceso est en el estado en
en la etapa n, suponiendo que sabemos que el proceso estuvo
en el estado e1 en la etapa 1, e2 en la etapa 2 y as hasta la
etapa n 1
P (Xn = en |X0 = e0 , X1 = e1 , . . . , Xn1 = en1 )

5/56
Evolucin de un proceso
Definimos la evolucin de un proceso como la sucesin de
estados por los que va pasando el mismo.
Probabilidad de ocurrencia de un proceso

Cada evolucin posible del proceso tiene una probabilidad de
ocurrencia dada por la distribucin conjunta de las
probabilidades de ocurrencia en cada etapa.
P (Xn = en , Xn1 = en1 , . . . , X0 = e0 )
6/56
Definimos la evolucin de un proceso como la sucesin de
estados por los que va pasando el mismo.
Probabilidad de ocurrencia de un proceso

Cada evolucin posible del proceso tiene una probabilidad de
ocurrencia dada por la distribucin conjunta de las
probabilidades de ocurrencia en cada etapa.
P (Xn = en , Xn1 = en1 , . . . , X0 = e0 )
6/56
Evolucin de un proceso - Prob. condicional
Probabilidad condicional
Para calcular dicha probabilidad se utilizan probabilidades
condicionales.
P (Xn = en , Xn1 = en1 , . . . , X0 = e0 ) =
P (Xn = en |Xn1 = en1 , . . . , X0 = e0 ) P (Xn1 = en1 , . . . , X0 = e0 ) =
P (Xn = en |Xn1 = en1 , . . . , X0 = e0 ) . . . P (X1 = e1 |X0 = e0 ) P (X0 = e0 ) =
Qn
P (X0 = e0 ) P (X1 = e1 |X0 = e0 ) i=2 P (Xi = ei |Xi1 = ei1 , . . . , X0 = e0 )
7/56
Ejemplo
A y B dos monedas distintas

A normal (con cara y nmero) y B con una cara de cada
lado
Se elige al azar una moneda entre las dos posibles
Se lanza la moneda elegida y se observa el resultado
Si es un nmero se lanza un dado y se observa el
resultado
Si es cara, la moneda se lanza nuevamente
8/56
Ejemplo
Estados posibles:
A = la moneda con cara y nmero fue elegida
B = la moneda con dos caras fue elegida
C = el resultado del lanzamiento de una moneda fue una
cara
N = el resultado del lanzamiento de una mondeda fue
nmero
i {1, . . . , 6} el resultado del lanzamiento del dado fue i
9/56
Ejemplo
Espacio de estados discreto, E = {A, B, C, N, 1, . . . , 6}

Etapas:
1. Seleccin de una moneda
2. Lanzamiento de la moneda
3. Se lanza la misma moneda o un dado
10/56
Ejemplo
Por un lado
1
P(X1 = A) = P(X1 = B) = 2
Adems
1
P(X2 = C|X1 = A) = P(X2 = N|X1 = A) = 2 y
P(X2 = C|X1 = B) = 1
Por ltimo
P(X3 = C|X2 = C, X1 = B) = 1
P(X3 = C|X2 = C, X1 = A) = 12
P(X3 = N|X2 = C, X1 = A) = 21
P(X3 = i|X2 = N, X1 = A) = 16 con i = 1, . . . , 6
11/56
Ejemplo
Se puede calcular la distribucin conjunta de
probabilidades para cada evolucin del proceso
Dado un proceso estocstico de tiempo y espacio de
estados discreto es posible representar mediante un rbol
de profundidad k todas las evoluciones posibles de k
etapas
12/56
Ejemplo
La raz del rbol corresponde al estado inicial del proceso
estocstico
A cada resultado posible de la nsima etapa le
corresponde un nodo del nivel n + 1 del bol
Los arcos estn ponderados por las probabilidades de
transicin entre los estados del proceso
13/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
14/56
Generalidades
Son una clase de procesos estocsticos

El comportamiento y la evolucin futura del mismo
depende del estado actual del proceso (no es lo mismo
que sin memoria)
Son procesos markovianos de espacio de estados discreto
Definicin
Una cadena de Markov es una secuencia de V.A. discretas
Xn , n N que poseen la siguiente propiedad:
P(Xn+1 = en+1 |X0 = e0 , X 1 = e1 , . . . , Xn = en ) =
P(Xn+1 = en+1 |Xn = en ), n N, e0 , e1 , . . . , en+1 E
15/56
Generalidades

que sin memoria)
Definicin
P(Xn+1 = en+1 |X0 = e0 , X 1 = e1 , . . . , Xn = en ) =
15/56
Generalidades

que sin memoria)
Definicin
P(Xn+1 = en+1 |X0 = e0 , X 1 = e1 , . . . , Xn = en ) =
15/56
Generalidades

que sin memoria)
Definicin
P(Xn+1 = en+1 |X0 = e0 , X 1 = e1 , . . . , Xn = en ) =
15/56
Generalidades
Homogeneidad
Cuando las probabilidades condicionales de pasaje de un
estado al otro son tambin independientes de la etapa n
decimos que la cadena correspondiente es homognea en el
tiempo (la probabilidad de pasar a otro estado depende del
estado actual y no del tiempo). Las probabilidades
condicionales se reducen a la expresin:
P(Xn+1 = j | Xn = i) = pij , i, j E, n 0
Probabilidades de transicin
Los nmeros pij se denominan probabilidades de transicin y
definen la probabilidad de que el proceso estando actualmente
en el estado i pase al estado j en su prxima transicin,
independientemente de la etapa n en que se encuentre el
proceso.
16/56
Generalidades
Homogeneidad
Cuando las probabilidades condicionales de pasaje de un
estado al otro son tambin independientes de la etapa n
decimos que la cadena correspondiente es homognea en el
tiempo (la probabilidad de pasar a otro estado depende del
estado actual y no del tiempo). Las probabilidades
condicionales se reducen a la expresin:
P(Xn+1 = j | Xn = i) = pij , i, j E, n 0
Probabilidades de transicin
Los nmeros pij se denominan probabilidades de transicin y
definen la probabilidad de que el proceso estando actualmente
en el estado i pase al estado j en su prxima transicin,
independientemente de la etapa n en que se encuentre el
proceso.
16/56
Matriz de transicin
Representamos las probabilidades de transicin en forma
matricial
Es una matriz estocstica, es decir
pij 0 i, j E
P
jE pij = 1 i E

17/56
Distribucin de la cadena
Definicin
La distribucin de la cadena en tiempo n es el vector fila n que
representa las probabilidades de estar en cada estado en el
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .
n es un vector de probabilidad, es decir:

P
n (i) 0 y iE n = 1
Se cumple que n+1 = n P
Si 0 es la distribucin inicial n = 0 P n
La probabilidad de estar en el estado j en tiempo n es la
suma en todos los caminos posibles
P
n (j) = i0 ,i1 ,...,in1 E 0 (i0 )pi0 i1 pi1 i2 . . . pin1 i
18/56
Definicin
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .

P
n (i) 0 y iE n = 1
P
18/56
Definicin
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .

P
n (i) 0 y iE n = 1
P
18/56
Definicin
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .

P
n (i) 0 y iE n = 1
P
18/56
Definicin
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .

P
n (i) 0 y iE n = 1
P
18/56
Definicin
instante n.
n (i) = P(Xn = i), i = 0, 1, . . .

P
n (i) 0 y iE n = 1
P
18/56
Transicin en n pasos
Ecuaciones Chapman - Kolmogorov

Sea pijn = P(Xn+m = j | Xm = i) = P(Xn = j | X0 = i) la
probabilidad
P de pasar de i a j en n pasos.
pijn+m = k E pikm pkjn o matricialmente P n+m = P n P m
19/56
Distribucin lmite
Definicin
Se dice que el vector de probabilidad es una distribucin
lmite para 0 si existe 0 tal que
= lm n = lm 0 P n
n n
20/56
Distribucin invariante o estacionaria
Se dice que una distribucin es invariante si el vector de

probabilidad cumple:
= P
Si n0 = para algn n0 entonces n = n n0
21/56
Ergodicidad
Una cadena de Markov X es ergdica si existe un vector

de probabilidad tal que cualquiera sea la ley inicial 0 :
= lm n = lm 0 P n
n n
En este caso la distribucin lmite es nica
22/56
Ecuaciones de Balance
Si es una distribucin invariante:

X
(j) = pij (i)
i0
Adems: X
pji = 1
iE
Multiplicando la segunda ecuacin por j y utilizando la

primera se obtiene:
X X
(j) pji = pij (i)
iE iE
23/56
Definicin
X X
(j) pji = pij (i)
iE iE
24/56
Ejemplo

(j) pjm + pji + pjk = (i)pij + (m)pmj + (k )pkj
25/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
26/56
Generalidades
Las transiciones ocurren en cualquier instante

P(Xt+s = j | Xt = i, Xu = x(u), 0 u < t) =
P(Xt+s = j | Xt = i) i, j E, x(u) : T E, s, t T
Cuando la cadena es homognea:
P(Xt+s = j | Xt = i) = pij (s) i, j E, t, s T
Chapman - Kolmogorov: P(t + s) = P(t)P(s)
27/56
Generalidades

P(Xt+s = j | Xt = i, Xu = x(u), 0 u < t) =
27/56
Generalidades

P(Xt+s = j | Xt = i, Xu = x(u), 0 u < t) =
27/56
Generalidades

P(Xt+s = j | Xt = i, Xu = x(u), 0 u < t) =
27/56
Generalidades
Las CMTC respetan las siguientes reglas:
El tiempo de permanencia en el estado i es una V.A.
independiente de ley exponencial de parmetro vi (media
1/vi )
Cuando el proceso abandona el estado i, la eleccin del
estado j se realiza de acuerdo a las probabilidades de
transicin pij
Estas probabilidades deben satisfacer:
P
pii = 0 jE pij = 1, i E
Se puede considerar que una CMTC es un proceso cuyas
transiciones se realizan de acuerdo a una CMTD, pero
donde el tiempo de permanencia en cada estado es una
V.A. exponencial
28/56
Generalidades
1/vi )
transicin pij
P
V.A. exponencial
28/56
Generalidades
1/vi )
transicin pij
P
V.A. exponencial
28/56
Generalidades
1/vi )
transicin pij
P
V.A. exponencial
28/56
Generador infinitesimal
Se define el generador infinitesimal como la matriz tal

que:

pij vi 6 j
si i =
qij =
vi si i = j
Cumple un papel similar a la matriz de transicin de una

CMTD
La distribucin estacionaria es aquella que se obtiene de
resolver el sistema
P lineal Q = 0 con la restriccin
adicional que: i = 1
29/56

que:

pij vi 6 j
si i =
qij =
vi si i = j

CMTD
resolver el sistema
29/56

que:

pij vi 6 j
si i =
qij =
vi si i = j

CMTD
resolver el sistema
29/56
Si es invariante, entonces Q = 0
Luego:
X X
(j) qji = (i)qij
iE iE
30/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
31/56
Procesos de conteo
Subfamilia de los procesos estocsticos de tiempo

contnuo y espacio los nmeros naturales {Nt , t 0}
Cumplen las siguientes condiciones:
Nt N, t T (nmero de eventos en el intervalo (0, t])
N0 = 0
Nt 0, t
Si s < t Ns Nt
Un proceso de conteo es homogneo en el tiempo si el
nmero de eventos en un intervalo depende solamente de
la longitud del mismo y no de su instante inicial
32/56
Procesos de conteo

N0 = 0
Nt 0, t
Si s < t Ns Nt
32/56
Procesos de conteo

N0 = 0
Nt 0, t
Si s < t Ns Nt
32/56
Definicin y propiedades
T1 , T2 , . . . son V.A. exponenciales independientes de
parmetro
P(T1 t) = P(Nt = 0) = et
33/56
Propiedades de la ley exponencial
34/56
Propiedades de los procesos de Poisson
Proceso de conteo
Es estacionario y tiene incrementos independientes
Nt+s Ns tiene la misma distribucin que Nt y es Poisson
de parmetro t
(t)k t
P(Nt+s Ns = k ) = e
k!
35/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
36/56
Supongamos que en el sistema hay n clientes
el tiempo del siguiente arribo es exponencial de parmetro
(la tasa de llegada de un nuevo individuo es una V.A. de
esperanza 1 )
el tiempo de servicio es exponencial de parmetro (el
tiempo hasta la partida de un individuo presente en el
sistema es una V.A. de esperanza 1 )
Sea Nt la cantidad de clientes en el sistema en el tiempo t.
Se dice que Nt es un proceso de nacimiento y muerte
37/56
Supongamos que en el sistema hay n clientes
el tiempo del siguiente arribo es exponencial de parmetro
(la tasa de llegada de un nuevo individuo es una V.A. de
esperanza 1 )
el tiempo de servicio es exponencial de parmetro (el
tiempo hasta la partida de un individuo presente en el
sistema es una V.A. de esperanza 1 )
Sea Nt la cantidad de clientes en el sistema en el tiempo t.
Se dice que Nt es un proceso de nacimiento y muerte
37/56
Estabilidad
Definicin
Todo proceso de nacimiento y muerte con espacio de estados
infinito y de parmetros {n }
n=0 , {n }n=1 es estable si y solo
si se verifican las siguientes condiciones:
Y
n
X k
<
k +1
n=0 k =0
Y
n
X k +1
=
k +1
n=0 k =0
38/56
Ecuaciones de balance
Estados Ecuacin
de balance
0 1 p1 = 0 p0
0, 1 2 p2 = 1 p1
... ...
0, 1, . . . , n 1, n n+1 pn+1 = n pn
39/56
Ecuaciones de balance
Se pueden despejar las probabilidades en funcin de la

probabilidad de estar en el estado inicial
n1 n2 . . . 0
pn = p0
n n1 . . . 1
P
Debe cumplirse que n=0 pn = 1 por lo que se obtiene la
siguiente expresin para p0 :
1
p0 = P n1 n2 ...0
1 + n=1 n n1 ...1
40/56
Clculos tiles
Cantidad esperada de clientes en el sistema

Con esta informacin podemos calcular la cantidad media de
clientes en el sistema como el valor esperado del estado del
proceso:

X
n= npn
n=0
41/56
Clculos tiles
Nmero medio de clientes en la cola

Sea s el nmero de servidores del sistema. El largo esperado
de la fila est dado por la esperanza de la cantidad de
personas en la fila. Supongamos que el proceso se encuentra
en el estado n (es decir, hay n clientes en el sistema).

X
v= (n s)pn
n=s+1
42/56
Clculos tiles
Cantidad esperada de servidores ocupados

De manera similar, podemos definir la cantidad esperada de
servidores ocupados.
s
X
X
= npn + spn
n=0 n=s+1
Se cumple que n = v +
43/56
Clculos tiles
Tiempo esperado de permanencia en el sistema (Little 1)

n X
ts = = n pn
n=0
44/56
Clculos tiles
Tiempo esperado de permanencia en la fila (Little 2)
v
tf =

45/56
Propiedad PASTA (Poisson Arrivals See Time Averages)
Se considera un sistema de colas en estado estacionario

con arribos Poisson
La probabilidad de que un cliente al llegar encuentre al
sistema en el estado i, es igual a la probabilidad
estacionaria de que el sistema se encuentre en dicho
estado
Ti (t)
p(i) = P(Nt = i | arribo en t) = (i) = lm
t t
46/56
La probabilidad de que al llegar un cliente, encuentre el

sistema vaco, es la probabilidad estacionaria de que el
sistema est vaco
En un sistema con colas finitas, la probabilidad de que al
llegar un cliente sea rechazado, es la probabilidad de que
el sistema se encuentre en el estado correspondiente a
esa cantidad de clientes en espera
47/56
La probabilidad de que al llegar un cliente, encuentre el

sistema vaco, es la probabilidad estacionaria de que el
sistema est vaco
En un sistema con colas finitas, la probabilidad de que al
llegar un cliente sea rechazado, es la probabilidad de que
el sistema se encuentre en el estado correspondiente a
esa cantidad de clientes en espera
47/56
Vale PASTA en otros casos?
Supongamos arribos determinsticos cada 10 s y tiempo

de servicio de 9 s
Cuando un cliente arriba el sistema est siempre vaco,
por lo tanto la probabilidad de que este observe un cliente
en el sistema es p(1) = 0
Sin embargo la probabilidad de que exista un cliente en el
sistema es (1) = 0,9
48/56

de servicio de 9 s
48/56

de servicio de 9 s
48/56
Agenda
Introduccin

Procesos de Poisson
Ejemplos
49/56
Ejercicio 1
Letra
Considere cierta parte de una red de telefona sobre IP la cual
es conectada al resto de la red a travs de 4 de sus nodos. En
dicha subred, se estima que el nmero promedio de paquetes
es de 1000.
Las tasas de arribo de los paquetes desde otras partes de la
red hacia esos 4 nodos son:
1 = 200pps
2 = 300pps
3 = 400pps
4 = 500pps
Cunto tiempo reside, en promedio, un paquete en dicha
subred?
50/56
Ejercicio 1
Solucin
Por un lado N = 1000
P4
El trfico total ofrecido a la red es: tot = i=1 i = 1400
(paquetes)
Aplicando la frmula de Little tenemos que el retardo
N 1000
medio es: T = = 1400 0,71s
51/56
Ejercicio 1
Solucin
P4
(paquetes)
N 1000
medio es: T = = 1400 0,71s
51/56
Ejercicio 1
Solucin
P4
(paquetes)
N 1000
medio es: T = = 1400 0,71s
51/56
Ejercicio 2
Letra
Pedidos de coneccin arriban a un servidor de acuerdo a un
proceso de Poisson de intensidad . Si el servidor est
sobrecargado, su throughput colapsa rpidamente. Para
prevenir dicho incidente, el servidor implementa un control de
congestin tal que el mismo, luego de aceptar una conexin,
rechaza cualquier nueva conexin durante un perodo de
tiempo T . Se asume que no hay reintentos de peticin de
conexin por parte de las conexiones rechazadas.
a Cuntas conexiones son aceptadas, en promedio, por
unidad de tiempo?
b Determine la tasa de pedidos aceptados en casos
extremos cuando T es muy grande o muy chico,
respectivamente.
52/56
Ejercicio 2
Letra
unidad de tiempo?
respectivamente.
52/56
Ejercicio 2
Letra
unidad de tiempo?
respectivamente.
52/56
Ejercicio 2
Solucin
a El tiempo medio entre dos peticiones aceptadas es T + 1 ,
por lo que en promedio T +1 1 peticiones son aceptadas por

unidad de tiempo
1 1
b Por un lado tenemos que lmT T + 1
= T, mientras que
1
lmT 0 T + 1
=
53/56
Ejercicio 2
Solucin
a El tiempo medio entre dos peticiones aceptadas es T + 1 ,
por lo que en promedio T +1 1 peticiones son aceptadas por

unidad de tiempo
1 1
b Por un lado tenemos que lmT T + 1
= T, mientras que
1
lmT 0 T + 1
=
53/56
Ejercicio 3
Letra
Sea X una V.A que modela la duracin de una llamada en
minutos. Suponga que X Exp() y P(X > 3) = 12 .
a Determine el parmetro .
b Cul es la duracin media de las llamadas?
c Cul es la probabilidad de que la duracin de una llamada
sea mayor a 6 minutos?
54/56
Ejercicio 3
Letra
54/56
Ejercicio 3
Letra
54/56
Ejercicio 3
Letra
54/56
Ejercicio 3
Solucin
1
a P(X > 3) = e3 = 2 = 0,231
1
b E(X ) = = 4,33 minutos
c P(X > 6) = e6 = 0,25
55/56
Ejercicio 3
Solucin
1
a P(X > 3) = e3 = 2 = 0,231
1
c P(X > 6) = e6 = 0,25
55/56
Ejercicio 3
Solucin
1
a P(X > 3) = e3 = 2 = 0,231
1
c P(X > 6) = e6 = 0,25
55/56
Apndice
Dr.Ing. Pablo Belzarena

Material de cadenas de Markov del curso .Evaluacin de
Performance en Redes de Telecomunicaciones (IIE)
http:
//iie.fing.edu.uy/ense/asign/perfredes/
Dr.Ing. Franco Robledo
Material terico del curso Introduccin a la Investigacin
de Operaciones (INCO)
http://www.fing.edu.uy/inco/cursos/io/
Helsinki University of Technology
Indtroduction to Teletraffic Theory, Spring 2007
http://www.netlab.tkk.fi/opetus/s381145/
k07/exercises.shtml
56/56

2011cadenasmarkov PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

2011cadenasmarkov PDF

Transféré par

Droits d'auteur :

Formats disponibles

Introduccin Cadenas de Markov en Tiempo Discreto Cadenas de Markov en Tiempo Contnuo

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Procesos Estocsticos de Tiempo y Espacio Discretos

P (Xn = en |X0 = e0 , X1 = e1 , . . . , Xn1 = en1 )

Procesos Estocsticos de Tiempo y Espacio Discretos

P (Xn = en |X0 = e0 , X1 = e1 , . . . , Xn1 = en1 )

Probabilidad de ocurrencia de un proceso

Probabilidad de ocurrencia de un proceso

Evolucin de un proceso - Prob. condicional

A y B dos monedas distintas

Espacio de estados discreto, E = {A, B, C, N, 1, . . . , 6}

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Son una clase de procesos estocsticos

Son una clase de procesos estocsticos

Son una clase de procesos estocsticos

Son una clase de procesos estocsticos

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

n (i) = P(Xn = i), i = 0, 1, . . .

n es un vector de probabilidad, es decir:

Ecuaciones Chapman - Kolmogorov

Distribucin invariante o estacionaria

Se dice que una distribucin es invariante si el vector de

Si n0 = para algn n0 entonces n = n n0

Una cadena de Markov X es ergdica si existe un vector

En este caso la distribucin lmite es nica

Si es una distribucin invariante:

Multiplicando la segunda ecuacin por j y utilizando la

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Las transiciones ocurren en cualquier instante

Las transiciones ocurren en cualquier instante

Las transiciones ocurren en cualquier instante

Las transiciones ocurren en cualquier instante

Se define el generador infinitesimal como la matriz tal

Cumple un papel similar a la matriz de transicin de una

Se define el generador infinitesimal como la matriz tal

Cumple un papel similar a la matriz de transicin de una

Se define el generador infinitesimal como la matriz tal

Cumple un papel similar a la matriz de transicin de una

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Subfamilia de los procesos estocsticos de tiempo

Subfamilia de los procesos estocsticos de tiempo

Subfamilia de los procesos estocsticos de tiempo

Propiedades de la ley exponencial

Propiedades de los procesos de Poisson

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Contnuo

Se pueden despejar las probabilidades en funcin de la

Cantidad esperada de clientes en el sistema