CADENAS DE MARKOV

Investigacin
Operativa 2
Introduccin
El proceso de toma de decisiones asocia situaciones que
muestran variabilidad.

Dicha variabilidad se debe a la naturaleza misma de la
fuente o a inconsistencias de los fenmenos naturales.

Queremos cuantificar esa variabilidad.

Para ello, debe existir cierta regularidad que permita
describir dicha variacin en un modelo probabilstico.
Procesos estocsticos
Un proceso estocstico de tiempo discreto es una
descripcin de la relacin entre las variables aleatorias
X
0
, X
1
, X
2
, .....X
n

Ejemplos:
El estado del tiempo
La ruina de un jugador

Caso 1: El estado del tiempo
Ud sabe que el da 27 de marzo fue un da soleado y la
probabilidad de que el da siguiente lloviera fue de un 20%.
27 / 03
28 / 03
20%
10 / 10 11/ 10
p ?
Caso 2: La ruina del jugador
Cierto juego tiene las siguientes caractersticas:
Se dispone de $2 para jugar.
Se apuesta $1 por jugada.
En cada jugada se gana $1 o se pierde $1 (no hay empate).
Se gana $1 con probabilidad p y se pierde $1 con
probabilidad 1 p.
La meta es tener la mxima cantidad de dinero posible.
El juego termina cuando se llega a
$4 o cuando el capital se reduce a $0.
Caso 2: La ruina del jugador
Se define X
t
como el capital despus del juego cuando el
tiempo es t.
Sabemos que:
X
0
= 2 (constante)
X
1
, X
2
y las dems X
t
son desconocidas (VA)
Se puede considerar que X
0
, X
1
, X
2
, X
3
, .... X
t
son
procesos estocsticos de tiempo discreto.
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
0
4
0
0
0
p
1
1
0
1 juego
Caso 2: La ruina del jugador
Grficamente:
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
0
4
0
0
0
p
1
1
0
1 juego
0
1
2
3 4
1
1-p
p
1-p
p
p
1
1-p
Caso 2: La ruina del jugador
Usando diagramas de rbol:
2
1
3
0
2
2
4
1-p
p
1-p
p
1-p
p
1 juego 1 juego
1
1-p
3
p
1
1-p
p
3
1 juego
Caso 2: La ruina del jugador
Para 2 jugadas:
0 1 2 3 4
0 1 0 0 0 0
1 1-p p(1-p) 0 p
2
0
P = 2 (1-p)
2
0 2p(1-p) 0 p
2
3 0 (1-p)
2
0 p(1-p) p
4 0 0 0 0 1
2 juegos
0
1
2
3 4
1
1-p
p
1-p
p
p
1
1-p
Definicin de Cadenas de Markov
El proceso estocstico de tiempo discreto puede estar
en uno de un nmero finito de estados identificados por 1,
2,...,s.
Un proceso estocstico de tiempo discreto es una
CADENA DE MARKOV s, para t = 0,1,2,... y todos los
estados,
P(X
t+1
=i
t+1
/X
t
=i
t
) =
P(X
t+1
=i
t+1
/X
0
=i
0
, X
1
=i
1
,...X
t-1
=i
t-1
, X
t
=i
t
)
Adems para todos los estados i y j y toda t,
P(X
t+1
=j / X
t
=i) es independiente de t. Esta hiptesis
permite escribir:
p
ij
= P(X
t+1
=j / X
t
=i)
Definicin de Cadenas de Markov
Con frecuencia se llaman probabilidades de transicin a
las p
ij
en una cadena de Markov.

La ecuacin: p
ij
= P(X
t+1
=j / X
t
=i)
Indica que la ley de probabilidad que relaciona el estado
del siguiente perodo con el estado actual no cambia, o
que permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condicin
se llama cadena estacionaria de Markov.

Definicin de Cadenas de Markov
Se necesita saber las probabilidades de encontrar la
cadena en el estado i en el tiempo 0, es decir, P(X
0
=i) = q
i


Al vector q = [q
1
q
2
.....q
n
] se le llama
vector de condiciones iniciales
o distribucin inicial de probabilidad.
Definicin de Cadenas de Markov
Las probabilidades de transicin se presentan como una
matriz P de probabilidad de transicin s x s. La matriz de
probabilidad de transicin se puede escribir como:
1 2 3 ... S
1 p
11
p
12
p
13
... p
1s
2 p
21
p
22
p
23
... P
2s
P = 3 p
31
p
32
p
33
... P
3s
... ... ... ... ... ...
S p
s1
p
s2
p
s3
... p
ss
Dado que el estado es i en el tiempo t, el proceso debe
estar en algn lugar en el tiempo t+1. Esto significa que
para cada i:

j=1,s
P(X
t+1
=j / X
t
=i) =
j=1,s
p
ij
= 1 (p
ij
0)
Probabilidad de transicin de n pasos
Si una cadena de markov se encuentra en el estado i en el
tiempo m, la probabilidad que n perodos despus la cadena
de markov est en el estado j, es:

p
ij
(n) = P(X
m+n
= j / X
m
=i) = P(X
n
= j / X
0
=i)
Donde p
ij
(1) = p
ij
Las p
ij
(n) se pueden representar en la matriz P(n):
1 2 3 ... S
1 P
11
(n) P
12
(n) P
13
(n) ... P
1s
(n)
2 P
21
(n) P
22
(n) P
23
(n) ... P
2s
(n)
P(n) = 3 P
31
(n) P
32
(n) P
33
(n) ... P
3s
(n)
... ... ... ... ... ...
S P
s1
(n) P
s2
(n) P
s3
(n) ... P
ss
(n)
Probabilidad de transicin de n pasos
Se puede demostrar que p
ij
(n) es el elemento ij-simo de
la matriz P
n
. Entonces:
p
ij
(n) =
k=1,s
p
ik
(v)p
kj
(n-v)


Para n=0, pij(0) = P(X
0
= j / X
0
=i) y por lo tanto:
p
ij
(0) = 1, si i = j
p
ij
(0) = 0, si i j


Ejemplo
Una fotocopiadora de oficina tiene uno de dos posibles
comportamientos:

FUNCIONA o NO FUNCIONA
Si funciona durante un da, la probabilidad de que al da
siguiente siga funcionando es de un 75%.
Si no funciona durante un da cualquiera, hay un 75% de
probabilidad de que tampoco funcione al da siguiente.

Si actualmente funciona, Cul es la probabilidad de que
est funcionando dentro de dos das?
Si actualmente no funciona, Cul es la probabiliad que
no est funcionando dentro de tres das?
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 NO FUNCIONA
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75 0.75
Ejemplo - solucin
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75 0.75
1 2
P
2
= 1 0.625 0.325
2 0.325 0.625
1 2
P
3
= 1 0.567 0.433
2 0.433 0.567
0.625
0.567
Clasificacin de estados de una
Cadena de Markov
Definicin:

Dados dos estados i y j, la trayectoria de i a j es la
sucesin de transiciones que comienza en i y termina en j,
de modo que cada transicin tenga probabilidad positiva
de presentarse.
i
j
Clasificacin de estados de una
Cadena de Markov
Definicin:

Un estado j es alcanzable desde el estado i, si hay una
trayectoria que vaya de i a j.
i
j
Clasificacin de estados de una
Cadena de Markov
Definicin:

Dos estados, i y j se comunican, si el estado j es
alcanzable desde el estado i, y adems el estado i es
alcanzable desde el estado j.
i
j
Clasificacin de estados de una
Cadena de Markov
Definicin:

Un conjunto de estados S en una Cadena de Markov es
conjunto cerrado, si ningn estado fuera de S es
alcanzable desde un estado S.
i
j
k
l
Ejemplo
Dada la siguiente matriz de transicin:
1 2 3 4 5
1 0.4 0.6 0 0 0
2 0.5 0.5 0 0 0
P = 3 0 0 0.3 0.7 0
4 0 0 0.5 0.4 0.1
5 0 0 0 0.8 0.2
Identifique los estados.
Ejemplo
El estado 5 no es
alcanzable desde 1
El estado 5 es
alcanzable desde 3
1 y 2 se comunican
{1,2} y {3,4,5} son
conjuntos cerrados
1 2 3 4 5
1 0.4 0.6 0 0 0
2 0.5 0.5 0 0 0
P = 3 0 0 0.3 0.7 0
4 0 0 0.5 0.4 0.1
5 0 0 0 0.8 0.2
1
2
3
4 5
0.4
0.5 0.5
0.5
0.7
0.1
0.2
0.3
0.6
0.4
0.8
Ejemplo
Grficamente:
1
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
0
4
0
0
0
p
1
1
0
0
1
2
3 4
1
1-p
p
1-p
p
p
1
1-p
Clasificacin de estados de una
Cadena de Markov
Definicin:

Un estado i, es estado absorbente si p
ii
= 1
i
1
Clasificacin de estados de una
Cadena de Markov
Definicin:

Un estado i es estado transitorio si hay un estado j
alcanzable desde i, pero el estado i no es alcanzable
desde el estado j.
i
j
Definicin:

Si un estado no es transitorio, se llama estado recurrente.
Ejemplo
Dada la siguiente matriz de transicin:
1 2 3 4 5
1 0.25 0.75 0 0 0
2 0.5 0.5 0 0 0
P = 3 0 0 1 0 0
4 0 0 0.33 0.67 0
5 1 0 0 0 0
Clasifique los estados
Ejemplo
{3} es absorbente.

{4,5} son transitorios.

{1,2} son recurrentes.
1 2 3 4 5
1 0.25 0.75 0 0 0
2 0.5 0.5 0 0 0
P = 3 0 0 1 0 0
4 0 0 0.33 0.67 0
5 1 0 0 0 0
1
2
3
4 5
0.25
0.5 0.5
0.33
1
1
0.75
0.67
Clasificacin de estados de una
Cadena de Markov
Definicin:

Un estado i es peridico con perodo k > 1, si k es el
menor nmero tal que todas las trayectorias que parten
del estado i y regresan al estado i tienen una longitud
mltiplo de k.
Definicin:

Si un estado recurrente no es peridico, se llama aperidico.
Ejemplo
Determinar si los estados de la cadena de Markov
mostrada son aperidicos o no.
1 2 3
1 0 1 0
P = 2 0 0 1
3 1 0 0
Cada estado
tiene perodo 3.
1
2
3
1
1
1
Clasificacin de estados de una
Cadena de Markov
Definicin:

Si todos los estados de una cadena de Markov son
recurrentes, aperidicos y se comunican entre s, se dice
que la cadena es ergdica.
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P = 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
1
2
3
0.67
0.5
0.5
0.25
0.75
0.33
La cadena de Markov
es ergdica.
Estados aperidicos
Se comunican entre s.



Probabilidades de estado estable
Teorema:

Sea P la matriz de transicin de una cadena ergdica de s
estados.
Existe un vector = [
1

2
....
s
] tal que:
1 2 3 ... S
1

3
...

s
2

3
...

s
lim P
n
= 3

3
...

s
n ... ... ... ... ... ...
S

3
...

s
Probabilidades de estado estable
Teorema:

1 2 3 ... S
1

3
...

s
2

3
...

s
lim P
n
= 3

3
...

s
n ... ... ... ... ... ...
S

3
...

s
El vector = [
1

2
....
s
], se llama distribucin de estado
estable o tambin distribucin de equilibrio para la cadena
de Markov.
Probabilidades de estado estable
Teorema:

1 2 3 ... S
1

3
...

s
2

3
...

s
lim P
n
= 3

3
...

s
n ... ... ... ... ... ...
S

3
...

s
Las
j
satisfacen el siguiente sistema de ecuaciones:

j
=


k=1,s
(
k
p
kj
) para j = 1, 2, ....s (

=

P)

k=1,s

k
= 1 (

= 1)
Ejemplo
Un factor clave en las compras de los consumidores es la
ltima compra.
Si alguien compra un refrigerador marca X, y se le da un
buen servicio, quedar dispuesto a comprar otro refrigerador
marca X (lealtad a la marca).
A es la marca de inters.
B representa a todas las marcas de la competencia.
El 80% de los clientes son leales. La oposicin conserva el
70% de sus clientes.

Que porcentaje del mercado esperar recibir el fabricante
de la marca A en el largo plazo?
Ejemplo - solucin
Estado Descripcin
A MARCA A
B MARCA B
A B
P = A
B
Hay que resolver el
siguiente sistema:


=

P


= 1

Donde: = [
A

B
]
0.8 0.2
0.3 0.7
[
A

B
]

=

[
A

B
]

P
= [0.8
A
+ 0.3
B
0.2
A
+ 0.7
B
]

A
=

0.8
A
+ 0.3
B

B
=

0.2
A
+ 0.7
B

A
+
B


= 1

De donde:
A
=

0.6
B
=

0.4
El fabricante A esperar recibir el 60% del mercado en el LP
Cadenas de markov con
recompensa
El costo promedio a largo plazo, por unidad de tiempo est
dado por:

g =


j=1,s
(
j
C
j
)

Donde:
Cj = Inventarios
Nivel de ventas
Mquinas malogradas, etc.
Tiempos promedios de primera
pasada
En una cadena ergdica, sea
ij
el nmero esperado de
transiciones antes de alcanzar por primera vez el estado j,
dado que estamos actualmente en el estado i.
ij
se llama
tiempo promedio de primera pasada del estado i al estado j.

Se tiene que resolver el siguiente sistema de ecuaciones:

ij
= 1 +
k j
p
ik

kj


Cuando i = j,
ij
se llama tiempo promedio de recurrencia:

ij
= 1/
i

Ejemplo
Una computadora se inspecciona cada hora y puede
estar:
TRABAJANDO o DESCOMPUESTA
Si est trabajando, la probabilidad de que la siguiente
hora siga trabajando es de un 90%.
Si est descompuesta, se repara, lo que puede llevar
ms de una hora.
Siempre que est descompuesta, la probabilidad de que
siga descompuesta la siguiente hora es 35%.

Hallar las
ij
para todo i y j
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 DESCOMPUESTA
1 2
P = 1
2
Hay que resolver el
siguiente sistema:

ij
= 1 +
k j
p
ik

kj

12
= 1 + p
11

12

21
= 1 + p
22

21


Donde:
12
=10 horas

21
=1.54 horas
0.90 0.10
0.65 0.35
Las ecuaciones para hallar los

son:

1
=

0.9
1
+ 0.65
2

2
=

0.1
1
+ 0.35
2

1
+
2
= 1

De donde:
1
=

13/15
2
=

2/15

Por tanto:
11
= 1.15 horas

22
= 7.5 horas
Problemas
Cadenas de markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado
absorbente, y es posible ir de cada estado no absorbente
hasta por lo menos un estado absorbente.

En una CM absorbente se puede calcular:

Nmero esperado de veces que se estar en un estado
transitorio antes de llegar a un estado absorbente

Probabilidad de terminar en estados absorbentes
Cadenas de markov absorbentes
Se requiere una matriz de transicin ordenada como la
que se muestra a continuacin:
s-m columnas m columnas
s-m filas Q R
m filas 0 I
Se puede entonces determinar:
Nmero esperado de veces en un estado antes de la
absorcin: (I Q)
-1
Probabilidad de terminar en cada uno de los estados
absorbentes: (I Q)
-1
R
Transitorios
Absorbentes
Transitorios Absorbentes
Ejemplo
A travs del anlisis de cuentas por cobrar pasadas, un
contralor proporciona la siguiente informacin:
El balance de cuentas por cobrar indica que se tiene
$60000 en cuentas por cobrar con retraso entre 0 y 30 das
y $40000 en cuentas por cobrar con retraso entre 31 y 90
das.
Cul debe ser la concesin?
0-30 das 31-90 das pagadas Morosas
0-30 das 0.4 0.1 0.5 0
31-90 das 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
Ejemplo - solucin
Estado Descripcin
1 CxC conretraso entre 0 y 30 das
2 CxC con retraso entre 31 y 90 das
3 Cuentas pagadas
4 Cuentas morosas
La concesin ser:
60000(0.021)
1 2 3 4
1 0.4 0.1 0.5 0
P = 2 0.1 0.2 0.6 0.1
3 0 0 1 0
4 0 0 0 1
Paso = 1 da
3 4
R = 1 0.5 0
2 0.6 0.1
Q R
0
I
1 2
Q = 1 0.4 0.1
2 0.1 0.2
1 2
(I - Q)
-1
= 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)
-1
R= 1 0.979 0.021
2 0.872 0.128
+ 40000(0.128)
= $6380
Problemas
Bibliografa
DAELLENBACH. Cap. 13, pginas 379-399. (1990)

HILLIER1. Cap. 16, pginas 802-827. (2002)

SHAMBLIN. Cap. 4, pginas 56-86. (1975)

TAHA. Cap. 19, pginas 711-740. (1997)