Escuela de Ingeniera Industrial

Universidad del Valle

Cadenas de Markov

AGRADECIMIENTOS AL PROFESOR JUAN JOSE BRAVO, MsC

ANDREI ANDREYEVICH MARKOV

Andrei Andreyevich Markov naci el 14 de junio de
1856 en Ryazan, Rusia y muri el 20 de julio de 1922
en Petrogrado, ahora San Petersburgo. Andrei A.
Markov fue un destacado Matemtico Graduado de la
Universidad de San Petersburgo en 1878. Despus de
1900 Markov realiz grandes avances en la teora de la
probabilidad, probando incluso el importante Teorema
Central del Limite.
Estudi sucesiones de variables mutuamente dependientes, con la esperanza de
establecer las leyes lmite de probabilidad en su forma ms general. Sin embargo
Markov es particularmente recordado por sus estudios de las Cadenas de Markov
(teora que desarroll a sus 51 aos), sucesiones de variables aleatorias en las
cuales la siguiente variable est determinada por la actual variable pero es
independiente de las anteriores. Con esto surge una nueva rama de la teora de
Probabilidades y comienza la teora de los procesos estocsticos.

CADENAS DE MARKOV
Proceso estocstico de tiempo discreto con espacio de estados
finito
No se conoce el estado futuro de la variable pero se dispone de
cierta informacin probabilstica respecto a su evolucin
Estados e instantes de tiempo

{Xt} Caracterstica de inters que evoluciona en el tiempo de

manera probabilstica
Si Xt=i, se dice que el proceso estocstico est en el estado i en el
tiempo t
Sea Pij la probabilidad de estar en el estado j en el momento t+1,
dado que en el momento t se encuentra en el estado i

INSTANTES DE TIEMPO

Momentos en los que es probable que se den cambios de estado

de la variable aleatoria
Momentos en los que nos interesa inspeccionar el estado de la
variable aleatoria

Sincrnicos o asincrnicos
La distribucin de probabilidad asociada difiere para cada intervalo
de tiempo definido para la variable

CMO DEFINIR INSTANTES Y ESTADOS?

Conocimiento del sistema
Experiencia
Estudios

Grado de conocimiento del sistema

Estadsticas

Condiciones particulares e intrnsecas del sistema

Funcionalidad y requerimiento de los resultados
Caractersticas particulares de estudio

LA MEMORIA TEMPORAL DE LA CADENA DE MARKOV

Pensemos en la secuencia de Estados para la Variable
Aleatoria Xt cambiante con respecto al tiempo.

Xt+1=j , Xt=i,
Estado
Futuro

Estado
Actual

Xt-1=m,

Xt-2=k,..,X0=p

Estados Pasados

El estado futuro de la variable en el tiempo t+1, est condicionado

nicamente por el recuerdo que se tiene de lo ocurrido en el
tiempo t.

LA MEMORIA TEMPORAL DE LA CADENA DE MARKOV

La probabilidad condicional P(Xt+1=j / Xt=i) existe

Propiedad Procesos Markovianos

Pij

Xt

j / X0
Pij

k0 , X1 k1 , ..., Xt
Xt

j / Xt

kt 1 , Xt

QUE UTILIDAD TIENE LAS CADENAS DE MARKOV ?

Se busca una
herramienta
telescpica
que permita
aproximarnos
objetivamente al
futuro.

Cadenas de
Markov

El anlisis de Markov, permite

encontrar la probabilidad de que un
sistema se encuentre en un estado en
particular en un momento dado.
Con esta informacin se puede
predecir y entender el comportamiento
del sistema a travs del tiempo.

Procesos de planeacin
de largo plazo

PROBABILIDADES DE TRANSICIN

A la probabilidad condicional
P(Xt+1=j/Xt=i)
se le llama
Probabilidad de Transicin
del estado i al estado j y se
simboliza con pij.

Xt+1=j , Xt=i
Estado
Futuro

Estado
Actual

Observe que al evaluar pij se analiza la transicin de un estado

a otro en perodos de tiempos consecutivos, es decir, se
estudian los instantes de tiempo t y t+1.

pij

(1)
ij

Por tanto, a pij suele en algunas

ocasiones escribirse con uno, (1),
arriba indicando que entre un estado y
otro hay un solo periodo de tiempo
( un paso)

CADENAS DE MARKOV HOMOGNEAS

Si la probabilidad P(Xt+1=j / Xt=i) pij es igual para cualquier t
Es decir..
P(X1=j / X0=i) == P(X5=j / X4=i) == P(Xt+1=j / Xt=i)

P Xt

j / Xt

P X1

j / X0

En este caso se dice que la probabilidad de transicin del

estado i al j es estacionaria.

Supuesto

Las probabilidades de
transicin no cambian con el
tiempo

ACIONES DEL SUPUESTO DE LAS PROBABILIDADES ESTACION

(1)

(n)

Si pij , es decir pij es estacionaria, entonces, pij

tambin es estacionaria no cambia con el tiempo.

pij

(n)

Probabilidad P(Xt+n=j / Xt=i) y se le conoce como

probabilidad de transicin de n pasos.

En el curso se tomar como vlido el supuesto de las

probabilidades de transicin estacionarias.

MATRIZ DE PROBABILIDADES DE TRANSICIN DE UN PASO

Matriz de Probabilidades de
Transicin de un paso de una
Cadena de Markov de 5
estados.

Pij

P00
P10
P20
P30
P40

P01
P11
P21
P31
P41

P02
P12
P22
P32
P42

P03
P13
P23
P33
P43

P04
P14
P24
P34
P44

Recordando un poco la definicin de espacio muestral.....veamos la

FILA 2 de la matriz anterior:
P(Xt

0 / Xt 1) P(Xt 1 / Xt 1) P(Xt

2 / Xt 1) P(Xt

3 / Xt 1) P(Xt

Cada fila de Pij corresponde a un espacio muestral

P10 + P11 + P12 + P13 + P14 = 1

4 / Xt 1)

EN RESUMEN

Las probabilidades de transicin definen la matriz P = [pij]

que satisface
1)

pij

(n)

i, j, n

M
2)

pij
j o

( n)

i, n

MATRICIALMENTE

n
00

n
ij

n
0M

p
... p
:
:
:
n
n
pM 0 ... pMM

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO

Despus de muchos estudios sobre el clima, se ha visto que si un

da est soleado, en el 70% de los casos el da siguiente continua

soleado y en el 30% se pone nublado.
Adems, si un da est nublado, la probabilidad de que est
soleado el da siguiente es 0,6 y la probabilidad de que se ponga
nublado es 0,4.
Si hoy est nublado, cul es la probabilidad de que maana
contine nublado?

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (2)

Estados:

Soleado y Nublado

Periodo de transicin entre estados:

P(X1 = nublado/ X0 = nublado)=

0.4

P(X1 = nublado/ X0 = soleado)=

0.3

P(X1 = soleado/ X0 = nublado)=

0.6

P(X1 = soleado/ X0 = soleado)=

0.7

Pt t 1

Un da

Estados

Soleado

Nublado

Soleado

0,7

0,3

Nublado

0,6

0,4

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (3)

Ley Inicial del Sistema: Hoy est nublado (condicin inicial) y
por tanto la ley inicial es:

(0) P( X 0 soleado) 0
P( X 0 nublado) 1
nublado(0)
soleado

(0)

(0),

soleado

(0)

nublado

0,1

La pregunta entonces es, dada la ley inicial en t = 0, hallar las

Leyes de Probabilidad un da despus, es decir, en t = 1.
Para lograr esto debemos recordar el Teorema de Probabilidad
Total, que lo aplicaramos de la siguiente forma:

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (4)

P(X1 nublado) P( X1 nublado/ X 0 nublado)xP( X 0 nublado)

P( X1 nublado/ X 0 soleado)xP( X 0 soleado)
Por lo tanto:

P(X1 nublado) ( 0.4 )x(1) ( 0.3 )x( 0 ) 0.4

Se puede notar que maana hay ms probabilidad de que est el
da soleado.
Si calcula en este caso P (X1 = soleado) se dar cuenta que es
igual al 0.6, y por lo tanto la Ley de Probabilidades el da de
maana dada la condicin inicial de nublado ser :

(1)

(1),

soleado

(1)

nublado

0.6, 0.4

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (5)

CONCLUSIN

0.7 0.3
soleado( 0 ), nublado( 0 ) *
0.6 0.4
Estado Inicial del Sistema

Matriz de
Transicin

( 1 ),

soleado

Probabilidad del Estado final

del sistema

En general, se tiene que para cualquier cadena de Markov`

(1)

( t 1)
(n)

(1)

nublado

( 0 )xP10

( t )Ptt 1

( 0)xP10P12 .. Pnn 1

( 0 )Pn

Departamento de Ciencias de la Ingeniera y Produccin

Pontificia Universidad Javeriana

Ejercicios de construccin de
matrices de transicin

Juego de apuestas

En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,... participo en un juego

en el que apuesto $1. Gano el juego (y gano $1) con probabilidad p y lo
pierdo (perdiendo lo apostado) con probabilidad 1-p.
Mi meta es aumentar mi capital hasta $4 y tan pronto lo logre me salgo
del juego. Tambin salgo cuando me arruine (capital $0).

El Profesor
Un profesor de Modelos Estocsticos tiene tres preguntas claves en sus
exmenes y una de ellas sale en cada examen que l realiza. Los
estudiantes conocen muy bien sus extraos hbitos: l nunca utiliza la
misma pregunta en dos exmenes consecutivos. Si utiliz la pregunta
No. 1 en el ltimo examen, arroja una moneda al aire y si sale cara usa
la pregunta No. 2. Si haba usado la pregunta No. 2, arroja dos monedas
al aire y si salen dos caras, utiliza la pregunta No. 3 y, finalmente, si
haba usado la pregunta No. 3, arroja tres monedas al aire y si salen
tres caras, usa la pregunta No. 1.
Elabore la matriz de transicin de un paso para el problema descrito
anteriormente.

Costurera
Una costurera trabaja exclusivamente en una fase del proceso de
produccin de un diseo especial de prendas de vestir. Esta fase
requiere exactamente 30 minutos para terminar una prenda. Cada 30
minutos llega un mensajero a la mesa de la costurera para recoger todas
aquellas prendas que estn terminadas y para entregar las nuevas
prendas que deben ser cosidas.
El nmero de nuevas prendas que lleva el mensajero es aleatorio: 30%
del tiempo el mensajero llega sin prendas; 50% del tiempo el mensajero
trae una sola prenda para dejar y el 20% restante del tiempo el
mensajero trae dos prendas para la costurera. Sin embargo, el
mensajero tiene instrucciones de nunca dejar ms de tres prendas (si es
que las llevase) juntas no terminadas a la costurera y simplemente
llevarlas a otra costurera que s tenga capacidad.

Grupo Musical
Un estudiante que vio el curso de modelos estocsticos ha decidido dedicarse a
la msica, y junto a unos amigos form el grupo Jorge y los Markovianos.
Actualmente se limitan a tocar los fines de semana en algunos bares de la
capital, siendo una de tantas bandas desconocidas que existen en el pas.
Cada mes existe una probabilidad q que un empresario de algn sello musical
nacional los escuche y decida apoyarlos para grabar y realizar giras para cantar
de Arica a Punta Arenas. Si tal cosa ocurre pasaran a ser una banda conocida a
nivel nacional. Una banda que es conocida a nivel nacional corre el riesgo de
perder el apoyo del sello nacional que la patrocina, con lo cual volvera a ser una
banda desconocida. Cada mes, la probabilidad que esto ocurra es r.
Por otro lado, una banda conocida a nivel nacional puede llegar a llamar la
atencin del representante de un sello musical internacional, el cual podra
decidir patrocinarlos. De ser as la banda pasara a ser conocida a nivel
internacional. Cada mes existe una probabilidad s que esto ocurra (s +r < 1).

Grupo Musical
Una banda que es conocida internacionalmente nunca dejar de serlo. Sin
embargo podemos distinguir dos categoras entre ellas: las que estn de moda y
las que no. Una banda internacionalmente conocida que est de moda en un mes
dado seguir estando de moda al mes siguiente con probabilidad t. Una banda
conocida a nivel internacional que no est de moda en un mes dado pasar a
estar de moda al mes siguiente con probabilidad u. El primer mes que una banda
se hace conocida a nivel internacional nunca est de moda.
Una banda slo percibe utilidades (equivalentes a K[$]) en los meses que es
conocida internacionalmente y est de moda (parte de esas utilidades
corresponden a una satisfaccin de su ego).
Construya una cadena de Markov que represente la trayectoria de la banda de
Jorge y que permita predecir si en un mes dado percibirn utilidades o no

INTERPRETACIN MATRIZ DE PROBABILIDADES

DE TRANSICIN
Considere el ejemplo del valor de una accin. Al final de un da dado se
registra el precio. Si la accin subi, la probabilidad de que suba maana es
0.7. Si la accin baj, la probabilidad de que suba maana es slo 0.5. Esta
es una cadena de markov con los siguientes estados:
Estado 0: el precio de la accin sube
Estado 1: el precio de la accin baja

La matriz de transicin est dada por

0.7 0.3
0.5 0.5

Ahora interprete esta matriz de transicin

Estado 0: la accin aument hoy y ayer.
Estado 1: la accin aument hoy y ayer baj.
Estado 2: la accin baj hoy y ayer aument
Estado 3: la accin baj hoy y ayer

0.9 0 0.1 0
0.6 0 0.4 0
0 0.5 0 0.5
0 0.3 0 0.7

Ejemplo:
Considere el estado del tiempo donde el llover
maana depende si llovi o no ayer y hoy

Estado 0

Llovi ayer y hoy

Estado 1

No Llovi ayer y llovi hoy

Estado 2

Llovi ayer y No llovi hoy

Estado 3

No llovi ni ayer ni hoy

La matriz de transicin de un paso es la siguiente:

0 - LL

P=
Ayer y
Hoy

0,7
0,5

0
0

0,3
0,5

0
0

0
0

0,4
0,2

0
0

0,6
0,8

0 - LL

1 - NL

2 - LN

3 - NN

1- NL

2 - LN
3 - NN

Hoy y Maana
0,5

0,5

0,4
0,7

0,2

0,3
0,6
3

0,8

Suponga que le preguntan, cul es la probabilidad

de que llueva pasado maana dado que llovi ayer
y hoy?
0,7
0,5
0
0

P=

P=

0
0
0,4
0,2

0,3
0,5
0
0

0
0
0,6
0,8

0,49
0,35
0,20
0,10

0,12
0,20
0,12
0,16

LL

NL

0,7
0,5
0
0

0,21
0,15
0,20
0,10
LN

Hoy y Maana

0
0
0,4
0,2

0,3
0,5
0
0

0,18
0,30
0,48
0,64
NN

0
0
0,6
0,8
LL
NL Ayer
y
LN Hoy
NN

P(llueva pasado maana/ llovi ayer y hoy)=

P(llueva maana y pasado maana / llovi ayer y hoy) +
P(no llueva maana y llueva pasado maana / llovi ayer y hoy)

0.49 + 0.12 = 0.61

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV

Una tienda de cmaras tiene en almacn un modelo especial de cmara que
se puede ordenar cada semana. Sean D1, D2,...las demandas de esta
cmara durante la primera, segunda,. semana respectivamente.
Se supone que las Di son variables aleatorias independientes e idnticamente
distribuidas que tienen una distribucin de probabilidad conocida.

Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso,

X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el
nmero de cmaras que se tienen al final de la semana dos, etc.
Suponga que X0 = 3
El sbado en la noche la tienda hace un pedido que le entregan el lunes en el
momento de abrir la tienda.
La tienda usa la siguiente poltica (s, S) para ordenar: si el nmero de cmaras
en inventario al final de la semana es cero s = 0 (no hay cmaras en la
tienda), ordenar hasta S = 3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido).

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (2)

Se supone que las ventas se pierden cuando la demanda
excede el inventario. Entonces, {Xt} para t = 0, 1, es un
proceso estocstico de la forma que se acaba de describir. Los
estados posibles del proceso son enteros 0, 1, 2, 3 que
representan el nmero posible de cmaras en inventario al final
de la semana.
Las Variables aleatorias Xt, son dependientes y se pueden
evaluar en forma iterativa por medio de la expresin:

Xt

Max (3 - Dt 1 ), 0 si X t 1
Max ( X t - Dt 1 ), 0 si X t 1

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (3)

Suponiendo que cada Dt, tiene una distribucin Poisson con
Donde Dt son las demandas de cmaras en la semana t

= 1,

Para obtener P00 es necesario evaluar: P{Xt = 0 / Xt-1 = 0}

Xt

Max (3 - Dt 1 ), 0 si X t 1
Max ( X t - Dt 1 ), 0 si X t 1

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (4)

Si Xt-1=0

P00

Xt={Max(3-Dt+1), 0}

P Dt 3 1 P Dt 0
1 - P Dt 2 P Dt 1

P Dt

0
k

Dado que la demandase consideraPoisson

Demanda

Probabilidad

(1)2e(-1)/2!= 0,18394

(1)1e(-1)/1!= 0,18394

(1)0e-(1)/0!= 0.367879

e
k!

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (5)

P10 =:P{Xt = 0 / Xt-1 = 1}

Si Xt-1=1

P10

Xt={Max(1- Dt), 0}

P Dt 1 1 P Dt
1 - 0,367879
0,632

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (5)

P21 =:P{Xt = 1 / Xt-1 = 2}

Si Xt-1=2

P21 P D 1

Xt={Max(2-Dt), 0}

0.368

EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (7)

De forma similar se obtienen las dems

probabilidades

ECUACIONES DE CHAPMAN - KOLMOGOROV

pij

(n)

pik ( m ) pkj( n

m)

i 0,1,...,M j 0,1,...,M

k o

m 1,2,...,n -1 n m 1, m 2,...
Ir del estado i al estado j en n pasos, implica que el proceso podra estar en
el estado k despus de exactamente m pasos (m < n).

Pik(m): Probabilidad de ir del estado i al estado k en m pasos

Pkj (n-m): Probabilidad de ir del estado k al estado j en (n-m) pasos
M

Si m 1

pij

( n)

pik pkj

(n 1)

Si m n -1

pij

(n)

pik (n
k o

k o
M

Si n 2

pij (2)

pik pkj

P (2) P * P P 2

k o

(n)

(n-1)

PP

(n-1)

P P

1)

pkj

MATRIZ DE PROBABILIDADES DE TRANSICIN DE

N PASOS

Pij

( 2)

Pij Pij

P00
P10
P20
P30
P40

P01
P11
P21
P31
P41

P02
P12
P22
P32
P42

P03
P13
P23
P33
P43

P04
P14
P24
P34
P44

P00
P10
P20
P30
P40

P01
P11
P21
P31
P41

P02
P12
P22
P32
P42

P03
P13
P23
P33
P43

P04
P14
P24
P34
P44

Y generalizando a n pasos
( n)

P00
P10
Pij Pij Pij ...... P P20
P30
n - veces
Segn la Ecuacin de P40
( n)

Pij (n)

( n)

ij

( n)

( n)

Chapman-Kolmogorov

( n)

( n)

( n)

( n)

P01
P11
P21
P31
P41

P02
P12
P22
P32
P42

P03
P13
P23
P33
P43

P04
P14
P24
P34
P44

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

( n)

Esta probabilidad suele

ser til cuando el sistema
se encuentra en estado i y
se desea la probabilidad
de que el sistema se
encuentre en el estado j
despus de n perodos de
tiempo.

ECUACIONES DE CHAPMAN - KOLMOGOROV

ECUACIONES DE CHAPMAN - KOLMOGOROV

Cuando n no es muy grande la matriz de

transicin de n pasos se puede calcular
fcilmente, pero si n es muy grande los clculos
resultan tediosos y los errores de redondeo
pueden causar inexactitudes

La Matriz de Transicin de 2 Pasos para el Caso del

Almacn de Cmaras

P2

0.249
0.283
0.351
0.249

0.286
0.252
0.319
0.286

0.300
0.233
0.233
0.300

Cul es la probabilidad

0.165 que teniendo ahora una

0.233
cmara haya
exactamente cero
0.097
cmaras en inventario en
0.165
dos semanas?

Cul es la probabilidad que teniendo ahora una cmara haya

exactamente tres cmaras en inventario en dos semanas?

La Matriz de transicin de 4 pasos

P4=

0.249
0.283
0.351
0.249

0.286
0.252
0.319
0.286

P4=

0.289
0.281
0.284
0.289

0.286
0.285
0.283
0.286

0.300
0.233
0.233
0.300

0.261
0.267
0.263
0.261

0.165
0.233
0.097 *
0.165

0.164
0.166
0.171
0.164

0.249
0.283
0.351
0.249

0.286
0.252
0.319
0.286

0.300
0.233
0.233
0.300

0.165
0.233
0.097
0.165

Por favor construir P8

Qu tiene de particular?
Se dice que estas son las probabilidades del estado
estable

PROBABILIDADES INCONDICIONALES
Probabilidades del estado estable

(n)
(0)

(0)P
0 (0)

1(0) ....

M (0)

pij( n )

P00(n)
.
.
.
(n)
PM0

(n)
... P0M
... .
... .
... .
(n)
... PMM

Si se desea la probabilidad incondicional P{Xn=j} es necesario que se

especifique la distribucin de probabilidad del estado inicial, o sea
P{X0=i} para i desde 1 hasta M, entonces:

P{ X n

j } P{ X 0

0 }P0nj P{ X 0 1}P1nj ... P{ X 0

M }PMjn

Si en el ejemplo anterior, se supuso que el inventario inicial era tres

cmaras, la probabilidad incondicional de que haya tres cmaras
en inventario despus de dos semanas es P{X2=3} = (1)p33(2)=0,165

LA EVOLUCIN DE UN PROCESO ESTOCASTICO

Cmo simular la evolucin de un proceso estocstico
caracterizado por la siguiente matriz de probabilidades de
transicin?
P=

0.080
0.632
0.264
0.080

0.184
0.368
0.368
0.184

0.368
0.000
0.368
0.368

0.368
0.000
0.000
0.368

Recordando que cada fila corresponde a un Espacio Muestral definido.

Se debe analizar (
simular) fila por fila
de la matriz, segn
la informacin
requerida acerca
del proceso

1
0.632
0.264
0.080

fda (funcin de
distribucin
acumulada) para
la Fila 1 y Fila 4
Resultados posibles

LA EVOLUCIN DE UN PROCESO ESTOCASTICO

Comportamiento simulado de los inventarios en cada una de las
siguientes 100 semanas

Xo =3

Para simular la Semana 1, X1, se inicia

simulando la Fila 4, dado que se observar la
transicin desde el estado 3.
Pasos a seguir:

1
0.632
0.264
0.080

a) Genere un aleatorio entre 0 y 1 en Excel

fda
Fila 4

Simular lo que
sucedera en las
dems semanas

b) Tomo la decisin con este criterio:

Si ALEATORIO() 0.08

X1=0

Si 0.08 < ALEATORIO() 0.264

X1=1

Si 0.264 < ALEATORIO() 0.632

Si 0.632 < ALEATORIO() 1

X1=2
X1=3

LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

A
MATRIZ DE
TRANSICIN
DE UN PASO

0.2 0.5 0.3

P=

A
B
C

0.2 0.5 0.3

0.2 0.5
0.7 0.2
0.3 0.6

0.3
0.1
0.1

0.48 0.38 0.14

P(2)= P. P = 0.7 0.2 0.1 x 0.7 0.2 0.1 = 0.31 0.45 0.24
0.51 0.33 0.16
0.3 0.6 0.1
0.3 0.6 0.1

LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

0.2

0.2

0.5

0.3

0.7

0.2

0.1

0.3

0.6

0.1

0.5

A
t=0

0.3

C
t=1

Transicin de t = 0 a t = 1

t=2

Transicin de t = 1 a t = 2

LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

Si se simbolizan los elementos de la matriz P(2) como:

A
A

P(2) =

B
C

p
p
p

( 2)
AA
( 2)

BA
( 2)

CA

B
( 2)

AB

p
p

( 2)
BB
( 2)

CB

C
( 2)

AC

p
p

( 2)
BC
( 2)

CC

PAA(2)= (0.2) (0.2) + (0.5) (0.7) + (0.3) (0.3) = 0.48

PAB(2)= (0.2) (0.5) + (0.5) (0.2) + (0.3) (0.6) = 0.38

PAC(2)= (0.2) (0.3) + (0.5) (0.1) + (0.3) (0.1) = 0.14

TIEMPOS DE PRIMERA PASADA

Con frecuencia es conveniente poder hacer
afirmaciones en trminos de probabilidades sobre el
nmero de transiciones que hace el proceso al ir de
un estado i a un estado j por primera vez.

Este lapso se llama tiempo de primera pasada al ir del

estado i al estado j

TIEMPOS DE PRIMERA PASADA

Cuando j=1, este tiempo de primera pasada es

justo el nmero de transiciones hasta que el
proceso regresa al estado inicial i
Ejemplo
En el ejemplo del almacn de cmaras xi
representa el nmero de cmaras al iniciar la
semana t {xt} para t=1, 2, , n es un proceso
estocstico

El nmero posible de cmaras en inventario al

final de la semana t son:
Estados posibles del sistema [ 0 1 2 3 ]
Suponga que ocurri lo siguiente:

X0=3, X1=2, X2=1, X3=0, X4=3, X5=1,

En este caso,
el tiempo de primera pasada para ir del estado 3
al estado 1 es dos semanas
Y el tiempo de recurrencia del estado 3 es cuatro
semanas
El tiempo de primera pasada para ir del estado 3
al estado 0 es de tres semanas

TIEMPOS DE PRIMERA PASADA

0.48 0.38 0.14

0.31 0.45 0.24
(2)
P =
0.51 0.33 0.16
Detalle el segundo elemento de la primera
columna de la matriz P(2), 0.31, y el rbol
de decisin del cual resulta. Note que,
segn el rbol

(2)

BA

( 0.7 )( 0.2 ) ( 0.2 )( 0.7 ) ( 0.1 )( 0.3 ) 0.31

Ahora, si se desea encontrar la probabilidad de pasar por primera vez del estado B
al estado A, despus de 2 perodos de tiempo, sta probabilidad viene dada por:

(2)
BA

( 0.2 )( 0.7 ) ( 0.1 )( 0.3 ) 0.17

(2)
BA

(2)
pBA

1
1)
f BA
p(AA
0,31 0,14 0,17

PROBABILIDADES DE PRIMERA PASADA

0.2
0.7

A
B
C

0.5

0.3
0.7

0.2

A
B
C

0.2
0.1
0.3

t=0
0.1

t=1

(n)

ij

(n)
ij

p
p

ij

( n 1)
ji

f
f

(2)

ij

t=2

(1)

(1)

ij

A
B
C

0.6
0.1

fij(n) denota la probabilidad de

que el tiempo de primera pasada
del estado i al estado j sea n

(2)
ij

(1)
ij
(2)
ij

(n 2)
ji

p
f

ij

...

(1)
ij

( n 1)
ij

jj

ji

PROBABILIDADES DE PRIMERA PASADA

f
f

(n)
ij

(n)

ij

(1)
ij

(1)

(1)

p
p

ij
(2)
ij

p
f

ij

ij

(2)

ij

( n 1)
ji

(1)
ij

(2)
ji

ji

(n 2)
ji

...

( n 1)
ij

ji

PROBABILIDADES DE PRIMERA PASADA

Para i y j fijos las fij son nmeros no negativos

tales que

n 1
Si

n 1

Si

n 1

(n)
f ij

(n)
f ij

(n)
f ij

Un proceso que al iniciar en

i puede no llegar nunca al
estado j

Las fij(n) para n=1, 2,

pueden considerarse como
una
distribucin
de
probabilidad para la variable
aleatoria, el tiempo de
primera pasada

TIEMPOS DE PRIMERA PASADA

Mientras que puede ser difcil calcular fij(n) para toda

n, es relativamente sencillo obtener el tiempo
esperado de primera pasada del estado i al estado j

si

(n)

(n)

nfij
n 1

ij

nfij
n 1

(n)

si

nfij
n 1

TIEMPOS DE PRIMERA PASADA

Valor esperado del tiempo de

primera pasada del estado i al
estado j

nfij (n) 1

si
n 1

ij

pik
k j

kj

TIEMPOS DE PRIMERA PASADA

Ejemplo
P=

0.080
0.632
0.264
0.080

0.184
0.368
0.368
0.184

0.368
0.000
0.368
0.368

ij

Para calcular el tiempo

esperado hasta que ya no se
tengan cmaras en el almacn
podemos usar las anteriores
ecuaciones

0.368
0.000
0.000
0.368

pik

kj

k j

30
20

10

1 p31
1 p21
1 p11

10
10

10

p32
p22
p12

20
20

20

p33 30
p23 30
p13 30

TIEMPOS DE PRIMERA PASADA

La solucin simultanea a este sistema es:

El tiempo esperado para que el almacn se quede sin

cmaras es 1.58, 2.51 y 3.50 semanas, dado que el proceso
inicia con 1, 2 o 3 cmara respectivamente

DIAGRAMA DE TRANSICIN DE ESTADOS

El diagrama de transicin de estados (DTE) de una

Cadena de Markov es un grafo dirigido cuyos nodos son
los estados de la Cadena y cuyos arcos se etiquetan con la
probabilidad de transicin entre los estados que unen. Si
dicha probabilidad es nula, no se pone arco.

qij

EJEMPLO: LNEA TELEFNICA

Sea una lnea telefnica de estados ocupado=1 y
desocupado=0. Si en el instante t est ocupada, en el
instante t+1 estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el instante t est
desocupada, en el t+1 estar ocupada con probabilidad 0,1
y desocupada con probabilidad 0,9.

0,9 0,1
0,3 0,7

0,1
0,9

1
0,3

0,7

GRAFOS

Clasificacin de Estados

CLASIFICACIN DE ESTADOS DE UNA CADENA DE MARKOV

EJEMPLO: Suponga que un jugador tiene $1 y que cada jugada paga $1
con probabilidad p>0 pierde $1 con probabilidad 1-p. El juego termina
cuando el jugador acumula $3 bien cuando quiebra. Este juego es una
cadena de Markov en la que los estados posibles son la fortuna del
jugador, es decir, $0, $1, $2 y $3.

P=

Estados
accesibles

0
1
2
3

0
1
1-p
0
0

1
0
0
1-p
0

2
0
p
0
0

3
0
0
p
1

Un estado j es accesible desde un estado i si Pij(n)>0

para alguna n.
Ej: el estado 2 no es accesible desde el 3, mientras
que el estado 3 si es accesible desde el 2.

Estados que
se
comunican

Si el estado i es accesible desde el estado j, y el

estado j es accesible desde el estado i, entonces se
dice que los estados j e i se comunican.
Ej: en el ejemplo del jugador observe que el estado 2
es accesible desde el estado 1, y el estado 1 es
accesible desde el estado 2, por lo tanto los estados 1
y 2 se comunican.

2. Si el estado i se comunica con el estado j,

el estado j se comunica con el estado 1

3. Si el estado i se comunica con el estado j y

el estado j se comunica con el estado k,
entonces el estado i se comunica con el
estado k

Definicin
de Clase

Si varios estados se comunican entre s se dice que ellos

forman una Clase. Por lo tanto, en el espacio de estados
de una Cadena de Markov pueden haber varias clases.
Ej: En el ejemplo del jugador existen 3 clases:
Clase 1: Estados 1 y 2, Clase 2: Estado 3 y Clase 3:
Estado 0.

Clases
recurrentes

Una clase es recurrente si no es posible saltar a otra

clase a partir de ella. Ej: En el ejemplo del jugador, las
clases 2 y 3 son recurrentes. En general, en las clases
estados recurrentes, la probabilidad de que el
proceso habiendo salido de un estado i regrese en
cualquier tiempo a ese mismo estado es 1. Las clases
2 y 3 anteriores son tipos especiales de clases
recurrentes y se les llama generalmente clases
recurrentes absorbentes.

Clases
Transitorias

Una clase es transitoria si a partir de ella es

posible saltar a otra clase. Ej: En el ejemplo
del jugador, la clase 1 es transitoria.

Cadena de
Markov
Irreducible

Una cadena de markov es irreducible si

todos los estados se comunican, formando as
una nica clase, siendo por tanto sta una
clase recurrente.

Se demuestra que una Cadena Markov slo puede pasar por un estado
transitorio como mximo una cantidad finita de veces. En cambio, si visitamos
un estado recurrente, entonces lo visitaremos infinitas veces.

Las clases recurrentes estn formadas por estados recurrentes

Las clases transitorias estn formadas por estados transitorios

Cerrada: Si desde un estado interior no

se puede alcanzar ningn estado exterior
a la Clase. Un estado absorbente es una
clase cerrada con un nico estado

Irreducible: Clase cerrada tal que ninguna

subclase propia es cerrada. En otros trminos, la
nica clase cerrada es la de todos los estados
Dos estados pertenecen a un mismo conjunto si se
comunican
Dos clases deben ser disjuntas, pues si existe algn
elemento comn, los estados de una clase se puedan
comunicar con los de la otra y as resultan de la misma clase

El concepto de comunicacin divide el espacio

de estados en clase ajenas, es decir, que 2
clases son idnticas o disjuntas
Ningn estado puede pertenecer a dos clases distintas

De dos estados que se comunican entres si se

dicen que pertenecen a la misma clase

j k

j
i

n
n
n

j
k
k

Slo hay una

clase
(por
transitividad)

Definicin
Una matriz de una clase se dice irreducible

1/4
1/2

0 12 12 0
P 1 1 2 14 14
2 0 1 2
3 3
0
1
P
2
3

0
1 2 3
1 1
2 2 0 0
1 1
2 2 0 0
1 1 1 1
4 4 4 4
0 0 0 1

1/2
1/2

1/4

2/3

Slo
hay una
clase

2
1/3
1/2

1/2
0

Hay
tres
clases

1/2
1/4

1/4

1/4

1/4
2

3
1

Definicin
Sea para un estado i, fii la probabilidad de que el
proceso regrese al estado i dado que comienza
en el estado i

El estado i se llama recurrente s fii = 1

El estado i se llama transitorio s fii < 1

Un caso especial de un estado recurrente es un

estado absorbente s una vez que se entra en l
no se puede abandonar

1
2 3 4
0 1 3
4 4 0 0 0
1 1 1
2 2 0 0 0
P 2 0 0 1 0 0
3 0 0 1 2 0
3 3
4 1 0 0 0 0

Ejemplo

1/2

1/2
1
1/4

1
2
1/3

3/4

1
4

2/3

El estado 2 es un estado absorbente (por lo

tanto un estado recurrente), porque una vez que
el proceso entra al estado 2 nunca regresar

Los estados 3 y 4 son transitorios porque una

vez que el proceso se encuentra en el estado 3,
existe una probabilidad positiva de que nunca
regresar

Los estados 0 y 1 son recurrentes. Se puede

demostrar que f00=1 y f11 = 1. Esto no es sencillo
y puede mostrar de la siguiente manera

Observe que la matriz de n pasos es de esta

forma, en donde los asteriscos (*) representan
nmeros positivos

0
1
P 2
3
4

0
*
*
0
0
1

1
*
*
0
0
0

2
0
0
1
*
0

3
0
0
0
*
0

4
0
0
0
0
0

Es intuitivamente evidente que el estar en el

estado 0 o 1 se regresar a estos mismos
Hacer en Excel

Una clase es recurrente si no se

puede salir de ella.

Una clase es transitoria si se puede

salir de ella y no hay forma de
regresar

Definicin
El periodo de un estado i se define como el
entero t (t > 1) si Piin = 0 para todos los valores
de n distintos de t, 2t, 3t, /// y t es el entero ms
grande con esa propiedad

El estado i slo puede ser visitado

en pasos mltiples de t

Ejemplo
0 1 2
0 0 12 12
P 1 1 0 0
2 1 0 0

Realizacin:

0 1 0

1
0

1
1/2

1/2
1

Slo hay
una clase
recurrente
con
perodo 2

2 0 2 0 1 0 2 0

Siempre se pasa en un nmero mltiplo de 2

0
P

0 1 0 0
1 0 12 12
2 0 1 1
2 2

0
P4

P3

0 1 2
0 0 12 12
1 1 0 0
2 1 0 0

0 1 0 0
1 0 12 12
2 0 1 1
2 2

El proceso
tiene perodo 2
P2n+1 = P
P2n = P2

PERIODICIDAD DE LAS CLASES RECURRENTES

Para una clase recurrente se puede obtener el

perodo (p) como el mximo comn divisor (MCD) de
las longitudes de los ciclos que pueden encontrarse
en esa clase. Partiendo de la observacin de un
grafo, un ciclo es una ruta que sale de un estado y
regresa a l mismo.
Vamos a digerir un poco este concepto con
ejemplos...

PERIODICIDAD DE LAS CLASES RECURRENTES

Para determinar el periodo

de esta y de cualquier clase
recurrente pueden obviares
los
valores
de
las
probabilidades a los arcos y
nicamente observar los
ciclos
existentes.
Las
longitudes de dichos ciclos
son
Ciclos de longitud 2 (3 4 3 o 5 4 5
Ciclos de longitud 3 (3 4 5 3)
MCD (2, 3) = 1, ] el periodo es 1

PERIODICIDAD DE LAS CLASES RECURRENTES

En este caso pueden

observarse las siguientes
longitudes de ciclo

Ciclos de longitud 2 B C B
Ciclos de longitud 4(B C D A B)
Ciclos de longitud 6(A B C D C B A)
MCD (2, 4, 6)= 2 ] Periodo p=2

PERIODICIDAD DE LAS CLASES RECURRENTES

En este caso por existir un

ciclo de longitud 1 (B B),
el mximo comn divisor
ser de cualquier forma
tambin igual a 1, y por
tanto se dice que esta clase
recurrente tiene periodo
p=1

EJEMPLO DE UNA CADENA PERIDICA DE PERIODO K=3

A2

A1

A3

CADENAS ERGDICAS
a

b
0

d
0

e
0
0

Clasificacin de estados

1
a 12
2
b 0 14 0 3 4
Q c 0 0 13 0 2 3
d 14 12 0 14 0
e 13 0 13 0 13

Recurrentes

a, c, e

Transitorios

b, d

Peridicos

ninguno

Absorbentes ninguno

1/3

1/4
1/2

b
1/2

3/4

d
1/4

1/4

1/2

2/3

1/3

1/3

e
1/3

QUE TIPO DE CADENA ES?

1.

2.
Irreducible, aperidica,
recurrente y ergdica.

Irreducible, recurrente y
peridica de periodo 3.
No es ergdica.

3.
Irreducible, aperidica,
recurrente y ergdica

QUE TIPO DE CADENA ES?

4.

2
5.

No es irreducible, y por tanto no es de ninguno de los

dems tipos. 1 y 4 son recurrentes; 2 y 3 son
transitorios

Irreducible, recurrente y peridica de periodo 3. No es ergdica

PERIODICIDAD DE LAS CLASES RECURRENTES

Clase recurrente aperidica: aquella que tenga
perodo p = 1.
Clase recurrente peridica: aquella que tenga perodo
p > 1.
Cuando una cadena de markov finita homognea posee una
nica clase la cual es recurrente aperidica, se dice que la
cadena es ergdica totalmente aleatoria.
Una cadena de markov finita homognea es
semiergdica si tiene varias clases, entre las cuales
pueden haber una o ms clases transitorias pero tan
solo una clase recurrente aperiodica.

PERIODICIDAD DE LAS CLASES RECURRENTES

Si hay varias clases recurrentes, todas ellas aperiodicas,

se tiene una cadena de markov semiregular.
Si hay una varias clases recurrentes, todas ellas
peridicas, se tiene una cadena de markov policclica.
Si hay varias clases recurrentes, algunas peridicas y
otras aperiodicas, se tiene una cadena de markov mixta.

ESTADOS ABSORBENTES Y PROBABILIDADES

DE ABSORCIN
El estado k es absorbente si pkk=1
fik: Probabilidad de llegar al estado k dado que en algn momento se
encontraba en el estado i
Considera todas las probabilidades de la
primera transicin
Considera la probabilidad condicional de
absorcin al estado k

f ik

pij f jk
j 0

Sujeta a las condiciones:

f kk
f ik

1
0,

si el estadoi es recurrentei k

ESTADOS ABSORBENTES Y PROBABILIDADES

DE ABSORCIN
Si se inicia en el estado 2, la probabilidad de perder todo, es decir pasar
al estado 0 viene dada por

f 00 1
f10

2
1
f 00
f 20
3
3

f 20

2
1
f10
f 30
3
3

f 30

2
1
f 20
f 40
3
3

f 40 0

f 20

2 2 1
f 20
3 3 3

1 2
1
f 20
(0)
3 3
3

f 20 1 / 5
0

2/3

1/3

2/3

1/3

2/3

1/3

ESTADOS ABSORBENTES Y PROBABILIDADES

DE ABSORCIN
Si se inicia en el estado 2, la probabilidad de ganar todo, es decir pasar
al estado 4 viene dada por

f 04 0
f14

2
1
f04
f 24
3
3

f 24

2
1
f14
f 34
3
3

f 34

2
1
f 24
f 44
3
3

f 44 1

f 24

2 1
f 24
3 3

1 2
1
f 24
3 3
3

f24 1 / 5

PROBABILIDADES DE ESTADO ESTABLE

Es de inters ahora conocer la probabilidad de hallar el sistema en un estado
determinado cuando lleva evolucionando el proceso un tiempo
indefinidamente largo. A tales probabilidades se les denomina probabilidad
de estado estable.
El estudio de las probabilidades de estado estable se entiende por tanto como
el estudio del comportamiento a largo plazo de las Cadenas de Markov.
A las probabilidades estacionarias
se les simboliza como j

P=

0.080
0.632
0.264
0.080

0.184
0.368
0.368
0.184

0.368
0.000
0.368
0.368

0.368
0.000
0.000
0.368

(8)

P* = P =

0.286
0.286
0.286
0.286

0.285
0.285
0.285
0.285

0.264
0.264
0.264
0.264

0.166
0.166
0.166
0.166

CONCEPTO DE ERGODICIDAD DE BOLTZMAN

Ejemplo de ergodicidad comentado por Caldentey y Mondschein de la
Universidad de Chile.
Supongamos que disponemos de dos estanques A y B unidos por una
tubera, la que contiene una llave de paso originalmente cerrada.
un equilibrio se alcanza

el estado final que ha alcanzado el sistema es independiente de las condiciones iniciales

El estanque A contiene oxigeno a una presin Pa y el B helio a una

presin Pb. Si la vlvula se abre las molculas de oxigeno
evolucionan hacia el estanque B, mientras que las de helio lo hacen
hacia el estanque A.

CLCULO DE PROBABILIDADES ESTACIONARIAS

Forma 1 de Calculo

Multiplicando por si misma a la Matriz inicial

de Probabilidades de Transicin, hasta que
la matriz resultante despus de muchas
transiciones se estabilice en unos valores de
probabilidad definidos.

Forma 2 de Calculo

Empleando el simple concepto de Probabilidad

Total

P(A) = P(A) P(A/A)+P(B) P(A/B) + P(C) P(A/C) + P(D) P(A/D) +

0 = 0 poo + 1 p1o + 2 p2o + 3 p3o
1 = 0 po1 + 1 p11 + 2 p21 + 3 p31
2 = 0 po2 + 1 p12 + 2 p22 + 3 p32
3 = 0 po3 + 1 p13 + 2 p23 + 3 p33
0 + 1 + 2 + 3 =1

M
j

pij

i 0

M
i
i 0

CLCULO DE PROBABILIDADES ESTACIONARIAS

P=

0.080
0.632
0.264
0.080

0.184
0.368
0.368
0.184

0.368
0.000
0.368
0.368

0.368
0.000
0.000
0.368

0 = 0.286

1 = 0.285

2 = 0.264

3 = 0.166

CLCULO DE PROBABILIDADES ESTACIONARIAS

Con las probabilidades estacionarias ya calculadas,
puede calcularse el tiempo de la primera recurrencia
de un estado, es decir, el tiempo de que un estado i
vuelva a ese mismo estado por primera vez. A estos
tiempos suelen denominarse tiempos de primera
pasada y se simbolizan por jj.

1
jj
j

El caso de la movilidad de clases sociales. Suponga

que

en

la

sociedad

slo

existen

los

estratos

econmicos Alto, Medio y Bajo

A continuacin se muestra
la matriz de transicin de
un

paso,

es

decir

la

probabilidad de pasar en
una generacin de una

clase social a otra

Estado 0 Clase Alta

Estado 1 Clase Media
Estado 2 Clase Baja

Hijos
A
M
B
A 0.45 0.48 0.07
P M 0.05 0.7 0.25
B 0.01 0.5 0.49

Por ejemplo, el 1% de las personas que tuvieron padres

de clase Baja logran ser personas de clase Alta

Recordar que

= P

0.45 0.48 0.07

* 0.05 0.7 0.25
0.01 0.5 0.49
Las ecuaciones del estado estable

P
A PAM
A PAB

A
M

A AA

PMA
M PMM
M PMB
1

B BA

P
B PBB

B BM