Cadenas de Markov

UTM -2016

Definicin
Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos
en el tiempo t = 1, 2... . La familia de variables aleatorias {Xi} forma un proceso
estocstico con una cantidad finita o infinita de estados.

Ejemplo 1:
La condicin de una mquina en el momento del mantenimiento preventivo mensual
es: mala, regular o buena. Para el mes t, el proceso estocstico en esta situacin se
representa como sigue:

La variable aleatoria X t es finita porque representa tres estados: malo (0), regular (1) y
bueno (2).

Proceso de Markov
Un proceso estocstico es un proceso de Markov si un estado futuro depende slo del
estado inmediatamente anterior.
Esto significa que dados los tiempos cronolgicos t 0 , t 1 ,..., t n , la familia de variables
aleatorias {Xtn } = {x 1 , x 2 , , x n } es un proceso de Markov si

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las

probabilidades en un punto especfico del tiempo t = 0,1,2,... se definen como:

Esto se conoce como probabilidad de transicin en un paso al ir del estado i en el

instante t - 1 al estado j en el instante t

Algunas propiedades

La matriz P define una cadena de Markov. Tiene la propiedad de que todas

sus probabilidades de transicin pij son estacionarias e independientes a lo
largo del tiempo.

Ejemplo 2
El clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy est seco, es
decir, si no llueve.
En particular, la probabilidad de que maana est seco es de 0.8 si hoy est seco, pero es de slo 0.6
si hoy llueve. Estas probabilidades no cambian si se considera la informacin acerca del clima en los
das anteriores a hoy.
La evolucin del clima da tras da en Centerville se ha formulado como un proceso estocstico {X t }
(t = 0, 1, 2, . . .)

Ejemplo 3
Cada ao, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba
qumica para verificar la condicin de la tierra. Segn el resultado de la prueba, la productividad en
la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los
aos, el jardinero ha observado que la condicin de la tierra del ao anterior afecta la productividad
del ao actual y que la situacin se describe mediante la siguiente cadena de Markov:

Las probabilidades de transicin muestran que la condicin de la tierra puede o deteriorarse o

permanecer como est pero nunca mejorar. Por ejemplo, si la condicin de la tierra es buena en
este ao (estado 1) hay 20% de que no cambie el ao siguiente, 50% de probabilidad de que

sea regular (estado 2), y 30% de probabilidad de que se deteriorar a una condicin
mala (estado 3). El jardinero modifica las probabilidades de transicin P utilizando un
fertilizante orgnico. En este caso, la matriz de transicin se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

Ejemplo 4
Un profesor de ingeniera adquiere una computadora nueva cada dos aos. El
profesor puede elegir de entre tres modelos: M1, M2 y M3. Si el modelo actual
es M1 , la siguiente computadora puede ser M2 con probabilidad .2, o M3 con
probabilidad .15. Si el modelo actual es M2, las probabilidades de cambiar a
M1 y M3 son .6 y .25, respectivamente.
Pero si el modelo actual es M3, entonces las probabilidades de comprar los
modelos M1 y M2 son .5 y .1, respectivamente.
Represente la situacin como una cadena de Markov.

Ejemplo 5
Una patrulla vigila un vecindario conocido por sus actividades delicticas. Durante un
patrullaje hay 60% de probabilidades de llegar a tiempo al lugar donde se requiere la
ayuda; si no sucede algo, continuar el patrullaje regular. Despus de recibir una
llamada, hay 10% de probabilidades de cancelacin (en cuyo caso el patrullaje normal
se reanuda), y 30% de probabilidad de que la unidad ya est respondiendo a la llamada
anterior.
Cuando la patrulla llega a la escena del suceso, hay 10% de probabilidades de que los
instigadores hayan desaparecido (en cuyo caso reanuda su patrullaje), y 40% de
probabilidades de que se haga una aprehensin de inmediato. De otro modo, los
oficiales rastrearn el rea.
Si ocurre una aprehensin, hay 60% de probabilidades de trasladar a los sospechosos a
la estacin de polica, de lo contrario son liberados y la unidad regresa a patrullar.
Exprese las actividades probabilsticas de la patrulla en la forma de una matriz de
transicin.

S1. Patrulla en vigilancia

S2: Patrulla respondiendo a una llamada
S3: Patrulla en la escena de la llamada
S4: Aprehensin realizada
S5. Transporte a la estacin de polica

PROBABILIDADES DE TRANSICIN ABSOLUTAS Y DE n PASOS

Dada la matriz de transicin P de una cadena de Markov y el vector de
probabilidades iniciales a (0) = {aj (0) , j= 1, 2, .. n} , las probabilidades absolutas
a(n) = {aj (n) , j= 1, 2, .. n}, despus de n>0 transiciones se calculan como sigue:

La matriz P n se conoce como la matriz de transicin de n pasos.

Ejemplo 6
La siguiente matriz de transicin es aplicable al problema del jardinero con
fertilizante

Si la condicin inicial de la tierra es buena, es decir a(0) = (1,0,0). Determine las

probabilidades absolutas de los tres estados del sistema despus de 1,8 y 16
temporadas de siembra.

las probabilidades absolutas se calculan:

Es importante notar que :

Las filas de P8 y el vector de probabilidades absolutas a(8) son casi idnticos.

y esto es an ms evidente en P16.
A medida que la cantidad de transiciones aumenta, las probabilidades absolutas se
vuelven independientes del a(0) inicial.

Las probabilidades resultantes se conocen como probabilidades de estado estable.

Ejemplo 7
Considere el ejemplo 4. Determine la probabilidad de que el profesor compre
el modelo actual en 4 aos.

Ejemplo 7
Considere el ejemplo 5. Si la patrulla se encuentra en este momento en la
escena de una llamada, determine la probabilidad de que haga una
aprehensin en dos patrullajes.

S1. Patrulla en vigilancia

S2: Patrulla respondiendo a una llamada
S3: Patrulla en la escena de la llamada
S4: Aprehensin realizada
S5. Transporte a la estacin de polica

Ejemplo 8
Cyert and Associates (1963). Banco 1 ofrece prstamos los que o se liquidan
cuando se vencen o se retrasan. Si el pago sobre un prstamo se retrasa ms
de cuatro trimestres (1 ao), Banco 1 considera el prstamo como una deuda
incobrable y la cancela. La siguiente tabla proporciona una muestra de la
experiencia anterior de Banco 1 con prstamos.

Exprese la situacin del prstamo de Banco 1 como una cadena de Markov.

Problema 9
Considere el problema 8. Suponga que actualmente Banco 1 tiene prstamos
pendientes que ascienden a $500,000. De stos, $100,000 son nuevos,
$50,000 estn retrasados un trimestre, $150,000 estn retrasados dos
trimestres, $100,000 estn retrasados tres trimestres, y el resto estn
retrasados ms de tres trimestres. Cul sera la situacin de estos prstamos
despus de dos ciclos de prstamos?

CLASIFICACIN DE LOS ESTADOS EN UNA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican con base en la probabilidad de
transicin pij de P.
1.

Un estado j es absorbente si est seguro de regresar a s mismo en una transicin;

es decir, pij = 1.

2.

Un estado j es transitorio si puede llegar a otro estado pero no puede regresar

desde otro estado. Matemticamente, esto suceder si
,
para todas las i.

3.

Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados

es 1. Esto puede suceder si, y slo si, el estado no es transitorio.

4.

Un estado j es peridico con periodo de t > 1 si es posible un retorno slo en t, 2t,

3t, ... pasos. Esto significa que p jj = 0 cuando n no es divisible entre t.

Ejemplo 9

Un conjunto cerrado lo constituyen los

estados 3 y 4, que en cierta forma
desempean el papel de un estado
absorbente.
Todos los estados de un conjunto
cerrado deben comunicarse, lo cual
significa que es posible ir de cualquier
estado a cualquier otro estado del
conjunto en una o ms transiciones

P2 = P2
P8 = P8
P16 = P16

Ejemplo 10

Ejemplo 11
El periodo de cada uno de los estados 1 y 3 es t = 2.

P=
0.00000 0.60000 0.40000
0.00000 1.00000 0.00000
0.60000 0.40000 0.00000
P2 =
0.24000 0.76000 0.00000
0.00000 1.00000 0.00000
0.00000 0.76000 0.24000
P3 =
0.00000 0.90400 0.09600
0.00000 1.00000 0.00000
0.14400 0.85600 0.00000

P4 =
0.05760 0.94240 0.00000
0.00000 1.00000 0.00000
0.00000 0.94240 0.05760
P5 =
0.00000 0.97696 0.02304
0.00000 1.00000 0.00000
0.03456 0.96544 0.00000
P6 =
0.01382 0.98618 0.00000
0.00000 1.00000 0.00000
0.00000 0.98618 0.01382