Simulacin

Mdulo 2: Cadenas de Markov

Elaborado por: Israel De la Cruz Madrigal 1

2 Cadenas de Markov

2.1 Introduccin a los procesos estocsticos. Propiedad Markoviana.
El anlisis de Markov es una tcnica que maneja las probabilidades de ocurrencias futuras
mediante el anlisis de las probabilidad conocidas en el presente. La tcnica tiene diversas
aplicaciones en los negocios, incluyendo anlisis de la participacin en el mercado, prediccin de
deudas incobrables, prediccin de la matrcula universitaria y determinacin de si una mquina se
descompondr en el futuro. (Render, Stair, y Hanna, 2012)
Los modelos de proceso de Markov son tiles para estudiar la evolucin de los sistemas a
lo largo de ensayos repetidos, los cuales son lapsos de tiempo sucesivos en los que el estado del
sistema en cualquier periodo particular no puede determinarse con certeza. Ms bien, se utilizan
probabilidades de transicin para describir la manera en la que el sistema pasa de un periodo al
siguiente. Por tanto, nos interesa la probabilidad de que el sistema est en un estado particular en
un periodo de tiempo determinado. (Anderson, Sweeney, Williams, Camm, y Martin, 2011)
Las cadenas de Markov tienen la propiedad particular de que las probabilidades que
describen la forma en que el proceso evolucionar en el futuro dependen solo del estado actual en
que se encuentra el proceso y, por lo tanto, son independientes de los eventos que ocurrieron en el
pasado. (Hillier y Lieberman, 2010)

2.2 Definicin de Cadenas de Markov. Estados y probabilidades de transicin. Matriz de
transicin y su representacin por medio de diagramas
2.2.1 Definicin de una Cadena de Markov.
Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en
el tiempo t = 1, 2, La familia de variables aleatorias {Xi} forma un proceso estocstico con una
cantidad finita o infinita de estados. (Taha, 2012)
La propiedad markoviana establece que la probabilidad condicional de cualquier evento
futuro dados cualquier evento pasado y el estado actual Xt = i, es independiente de los eventos
pasados y solo depende del estado actual del proceso. Un proceso estocstico {Xt} (t = 0, 1,...) es
una cadena de Markov si presenta la propiedad markoviana. Hillier y Lieberman (2010), definen
un proceso estocstico como una coleccin indexada de variables aleatorias {Xt}, donde el ndice
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 2

t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no
negativos mientras que Xt representa una caracterstica de inters cuantificable en el tiempo t.

2.2.2 Estados y probabilidades de transicin
Render, et al (2012), indica que los estados sirven para identificar todas las condiciones
posibles de un proceso o sistema. Por ejemplo, una mquina puede estar en uno de dos estados en
cualquier momento: funcionar correctamente o no funcionar correctamente. Podemos llamar a la
operacin adecuada de la mquina el primer estado, y llamar al funcionamiento incorrecto el
segundo estado. Sin duda, es posible identificar los estados especficos para muchos procesos o
sistemas. Si hay solamente tres tiendas de abarrotes en un pueblo pequeo, un residente puede ser
cliente de cualquiera de las tres tiendas en cierto momento. Por lo tanto, hay tres estados
correspondientes a las tres tiendas. Si los estudiantes puede tomar una de tres especialidades en el
rea de Ingeniera Industrial (digamos, Manufactura, Calidad o Finanzas), cada una de las tres se
considera un estado.
En un anlisis de Markov tambin suponemos que los estados son tanto colectivamente
exhaustivos como mutuamente excluyentes. Colectivamente exhaustivos significa que podemos
numerar todos los estados posibles de un sistema o proceso. Nuestro estudio del anlisis de Markov
supone que hay un nmero finito de estados para cualquier sistema. Mutuamente excluyentes
significa que un sistema puede estar tan solo en un estado en cualquier momento. Un estudiante
puede estar nicamente en una de las tres reas de especialidad en administracin, y no en dos o
ms reas al mismo tiempo. Tambin significa que una persona nicamente puede ser cliente de
una de las tres tiendas de abarrotes en un punto en el tiempo. (Ibd.)
Despus de identificar los estados, de acuerdo a Render, et al (2012), el siguiente paso
consiste en determinar la probabilidad de que el sistema est en dicho estado, cuya informacin se
coloca entonces en un vector de probabilidades de estado.
(i) =vector de probabilidades de estado para el periodo i = = (1, 2, 3, , n)
Donde:
n = nmero de estados
1, 2, 3, , n = probabilidad de estar en el estado 1, estado 2,, estado n

Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 3

Uno de los propsitos del anlisis de Markov es predecir el futuro. Por lo tanto, si estamos
en cualquier periodo n, calculamos las probabilidades de estado para el periodo n + 1 como:
(n+1)= (n)P o (periodo siguiente)= (periodo actual)P

2.2.3 Matriz de probabilidades de transicin
El concepto que nos permite ir de un estado actual a un estado futuro es la matriz de
probabilidades de transicin. Se trata de una matriz de probabilidades condicionales de estar en un
estado futuro dado que estamos en el estado actual. La siguiente definicin es til: Sea Pij =
probabilidad condicional de estar en el estado j en el futuro, dado que el estado actual es i. Por
ejemplo, P12 es la probabilidad de estar en el estado 2 en el futuro, dado que el evento estaba en el
estado 1 en el periodo anterior. (Ibd.)
Definimos P = matriz de probabilidades de transicin

Los valores Pij individuales casi siempre se determinan en forma emprica.

Una rpida comprobacin de la validez de una matriz de probabilidades de transicin se
realiza asegurando que la suma de las probabilidades en cada fila es igual a 1. (Anderson, et al,
2011)

2.3 Modelacin de problemas mediante Cadenas de Markov.
2.3.1 Anlisis de Markov en operacin de maquinaria
Ejemplo tomado de Render, et al, (2012). Paul Tolsky, dueo de Tolsky Works, registr
durante varios aos la operacin de sus fresadoras. En los dos ltimos aos, 80% de las veces la
fresadora funcionaba correctamente en el mes actual, si haba funcionado correctamente el mes
anterior. Esto tambin significa que tan solo 20% del tiempo el funcionamiento de la mquina era
incorrecto para cualquier mes, cuando estaba funcionando correctamente el mes anterior. Adems,
se observ que el 90% de las veces la mquina estaba mal ajustada en cualquier mes dado, si estaba
mal ajustada el mes anterior. Solamente el 10% del tiempo oper bien en un mes en que el mes
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 4

anterior no operaba correctamente. En otras palabras, esta mquina puede corregirse cuando no ha
funcionado bien en el pasado y esto ocurre 10% de las veces. Estos valores ahora se utilizan para
construir la matriz de probabilidades de transicin. De nuevo, el estado 1 es una situacin donde la
mquina funciona correctamente; y el estado 2, donde la mquina no lo hace. La matriz de
transicin para esta mquina es:

Donde:
P11 = 0.8 = probabilidad de que la mquina funcione correctamente este mes, dado que
funcionaba correctamente el mes pasado
P12 = 0.2 = probabilidad de que la mquina no funcione correctamente este mes, dado que
funcionaba correctamente el mes pasado
P21 = 0.1 = probabilidad de que la mquina funcione correctamente este mes, dado que no
funcionaba correctamente el mes pasado
P22 = 0.9 = probabilidad de que la mquina no funcione correctamente este mes, dado que
no funcionaba correctamente el mes pasado
Las probabilidades en el rengln deben sumar 1 porque los eventos son mutuamente
excluyentes y colectivamente exhaustivos. Las dos probabilidades del rengln superior son las
probabilidades de funcionamiento correcto y funcionamiento incorrecto, dado que la mquina
funcionaba correctamente el periodo anterior. Como son mutuamente excluyentes y colectivamente
exhaustivas, el rengln de probabilidades de nuevo suma 1.
Cul es la probabilidad de que la mquina de Tolsky funcione correctamente dentro de un
mes? Cul es la probabilidad de que la mquina funcione correctamente dentro de dos meses?
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 5


Por consiguiente, la probabilidad de que la mquina funcione correctamente dentro de un
mes, dado que ahora funciona correctamente, es de 0.80. La probabilidad de que no funcione
correctamente en un mes es de 0.20. Ahora utilizamos estos resultados para determinar la
probabilidad de que la mquina funcione correctamente dentro de dos meses. El anlisis es
exactamente el mismo:

Lo cual significa que dentro de dos meses hay una probabilidad de 0.66 de que la mquina
todava funcione correctamente. La probabilidad de que la mquina no funcione correctamente es
de 0.34.
2.3.2 Anlisis de la cuota del mercado
Ejemplo tomado de Anderson, et al, (2011).Suponga que nos interesa analizar la cuota del
mercado y la lealtad de los clientes para Murphys Foodliner y Ashleys Supermarket, las nicas
tiendas de abarrotes en una pequea ciudad. Nos enfocamos en la secuencia de los viajes de
compras de un cliente y asumimos que ste hace un viaje de compras cada semana a Murphys
Foodliner o a Ashleys Supermarket, pero no a ambos. Como parte del estudio de investigacin de
mercados, reunimos datos de 100 compradores a lo largo de un periodo de 10 semanas. Al revisar
los datos, encontramos que de todos los clientes que compraron en Murphys en una semana dada,
90% compr en Murphys la siguiente semana, mientras que 10% se cambi a Ashleys. Los datos
de los clientes que compraron en Ashleys en una semana dada muestran que 80% compr en
Ashleys la siguiente semana, mientras que 20% se cambi a Murphys.

Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 6

Tabla 2.1. Probabilidad de transicin de las ventas de abarrotes. (Anderson, et al, 2011)

Probabilidad de transicin

Los trminos 1(0) y 2(0) denotar la probabilidad de que el sistema est en estado 1 o en
el estado 2 en algn periodo inicial o de inicio. La semana 0 representa el periodo ms reciente,
cuando estamos iniciando el anlisis de un proceso de Markov. Si hacemos 1(0) = 1 y 2(0) = 0,
decimos que como condicin inicial el cliente compr la ltima semana en Murphys, por otra
parte, si hacemos 1(0) = 0 y 2(0) = 1, empezaramos el sistema con un cliente que compr la
ltima semana en Ashleys. Podemos calcular las probabilidades de estado en el periodo 1 como
sigue:

Las probabilidades de estado 1(1) = 0.9 y 2(1) = 0.1 son las probabilidades de que un
cliente que compr en Murphys durante la semana 0 lo haga en Murphys o en Ashleys durante
la semana 1.

Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 7

Vemos que la probabilidad de comprar en Murphys durante la segunda semana es 0.83,
mientras que la probabilidad de hacerlo en Ashleys durante la segunda semana es 0.17. Repitamos
ahora el anlisis, pero esta vez comenzaremos el proceso con un cliente que compr por ltima vez
en Ashleys. Por tanto:

Procediendo como antes, podemos calcular probabilidades de estado subsiguientes.

2.4 Clasificacin de estados.
Con frecuencia es til saber si un proceso que comienza en un estado regresar alguna vez
a l. La siguiente es una posibilidad. Hillier Y Lieberman (2010), mencionan que un estado se
llama estado transitorio si, despus de haber entrado a ste, el proceso nunca regresa a l. Por
consiguiente, el estado i es transitorio si y solo si existe un estado j (j i) que es accesible desde el
estado i, pero no viceversa, esto es, el estado i no es accesible desde el estado j, as, si el estado i
es transitorio y el proceso visita ste, existe una probabilidad positiva (quiz, incluso de 1) de que
el proceso se mover al estado j y nunca regresar al estado i. Tambin dicen que un estado es
recurrente si, despus de haber entrado a este estado, el proceso definitivamente regresar a ese
estado. Por consiguiente, un estado es recurrente si y solo si no es transitorio, y como un estado
recurrente, podra ser visitado un nmero infinito de veces si el proceso continuara por siempre.
Un estado se llama estado absorbente si, despus de haber entrado ah, el proceso nunca
saldr de l. Por consiguiente, el estado i es un estado absorbente si y solo si pii = 1. Es posible que
una cadena de Markov tenga tanto una clase de estados recurrentes como una de estados transitorios
donde las dos clases tienen diferentes periodos mayores que 1. En una cadena de Markov de estado
finito, los estados recurrentes a peridicos se llaman ergdicos. Se dice que una cadena de Markov
es ergodica si todos sus estados son ergodicos. (Ibd.)
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 8

Taha (2012), clasifica los estados en cadenas de Markov con base en la probabilidad de
transicin pij de P, de la siguiente manera:

2.5 Probabilidades en varios pasos y del estado estable. Interpretaciones de las
probabilidades.
En una cadena ergdica, las probabilidades de estado estable, Taha (2012), define como:

Ejemplo: Cada ao, durante la temporada de siembra de marzo a septiembre, un jardinero
realiza una prueba qumica para verificar la condicin de la tierra. Segn el resultado de la prueba,
la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3)
mala. A lo largo de los aos, el jardinero ha observado que la condicin de la tierra del ao anterior
afecta la productividad del ao actual y que la situacin se describe mediante la siguiente cadena
de Markov:
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 9


Las probabilidades de transicin muestran que la condicin de la tierra puede o deteriorarse
o permanecer como est pero nunca mejorar. Por ejemplo, si la condicin de la tierra es buena en
este ao (estado 1) hay 20% de que no cambie el ao siguiente, 50% de probabilidad de que sea
regular (estado 2), y 30% de probabilidad de que se deteriorar a una condicin mala (estado 3). El
jardinero modifica las probabilidades de transicin P utilizando un fertilizante orgnico. En este
caso, la matriz de transicin se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.
Para determinar la distribucin de probabilidad de estado estable del problema del jardinero
con fertilizante, tenemos:

(Cualquiera de las primeras tres ecuaciones es redundante). La solucin es 1 = 0.1017, 2 =
0.5254 y 3 = 0.3729; es decir que a la larga la condicin de la tierra ser buena 10% del tiempo,
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 10

regular 52% del tiempo, y mala 37% del tiempo. Los tiempos medios del primer retorno se calculan
como:

Esto quiere decir que, en promedio, se requerirn aproximadamente 10 temporadas de
siembra para que la tierra regrese a un buen estado, 2 temporadas para que regrese al estado regular,
y 3 temporadas para que regrese a un estado malo. (Taha, 2012)

2.6 Cadenas con estados absorbentes.
De acuerdo a Hillier y Lieberman (2010), el estado k se llama estado absorbente si pkk = 1,
de manera que una vez que la cadena llega al estado k permanece ah para siempre. Si k es un estado
absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algn momento a k se
llama probabilidad de absorcin al estado k, dado que el sistema comenz en el estado i. Esta
probabilidad se denota por fik. Si existen dos o ms estados absorbentes en una cadena de Markov
y es evidente que el proceso ser absorbido en uno de estos estados, es deseable encontrar estas
probabilidades de absorcin. Dichas probabilidades pueden obtenerse con solo resolver un sistema
de ecuaciones lineales que considera todas las posibilidades de la primera transicin y despus,
dada la primera transicin, considera la probabilidad condicional de absorcin al estado k. En
particular, si el estado k es un estado absorbente, el conjunto de probabilidades de absorcin fik
satisface el sistema de ecuaciones:

Las probabilidades de absorcin son importantes en las caminatas aleatorias. Una caminata
aleatoria es una cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado
i, entonces en una sola transicin, o bien permanecer en i o se mover a uno de los dos estados
Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 11

inmediatamente adyacentes a i. Por ejemplo, la caminata aleatoria con frecuencia se usa como
modelo para situaciones que incluyen juegos de azar. (Ibd.)
Para ilustrar el uso de probabilidades de absorcin en una caminata aleatoria, considere un
ejemplo sobre juegos de azar y suponga que dos jugadores (A y B), con 2 dlares cada uno, aceptan
seguir jugando y apostar 1 dlar cada vez hasta que uno de ellos quiebre. La probabilidad de que
A gane una apuesta es 1/3, por lo que la probabilidad de que gane B es 2/3. El nmero de dlares
que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una cadena
de Markov con la matriz de transicin:

Si se inicia en el estado 2, la probabilidad de absorcin al estado 0 (A pierde todo su dinero)
se puede obtener al resolver para f20 a partir del sistema de ecuaciones que se proporcion al
comienzo de la seccin,

De manera similar, la probabilidad de que A termine con 4 dlares (B quiebre) cuando
comienza con 2 dlares (estado 2) se obtiene al obtener f24 del sistema de ecuaciones,

Simulacin
Mdulo 2: Cadenas de Markov
Elaborado por: Israel De la Cruz Madrigal 12



Simulacin
Bibliografa
Elaborado por: Israel De la Cruz Madrigal 13


2.7 Referencias bibliogrficas

Anderson, David R., Sweeney, Dennis J., Williams, Thomas A., Camm, Jeffrey D., y Martin, Kipp
(2011). Mtodos cuantitativos para los negocios. 11 edicin, Cengage Learning.

Hillier, Frederick S. y Lieberman, Gerald J. (2010). Introduccin a la investigacin de operaciones.
9 edicin, McGraw-Hill

Render, Barry, Stair, Ralph y Hanna, Michael (2012). Mtodos cuantitativos para los negocios.
11 edicin, Pearson Educacin, Mxico.

Taha, Hamdy A. (2012). Investigacin de operaciones. 9a edicin, Pearson Educacin.