http://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_Markov.

ht
m

Introducción a las Cadenas o Procesos

de Markov
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, "Recuerdan"
el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra,los deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo
el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en
particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la
larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir
el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede
aplicarse. La caracteristica más importante que hay que buscar en la memoria de un evento a otro.

Considere el problema siguiente: la compañía K, el fabricante de un cereal para el desayuno, tiene un

25% del mercado actualmente. Datos del año anterior indican que el 88% de los clientes de K
permanecían fieles ese año, pero un 12% cambiaron a la competencia. Además, el 85% de los clientes
de la competencia le permanecían fieles a ella, pero 15% de los clientes de la competencia cambiaron a
K. Asumiendo que estas tendencias continúen determine ¿cual es la parte que K aprovecha del
mercado?:

a. en 2 años; y
b. en el largo plazo.

Esta situación es un ejemplo de un problema de cambio de marcas que sucede muy a menudo que se
presenta en la venta de bienes de consumo.

Para resolver este problema hacemos uso de cadenas de Markov o procesos de Markov (qué es un tipo
especial de proceso estocástico). El procedimiento se da enseguida.

Procedimiento de solución

Observe que, cada año, un cliente puede estar comprando cereal de K o de la competencia. Podemos
construir un diagrama como el mostrado abajo donde los dos círculos representan a los dos estados en
que un cliente puede estar y los arcos representan la probabilidad de que un cliente haga una cambio
cada año entre los estados. Note que los arcos curvos indican una "transición" de un estado al mismo
estado. Este diagrama es conocido como el diagrama de estado de transición (notar que todos los arcos
en ese diagrama son arcos dirigidos).
Dado ese diagrama nosotros podemos construir la matriz de la transición (normalmente denotada por el
símbolo P) la qué nos dice la probabilidad de hacer una transición de un estado a otro estado. Sea:

estado 1 = cliente que compra cereal de K y

estado 2 = cliente que compra cereal de la competencia

tenemos así la matriz de transición P para este problema, dada por

Para estado 1 2

Del estado 1 | 0.88 0.12 |

2 | 0.15 0.85 |

Note aquí que la suma de los elementos en cada fila de la matriz de la transición es uno.

Por datos de este año sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila de la
matriz que representa el estado inicial del sistema dada por:

Estado

12

[0.25, 0.75]

Normalmente denotamos esta fila de la matriz por s1 indicando el estado del sistema en el primer
periodo (años en este ejemplo en particular). Ahora la teoría de Markov nos dice que, en periodo (año) t,
el estado del sistema está dado por el st de la fila de la matriz, donde:

st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1

Tenemos que tener cuidado aquí al hacer la multiplicación de la matriz ya que el orden de cálculo es
importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para encontrar st nosotros podríamos intentar
hallar P directamente para la potencia t-1 pero, en la práctica, es mucho más fácil de calcular el estado
del sistema en cada sucesivo año 1,2,3 ,..., t.

Nosotros ya sabemos el estado del sistema en el año 1 (s1) tal que el estado del sistema en el año dos
(s2) está dado por:

s2 = s1P
= [0.25,0.75] |0.88 0.12 |

........|0.15 0.85 |

= [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)]

= [0.3325, 0.6675]

Note que este resultado tiene sentido intuitivo, e.g. del 25% comprando actualmente al cereal de K, 88%
continúan haciendolo, aunque del 75% comprando el cereal del competidor 15% cambia a comprar
cereal de K - dando un (fracción) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando cereal de K.

De lo anterior, en el año dos 33.25% de las personas están en estado 1 - esto es, está comprando cereal
de K. Note aquí que, como un chequeo numérico, los elementos de st deben sumar siempre uno.

En el año tres el estado del sistema se da por:

s3 = s2P

= [0.3325, 0.6675] |0.88 0.12 |

............... |0.15 0.85 |

= [0.392725, 0.607275]

Por lo tanto en el año tres 39.2725% de las personas están comprando al cereal de K.

Recalcar que está pendiente la cuestión hecha sobre la porción que K comparte del mercado en el largo
plazo. Esto implica que necesitamos calcular st cuando t se hace muy grande (se acerca al infinito).

La idea de la largo plazo es basada en la suposición de que, en el futuro, el sistema alcance un

"equilibrio" (a menudo llamado el "estado sustentable") en el sentido de que el st = st-1. Ésto no quiere
decir que las transiciones entre estados no tengan lugar, suceden, pero ellos tienden "al equilibrio global"
tal que el número en cada estado permanece el mismo.

Hay dos enfoques básicos para calcular el estado sustentable:

Computational: - encontrar el estado sustentable calculando st para t=1,2,3,... y se detiene cuando st-1 y
st son aproximadamente el mismo. Esto es obviamente muy fácil para una computadora y este es el
enfoque usado por un paquete computacional.

Algebraico: - para evitar cálculos aritméticos largos necesarios para calcular st para t=1,2,3,... tenemos
un atajo algebraico que puede usarse. Recalcar que en el estado sustentable st = st-1 (= [x1,x2] para el
ejemplo considerado anteriormente). Entonces como st = st-1P tenemos eso

[x1,x2] = [x1,x2] | 0.88 0.12 |

.............| 0.15 0.85 |

(y también notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que podemos resolver.
Note aquí que hemos usado la palabra suposición anteriormente. Esto es porque no todos los sistemas
alcanzan un equilibrio, esto es, no cualquier sistema tiene matriz de transición

|01|

|1 0 |

nunca alcanza un estado sustentable.

Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K tenemos las tres ecuaciones
siguientes:

x1 = 0.88x1 + 0.15x2

x2 = 0.12x1 + 0.85x2

x1 + x2 = 1

0.12x1 - 0.15x2 = 0

0.12x1 - 0.15x2 = 0

x1 + x2 = 1

Note que la ecuación x1 + x2 = 1 es esencial. Sin élla no podríamos obtener una única solución para x1 y
x2. Resolviendo conseguimos x1 = 0.5556 y x2 = 0.4444

Por lo tanto, en la largo plazo, K comercializa una porción del mercado del 55.56%.

Un chequeo numérico útil (particularmente para problemas más grandes) es sustituir el examen final
calculando los valores en las ecuaciones originales para verificar que ellos son consistentes con esas
ecuaciones.

Comentarios

Cualquier problema para el que puede obtenerse un diagrama de transición de estado y que usa el
enfoque dado puede analizarse.

Las ventajas y desventajas de usar teoría de Markov incluyen:

 Teoría de Markov es simple de aplicar y entender.

 Cálculos de sensibilidad ( contestar las preguntas "qué-si") se llevan a cabo fácilmente.
 La teoría de Markov nos da con el tiempo una visión de los cambios en el sistema.
 P puede ser dependiente del estado actual del sistema. Si P es dependiente tanto del tiempo y
del estado actual del sistema i.e., P es una función de t y st, entonces la ecuación de Markov
básica se vuelve st=st-1P(t-1,st-1).
 La teoría de Markov es un modelo simplificado de un proceso de toma de decisión complejo.

Aplicaciones
Una aplicación interesante de procesos de Markov que yo conozco es la industria costera noruega del
petroleo/gas. En Noruega un cuerpo estatal, el Consejo de administración de Petróleo noruego, (junto
con la compañía de aceite estatal noruega (STATOIL)), tienen un papel grande en la planeación de los
medios para el desarrollo costero del petroleo/gas.

El problema esencial que el Consejo de la administración del Petróleo noruego tiene, es cómo planear la
producción para aumentar al máximo su contribución en el tiempo a la economía noruega. Aquí los
horizontes de tiempo son muy largos, típicamente 30 a 50 años. De importancia crítica es el precio del
aceite - todavía nosotros no podemos prever esto, sensiblemente con exactitud, para esta horizonte de
planeación.

Para superar este problema ellos modelan el precio del aceite como un proceso de Markov con tres
niveles de precio (estados), correspondiendo a escenarios optimista, probable y pesimista. Ellos también
especifican las probabilidades de hacer una transición entre los estados cada periodo de tiempo (año).
Pueden usarse matrices de transición diferentes para horixzontes de tiempo diferentes ( matrices
diferentes para el cercano, medio y futuro lejano).

Aunque éste simplemente es un enfoque simple, tiene la ventaja de capturar la incertidumbre sobre el
futuro en un modelo que es relativamente fácil de entender y aplicar.

Estudios sobre el modelado de la población (donde nosotros tenemos objetos con "edad") también son
una aplicación interesante de procesos de Markov.

Un ejemplo de esto sería el modelado el mercado del automóvil como un proceso de Markov para prever
la "necesidad" de nuevos automóviles cuando los automóviles viejos puedan extínguirse.

Otro ejemplo sería modelar el progreso clínico de un paciente en hospital como un proceso de Markov y
ver cómo su progreso es afectado por régimenes de droga diferentes.

http://investigaciondeoperaciones2markov.blogspot.com/p/teoria-y-ejemplos.html

TEORIA Y EJEMPLOS
CADENAS DE MARKOV

Una cadena de markov consta de unos estados E1 E2 E3 E4…..En. que inicialmente en un tiempo 0 o paso
0 se le llama estado inicial, además de esto consta de una matriz de transición que significa la posibilidad
de que se cambie de estado en un próximo tiempo o paso.

MATRIZ DE TRANSICIÓN:
Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n con todos los
registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o
fila) es 1.
Por ejemplo: las siguientes son matrices de transición.
REPRESENTACIÓN GRAFICA DE UNA MATRIZ DE TRANSICIÓN:
Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una
grafica de matriz de transición se puede observar el comportamiento estacionario representado por una
cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se
aprecia a continuación:

PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transición debe ser cuadrada.
3- las probabilidades de transición deben estar entre 0 y 1

La mejor manera de entender que es una cadena de markov es desarrollando un ejemplo sencillo
de estas mismas como el siguiente.
Ej. 1.
En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo,
Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para
Comcel 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de
permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la
actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del
0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2; si el usuario es
cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que
se cambie a tigo de 0.3 y a Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4 0.25 0.35) → estado inicial

También se puede mostrar la transición por un método grafico

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza
multiplicando la matriz de transición por el estado inicial y asi sucesivamente pero multiplicando
por el estado inmediatamente anterior.

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante podemos
decir que ya se a llegado al vector o estado estable.

Ej 2.
Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola, Pepsi cola
y big cola cuando una persona a comprado coca cola existe una probabilidad de que la siga
consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que compre big cola;
cuando el comprador actualmente consume Pepsi existe una probabilidad de que la siga
comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en la actualidad
consuma big cola la probabilidad de que la siga consumiendo es del 50%, un 30% que compre
coca cola y 205 pepsi cola.
En la actualidad cada marca cocacola, Pepsi y big cola tienen los siguientes porcentajes en
participación en el mercado respectivamente (60% 30% 10%)
 Elaborar la matriz de transición
 Hallar la probabilidad que tiene cada marca en el periodo 5
Respuesta
Matriz de transición

NOTA: estos ejercicios se pueden realizar en Excel utilizando la función de multiplicar matrices.

Entonces
Ej. 3
Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han encontrado
los siguientes datos:
E1: Exito
E2: Carrefour
E3: Sao
Hallar el estado estable (L)