Ejemplo

Cadena de Márkov de Tiempo Discreto - CMTD

José Eduardo Suárez Vargas

Politécnico Gran Colombiano
Bogotá, Colombia
abril de 2020
 Enunciado

En la Droguería COVID se están vendiendo cajas de tapabocas. Don Luis, su propietario,

decide si realizar o no pedidos todos los días siguiendo las siguientes reglas:

1 . Don Luis revisa su inventario a las 10 pm todos los días

2. Don Luis desea empezar todos los días con 1 caja de tapabocas para la venta.
3. Si al momento de revisar su inventario cuenta con 1 caja de tapabocas, él decide
no pedir.
4. El proveedor de las cajas de tapabocas solo acepta pedidos de 2 cajas.
5. Cualquier cliente que llegue a la droguería y no encuentre un tapabocas se
considera una venta perdida.

Asuma que la demanda de cajas de tapabocas durante el día se puede modelar como
una variable aleatoria de Poisson con media 2,5 (caja/día).

Defina a 𝑿𝒏 como el número de cajas de tapabocas en stock al finalizar el día 𝒏. Modele

el inventario de la droguería como una CMTD y construya la matriz de probabilidades de
transición, considere que el espacio de estados está dado por S={0, 1, 2}.
 Pasos para analizar y resolver el problema

1. Definir la variable de estado

2. Definir espacios de estado
3. Analizar condiciones de transición entre estados
4. Calcular probabilidades de transición entre estados
5. Calcular probabilidades de estado estable (largo plazo)
6. Estimar el valor esperado de la variable de estado
 1. Definir la variable de estado

𝑋𝑛 = Número de cajas de tapabocas en stock al

finalizar el día 𝒏
 2. Definir los espacios de estado

𝑆(𝑋𝑛 ) = {𝟎, 𝟏 , 𝟐}

Recuerde que los valores posibles que puede tomar la

variable de estado 𝑿𝒏 van a depender de las reglas del
problema.

Por ejemplo, don Luis nunca va a tener en stock 4 cajas

de tapabocas, porque:
1. Él solo realiza pedido al proveedor cuando no tiene
cajas disponibles en stock
2. Él solo realiza pedido al proveedor para 2 cajas de
tapabocas.
 3. Analizar condiciones de transición entre estados

Teniendo en cuenta que es una CMTD, tenga en cuenta

que el comportamiento de la variable de estado se
observa únicamente al final de cada día. Según lo
anterior, deberíamos analizar:

¿Qué fue lo que pasó durante el día para que a las 10:00
pm encuentre 𝑿 cantidad de cajas de tapabocas
disponibles en stock?

La demanda es de p Don Luis decide o no pedir 𝒎 cajas

cajas de tapabocas en de tapabocas a las 10 pm de
cada día
el día
 3. Analizar condiciones de transición entre estados

En la siguiente tabla, podemos observar los posibles eventos ocurridos

(condición de transición) para pasar de un estado inicial a un estado
final:
ESTADO INICIAL ESTADO FINAL CONDICIÓN DE TRANSICIÓN
Don Luis decide pedir al proveedor 2 cajas de
0 0 tapabocas y la demanda fue de 2 o más cajas
durante el día.
Don Luis decide pedir al proveedor 2 cajas de
0 1 tapabocas y la demanda fue de 1 caja durante el
día.
… … …
Don Luis decide no pedir al proveedor ninguna
1 1
caja y no hubo demanda durante el día.
1 2 No es posible
… … …
Don Luis decide no pedir al proveedor ninguna
2 0 caja y la demanda fue de 2 o más cajas durante
el día.
 4. Calcular probabilidades de transición entre estados

En primera instancia, sabemos que la demanda de cajas de tapabocas

se distribuye Poisson con la siguiente tasa:

𝑐𝑎𝑗𝑎𝑠 𝑑𝑒 𝑡𝑎𝑝𝑎𝑏𝑜𝑐𝑎𝑠
𝜆 = 2,5
𝑑𝑖𝑎

Considerando lo anterior, calculamos las probabilidades según la

distribución de Poisson:

𝑒 −𝜆 𝜆𝑘
𝑃 𝑋=𝑘 =
𝑘!
 4. Calcular probabilidades de transición entre estados

En el caso de que en el día la demanda haya sido de 0 caja de

tapabocas, tenemos:
𝑒 −2,5 2,50
𝑃 𝑋=0 = = 0,082
0!
En el caso de que en el día la demanda haya sido 1 caja de
tapabocas, tenemos:
𝑒 −2,5 2,51
𝑃 𝑋=1 = = 0,205
1!
En el caso de que en el día la demanda haya sido igual a 2 o más
cajas de tapabocas, tenemos:
𝑃 𝑋 ≥ 2 = 1 − 𝑃 𝑋 = 0 − 𝑃 𝑋 = 1 = 0,713
 4. Calcular probabilidades de transición entre estados

Al final, la matriz de probabilidades de transición entre estados es la

siguiente:
Estado Final (10 pm en el día 𝐧 + 𝟏)
Matriz en 1 paso
0 1 2
Estado Inicial

0 0,712703 0,205212 0,082085

(10 pm del
día

1 0,917915 0,082085 0
)

2 0,712703 0,205212 0,082085

Tenga en cuenta que las probabilidades de cada fila

deben sumar siempre 1
 5. Calcular probabilidades de estado estable (largo plazo)

Para el calculo de las probabilidades de estado estable es necesario

resolver el siguiente sistema de ecuaciones:
𝑃00 𝑃01 𝑃02
𝜋0 , 𝜋1 , 𝜋2 = 𝜋0 , 𝜋1 , 𝜋2 𝑃10 𝑃11 𝑃12
𝑃20 𝑃21 𝑃22
Teniendo en cuenta lo anterior, tenemos por ejemplo que:
𝑃00 = Probabilidad de transición del estado inicial 0 al estado final 0
…

Adicionalmente tener en cuenta que:

𝜋0 + 𝜋1 + 𝜋2 = 1
 5. Calcular probabilidades de estado estable (largo plazo)

Al resolver el sistema de ecuaciones, tenemos que las probabilidades

en estado estable son:

𝜋0 , 𝜋1 , 𝜋2 = [0.75, 0.18, 0.07]

En términos del problema, podemos concluir que:

✓ La probabilidad de que el stock de la droguería en el largo plazo sea

igual a 0 cajas de tapabocas es de 0.75

✓ La probabilidad de que el stock de la droguería en el largo plazo sea

igual a 1 caja de tapabocas es de 0.18

✓ La probabilidad de que el stock de la droguería en el largo plazo sea

igual a 2 cajas de tapabocas es de 0.07
 5. Calcular probabilidades de estado estable (largo plazo)

Recuerde que una manera de hallar las probabilidades de estado estable es

elevando la matriz de probabilidades de transición a la potencia n (n pasos)
tendiendo a infinito.

Dado lo anterior, usted puede calcular dichas probabilidades en estado estable en

Excel, multiplicando la matriz tantas veces hasta que evidencie que las
probabilidades para cada estado final son las mismas. Por ejemplo:

Estado Final (10 pm del día 𝐧 + 𝟏)

Matriz en n pasos
0 1 2
0 0,75 0,18 0,07
(10 pm del
Estado
Inicial

día

1 0,75 0,18 0,07

)

2 0,75 0,18 0,07

 6. Estime el valor esperado de la variable de estado

Para calcular el valor esperado de stock de cajas disponibles en la

droguería, es necesario contar con las probabilidades en estado
estable. De esta manera, para el problema de estudio, el valor
esperado de stock es:
2

𝐸 𝑋 = ෍ 𝑘 ∗ 𝜋𝑘 = 0 ∗ 𝜋0 + 1 ∗ 𝜋1 + 2 ∗ 𝜋2 = 0,317
𝑘=0

En conclusión, en el largo plazo el valor esperado de cajas de

tapabocas en el stock de la droguería es de 0,317, es decir, en
términos reales 0 cajas disponibles.