TALLER DE CADENAS DE MARKOV

1.- Ferretería Ideal S.A. tiene un contrato de suministro con Ecopetrol refinería para el suministro de una válvula
especial de mariposa de 8”. El contrato contempla que la demanda diaria podría ser de 0, 1 o 2 unidades y
estadísticamente se ha establecido que las probabilidades de que se presenten estas demandas son del 20, 50 y
30% respectivamente. El precio de venta es de $ 30.000 la unidad. Para suplir las necesidades de este su único
cliente de este producto, se ha establecido una política de inventario en la cual, se ordenan 5 unidades en el
momento en que se tienen en existencia tres o menos unidades; nunca se hacen pedidos cuando hay pedidos
pendientes. Ferretería Ideal S.A. realiza sus pedidos a Ferretería Reina S.A. a un costo de $ 20.000 por unidad,
pero los periodos de entrega son variables; estadísticamente se ha determinado que el comportamiento del
periodo de entrega de este producto es: que la entrega sea inmediata, con probabilidad del 50%; que se demore
un día, con probabilidad del 30%; o que se demore 2 días, con probabilidad del 20%.
Según el contrato, ECOPETROL esta dispuesto a esperar para la entrega, pero establece una penalización de
$ 6.000 por unidad por día de demora y en ningún momento se puede estar debiendo para la entrega más de una
unidad. Ferretería Ideal, tiene establecido que de requerirse puede comprar este producto en La casa de la
Válvula, pero este distribuidor no habitual, tiene un precio de venta de $ 32.000 y la entrega sería inmediata.
Hacer un pedido representa costos por $ 4.000 cada vez. Los costos de almacenamiento están calculados en $ 30
diarios por el número promedio de unidades que se tengan almacenadas.
a) Cual es la probabilidad de que se realicen pedidos en un día.
b) Cual es la probabilidad de que en un día se realicen compras en La Casa de la Válvula.
c) Cual es la probabilidad de que se tengan unidades pendientes de entrega a Ecopetrol.
d) Cual será la utilidad promedio en la comercialización de este producto.
e) Que probabilidad hay de que se tengan en existencia tres unidades al inicio de un día.

Nota: Los inventarios de este producto se revisan todos los días al iniciar la mañana (7 a.m.) y se establece si se
realiza o no el pedido. Todos los pedidos de Ferretería Reina sean de entrega inmediata, entrega en uno o dos
días se reciben a las 9 a.m. y pueden ser utilizados para hacer las entregas de ese día a nuestro cliente.
Establezca como X = Cantidad de válvulas mariposa de 8” en existencia cada día a las 7 A.M.

2.- Para entrar en un juego de casino, el jugador debe comprar 5 fichas cada una con valor de $ 2.000.
El jugador debe hacer un case de una ficha y el juego consiste en lanzar un dado; si sale uno o seis, el jugador
pierde su case y se inicia nuevamente el juego; pero si sale un número diferente, le da la posibilidad al jugador
de dejar su apuesta en el case solamente o aumentar su apuesta en una ficha (2 fichas) y lanzar el dado
nuevamente; si el número observado en este lanzamiento es mayor que el del primer lanzamiento, el jugador
gana y le devuelven su apuesta más una cantidad igual como utilidad. Si el número es menor que el observado en
el primer lanzamiento, el jugador pierde su apuesta y se reinicia el juego. Si el número observado en el segundo
lanzamiento es igual al del primer lanzamiento, el jugador debe hacer un tercer lanzamiento, en el cual salvara su
apuesta si sale seis, en cualquier otro caso pierde su apuesta y se reinicia el juego.
Por las reglas de la mesa, solamente se permite jugar las fichas que hay sobre la mesa, de tal forma que si el
jugador ya solamente cuenta con una ficha, la apuesta máxima debe ser de una ficha. También, el jugador
solamente podrá comprar fichas (5 que le venden) cuando haya perdido toda su compra anterior y le queden cero
fichas. Cuando el jugador tiene 10 fichas en su poder (el máximo posible), cualquier ganancia adicional el casino
se la pagará en efectivo, por ejemplo, tiene 9 fichas, apuesta dos y gana, el casino le devolverá su apuesta, y las
ganancias las dará en una ficha para completar las diez y dos mil pesos en efectivo.
En promedio se realiza una jugada cada 2.5 minutos.
a) Cuál será la probabilidad de que en una hora, el jugador tenga que comprar fichas.
b) Qué porcentaje de las veces el jugador ganará dos pesos.
c) Si por política del jugador apostará dos pesos (su case y uno adicional) cuando la primera jugada sea dos
o tres y en cambio dejará solamente su case cuando en la primera jugada se observe un cuatro o cinco,
cuál será la utilidad promedio esperada por juego.
 d) Si en este momento el jugador cuenta con tres fichas, que probabilidad existe de que tenga que comprar
después de sus próximas dos jugadas.

3.- La demanda diaria de un producto líder de la empresa tiene un comportamiento Poisson con media de 1
unidad. Por política de la empresa, al final de cada día se revisan las existencias de este producto y si la
existencia es cero, se realiza un pedido por cuatro unidades. El comportamiento del proveedor es incierto
pero, se sabe que la probabilidad de que la entrega sea inmediata es del 50%, la probabilidad de que se
demore un día es del 30% y la probabilidad de que se demore dos días es del 20%. Si en algún día no se
tiene cantidad suficiente para satisfacer la demanda, la venta se pierde, el cliente compra el producto a
nuestra competencia. Si hay pedidos pendientes de entrega, la empresa no realiza nuevos pedidos.

a) ¿Cuál es la probabilidad de que en un día cualquiera se presenten faltantes?

b) ¿Cuál es el número promedio de unidades perdidas en ventas?
c) ¿Cuál será el número medio de unidades vendidas?
d) Si hoy es lunes y se tienen en existencia 2 unidades, ¿Cuál es la probabilidad de que el día jueves se
presenten faltantes?
e) ¿En promedio cada cuanto se hace un pedido?

4.- Almacenes Sergo vende dentro de su línea de productos, televisores de 60” para los cuales debe
establecer una política de inventario. La demanda es variable y se ha determinado estadísticamente que
la probabilidad de que durante una semana se demanden cero unidades es del 95 %, y que se demande
una unidad es del 5%.
La política que se ha establecido para la administración de este producto en el inventario. Es que si en
el transcurso de la semana se ha vendido el TV, al final de la semana se realiza un pedido por 1 unidad.
El periodo de entrega por parte del proveedor está determinado en 4 semanas (Fijo)

El precio de venta de este televisor es de $ 1.600 la unidad y se compra al proveedor habitual en

$ 1.100.
Los costos de hacer un nuevo pedido se han calculado en $ 250 cada vez.
Los costos de almacenamiento se han calculado en $ 15 por televisor a la semana.
Cuando un televisor es solicitado por un cliente y este no se tiene en existencia, los faltantes se
compran de un distribuidor local a un precio de $ 1.500 la unidad.

a) (Valor 0.75) Construya la matriz de transición.

b) (Valor 0.75) ¿Qué probabilidad hay de que se tenga que realizar compras en una semana al
proveedor local?
c) (Valor 0.75) ¿Cuántos pedidos se realizaran en promedio al año?
d) (Valor 0.75) Si hoy es lunes y se tienen en existencia 2 TV. ¿Qué probabilidad hay de que el
jueves se deban realizar compras al proveedor local?
e) (Valor 1.0) ¿Cuál será la utilidad promedio en la comercialización de este producto?
f) (Valor 1.0) Si nuestro proveedor ha planteado entregas en 2 días con un sobrecosto en el precio
de compra del producto ($ 1.100/unidad más un sobrecosto), ¿cuál sería el valor máximo que
Ud. aceptaría para tomar esta propuesta?

4ª.- Almacenes Sergo vende dentro de su línea de productos, televisores de 60” para los cuales debe establecer
una política de inventario.
Hasta ahora, se tiene establecido de que en el momento en que se encuentre en existencia 1 o menos unidades de
este producto al inicio de una semana, se solicitan 2 unidades al proveedor. El periodo de entrega es variable y
estadísticamente se ha determinado que hay una probabilidad del 30% de que sea inmediata, 50% de que se
demore una semana y 20% de que se demore 2 semanas.
La demanda es variable y se ha determinado estadísticamente que la probabilidad de que durante una semana se
demanden cero unidades es del 50%, que se demande una unidad es del 30% y que demanden 2 unidades es de
20%.
El precio de venta de este televisor es de $ 1.500 la unidad y se compra en $ 1.000.
Los costos de hacer un nuevo pedido se han calculado en $ 100 cada vez.
Los costos de almacenamiento se han calculado en $ 12 por televisor a la semana.
Cuando un televisor es solicitado por un cliente y este no se tiene en existencia, los faltantes se compran de un
distribuidor local a un precio de $ 1.250 la unidad.

g) Que probabilidad hay de que se tenga que realizar compras al proveedor local.
h) Cuantos pedidos se realizaran en promedio al año.
i) Si hoy es lunes y se tienen en existencia 2 TV. Que probabilidad hay de que el jueves se deban realizar
compras al proveedor local.
j) Cuál será la utilidad promedio en la comercialización de este producto.

5.- Si nuestro proveedor ha planteado entregas inmediatas con un sobrecosto en el precio de compra del producto
($ 1.500/unidad más un sobrecosto), cuál sería el valor máximo que Ud. aceptaría para tomar esta propuesta.

6.- Considere el siguiente modelo para el valor de una acción. Al final de un día dado se registra el precio.
Suponga que la probabilidad de que una acción suba mañana, depende de si subió o no hoy y ayer. En particular,
Si los dos últimos días la acción presenta alzas, con una probabilidad del 95% mañana también presentará alza.
Si ayer la acción bajó y hoy registra alza, entonces el 70% de las veces presentará alza mañana. Si ayer subió y
hoy registra baja, entonces 60% de las veces, mañana presentará bajas. Si los dos últimos días la acción registra
bajas, entonces el 80% de las veces, mañana presentará bajas.

a) Defina la matriz de transición correspondiente.

b) Si hoy martes al final del día, se registra que el lunes y martes la acción ha presentado alzas y se piensa
vender este tipo de activos de la empresa para el día viernes, que probabilidad hay de que el viernes
presente alzas.
c) Si cuando la acción sube en promedio el alza es de $ 3.2 y cuando baja el valor promedio de baja es de
$ 2.95 ¿Cuál será el cambio esperado diario para ella?

7.- El cobro que una compañía de seguros hace a un cliente es de acuerdo con sus antecedentes. A un cliente que
no tuvo accidentes en los dos últimos años, se le cobra una prima anual de $ 30.000 por millón asegurado. Al
cliente que tuvo accidentes durante los dos últimos años, se le cobra una prima anual de $ 100.000 por millón
asegurado. A un cliente que tuvo un solo accidente bien sea en el primer o segundo año considerado, se le cobra
una prima anual de $ 60.000 por millón. Un cliente que tuvo un accidente durante el último año, tiene una
probabilidad de 10% de tener un accidente en el año actual. Si un cliente no ha tenido accidentes durante el
último año, hay una probabilidad de solo el 3% de que tenga un accidente durante el año actual. Durante un año
determinado, ¿cuál es la prima promedio que paga un cliente de esta compañía?
Defina Xt: Condición de accidentalidad de un cliente durante los últimos dos años.
Sugerencia: defina cuatro estados.

8.- Una represa tiene capacidad para almacenar 5 unidades de agua como máximo. En la operación de la represa,
durante el día se almacena agua proveniente de diferentes afluentes que llegan a ella y al final del día (5 PM) se
vende a una electrificadota 3 unidades de agua. Si la represa tiene suficiente cantidad de agua almacenada a esa
hora, se entregan las tres unidades suscritas en el contrato de suministro; en caso contrario, si la represa no posee
agua suficiente para hacer la entrega, se despacha la cantidad en existencia y el resto se compra a otro operador
de otra represa.
La cantidad de agua (Unidades) que se logra recoger la represa en un día de 5 – 5 PM es variable y se puede
resumir su comportamiento en la siguiente distribución de probabilidad.

Agua Recolectada 0 1 2 3 4 5
Probabilidad 0.1 0.2 0.3 0.2 0.15 0.05

a) (Valor 1.0) Construya la matriz de transición

b) (Valor 1.0) Si hoy es lunes 5 de la tarde y se tienen en la represa 3 unidades de agua, antes de hacer la
entrega a la electrificadora, ¿Qué probabilidad hay de que el jueves a las 5 PM se deba comprar agua
para completar la entrega de ese día?
c) (Valor 1.5) Cual será el costo promedio diario pagado por compras de agua al otro operador, si la unidad
de agua comprada cuesta $ 3 millones
d) (Valor 1.5) Si con una inversión diferida de $ 45 millones mensuales se pudiera ampliar la capacidad de
la represa en 1 unidad, ¿Qué recomendaría usted? Considere que los costos de operación de la represa
son los mismos con capacidad para 5 o 6 unidades de agua y solo es relevante el costo de compra de
agua.
e) Bono: (Valor 0.5) ¿Cuáles son las condiciones para un sistema markoviano alcance condiciones de
estado estable?

9.- Considere el siguiente problema de inventario al que se enfrenta un hospital. Se tiene necesidad de un tipo
raro de sangre como AB Rh negativo.
La demanda durante un periodo de tres días está dada por:

P(D=0) = 0.4, P(D=1) = 0.3, P(D=2) = 0.2, y P(D=3) = 0.1.

Suponga que se entrega sangre cada tres días por parte del proveedor a un costo de $ 20.000 la unidad. El
hospital propone una política para recibir una unidad de sangre cada entrega y usa primero la más vieja. Si se
requiere más sangre de la que tiene, se hace una entrega de emergencia a un costo de $ 30.000. La sangre se
descarta si en 21 días después de recibida no se ha usado.

a) ¿Cuál será el costo promedio diario por compra de sangre de éste tipo?
b) Si hoy es lunes y se tienen en existencia 2 unidades de sangre, antes de recibir el pedido de ese día, ¿cuál
será la probabilidad de que el día jueves se tenga que comprar sangre de emergencia?

10.- De acuerdo a las lluvias, a una represa fluyen diariamente las siguientes cantidades de agua.

Flujo 0 1 2 3 4
Probabilidad 0.1 0.2 0.3 0.3 0.1

La represa tiene una capacidad máxima para 4 unidades. Todo el flujo que exceda esta cantidad es desperdiciado
Al final del día, el agua almacenada se vende a razón de $ 1.000 la unidad para la generación de energía, de
acuerdo a una demanda variable, establecida así:

Demanda diaria 1 2 3 4
probabilidad 0.2 0.3 0.4 0.1

Si en un día cualquiera no se tiene la cantidad suficiente para dar cubrimiento a la demanda para la generación de
energía, se entrega la cantidad disponible en la represa y la otra se compra a razón de $ 1.050 la unidad, hasta
completar el pedido.
Si hay sobrantes al vender agua para la generación de energía, hay un 20% de probabilidades que el acueducto
local requiera suministro de agua, el pedido siempre es por una unidad, aunque esta se entrega cuando hay
existencias y se vende a razón de $ 800/ unidad.

a) ¿Cuál será la probabilidad de que se desperdicie agua en un día cualquiera?

b) ¿Cuál es la probabilidad de que se tenga que comprar agua para suplir la demanda en un día cualquiera?
c) ¿Cuál es el valor diario de las ventas diarias por agua de la propia represa?
d) ¿Cuál es el valor esperado de las compras diarias?
e) Si el agua que excede la capacidad de la represa se vende para riego, a razón de $ 300 la unidad, y los
costos de operación diaria de la represa se estiman en $ 1.200, ¿cuál es la utilidad promedio de la represa?
Establezca la variable a observar como la cantidad de agua disponible en la represa al final del día, antes de
entregar agua para la generación de energía.

11.- Un jugador entra en un casino y cuenta con $ 15 que decide apostar bien hasta que disponga del doble de
dinero o hasta perder los $ 15. El juego seleccionado tiene una apuesta de $ 5 cada vez y tiene una probabilidad
del 40% de ganar, 50% de perder y 10% de que sea un empate.
a) ¿Cuál es la probabilidad de que el jugador se vaya feliz con $ 30?
b) ¿Cuál es la probabilidad de que el jugador se vaya Triste con $ 0?

12.- Una parte crítica del proceso productivo falla frecuentemente por su alto uso, por lo cual un mecánico
especializado la revisa semanalmente a las 7 AM. De acuerdo a la política establecida, si el componente básico
es nuevo y falla, se reparará hasta dos veces y una vez haya fallado dos veces, se reemplazará por uno nuevo.
Estadísticamente se ha establecido, que cuando la maquina se encuentra operando con un componente nuevo, la
probabilidad de que la próxima semana se encuentre funcionando nuevamente es del 95%. Si el componente ha
sido reparado por primera vez, si la maquina la encuentra el mecánico funcionando, la probabilidad de que en su
próxima visita este funcionando es del 80%. Si el componente ha sido reparado por segunda vez, si la maquina la
encuentra el mecánico funcionando, la probabilidad de que en su próxima visita este funcionando es del 65%. Si
la maquina ha fallado con el componente nuevo, la reparación se puede realizar en una semana o dos semanas, la
probabilidad de que requiera de una semana es del 70%. Si la maquina ha fallado con el componente reparado, la
reparación puede requerir de una, dos o tres semanas, con probabilidades de 50, 30 y 20% respectivamente.
 Cuando el daño se presenta en una semana cualquiera, la producción se debe procesar a partir del daño en
una maquina alterna en horarios extras, por lo cual, los costos promedio semanales se ha calculado se
incrementan en $ 2.000.
 Cuando la maquina esta fuera de operación toda la semana por reparación, los sobrecostos semanales en
producción se han calculado en $ 4.000
 El costo de un componente nuevo es de $ 3.000.
 El costo de la primera reparación del componente se ha calculado en $ 400
 El costo de la segunda reparación se ha calculado en $ 800
 El costo del grupo de reparación se ha calculado en $ 100/semana.

a) Determine el costo promedio.

b) Si la gerencia ha estado pensando en no realizar una segunda reparación del componente y cuando falle
por segunda vez reemplazarlo por uno nuevo, que recomienda Ud. Considere que la reparación sería
como si la maquina hubiera fallado con componente nuevo.
c) Si se esta pensando en establecer una política en la cual, cada vez que el componente falle reempezarlo
por uno nuevo, que recomendaría Ud.
13.- Una empresa ha recibido una propuesta para la comercialización de un producto perecedero; el contrato de
comercialización contempla hacer una entrega de 3 o 2 unidades diarias permanentemente (Todos los días
nuestra empresa recibiría 3 o 2 unidades del producto de acuerdo a su decisión).
Las condiciones de producto perecedero determinan que los productos se podrán almacenar durante un tiempo
máximo de tres días. Después de tres días de almacenamiento, los productos deben ser botados y el costo será
asumido por nuestra empresa.
Los pedidos ya sea de 2 o 3 unidades serán entregados diariamente a las 7 de la mañana y en ese momento se
determinará si hay que botar artículos vencidos (productos que tengan tres días de comprados).
La demanda es variable y estadísticamente se ha determinado su comportamiento de la siguiente forma:

Demanda diaria 0 Unid. 1 Unid. 2 Unid. 3 Unid. 4 Unid.

Probabilidad 0.2 0.25 0.35 0.15 0.05

El costo de compra del producto es de $ 10.000 la unidad y se vende en $13.200. Todos los demás costos se
mantendrán constantes sin importar si se solicitan 2 o 3 unidades.
La empresa trabaja 7 días a la semana, todos los días al año. Qué recomienda Ud?

14.- A un puesto de trabajo llegan piezas diferentes de dos máquinas A y B que producen en un tiempo de 10
min. cada pieza. La probabilidad de que una pieza fabricada por A o B sea defectuosa es del 30% y 20%
respectivamente y, cualquiera de ellas se desecha automáticamente; Las piezas se reciben en el puesto de trabajo
y se almacenan en un Buffer que tiene capacidad para dos piezas de cada referencia.
Si el Buffer está lleno de alguna de las referencias, inmediatamente se suspende la producción en la máquina
correspondiente. Una vez hay en el Buffer una unidad de cada una de las referencias A y B el operario las pasa al
proceso de ensamble en la máquina C que gasta un tiempo de 10 min. Describa el comportamiento del inventario
en proceso el buffer del puesto de trabajo

a) construya la matriz de transición para este caso

b) Calcule la probabilidad de que dentro de una hora el buffer esté vacío si en este momento tiene 1 unidad
de A y cero de B
c) Calcule las probabilidades de estado estable
d) Cual será la producción esperada para esta unidad de trabajo