Universidad Central de Venezuela

Facultad de Ciencias
Escuela de Computacin
Probabilidad y Estadstica
Prctica N 7

Cadenas de Markov

Objetivo general:

Al finalizar la prctica, el estudiante deber conocer los conceptos fundamentales de las

cadenas de Markov, identificar estados de una cadena de Markov, construir matrices y
diagramas de transicin de las cadenas Markov, calcular vectores de estado, identificar las
clases de una cadena de Markov, y determinar el tipo de cada una.

Objetivos especficos:
Manejar los conceptos de proceso y cadena de Markov y sus propiedades.
Identificar situaciones donde se puede aplicar el proceso de Markov.
Construir diagramas y matrices de transicin de cadenas de Markov.
Identificar clases y estados, de una cadena de Markov, y sus tipos.
Transformar procesos que toman en cuenta varios estados anteriores a cadenas de
Markov.
Desarrollo de la prctica:
Ejercicio 1
Cules de las siguientes pueden ser matrices de transicin de un proceso de Markov? Dibuje
el diagrama de transicin asociado a cada una de ellas.

Ejercicio 2
Determine un valor para cada entrada faltante denotada por __, de modo cada matriz sea una
matriz de transicin de una cadena de Markov. En algunos casos puede haber ms de una
respuesta correcta.

Universidad Central de Venezuela

Facultad de Ciencias
Escuela de Computacin
Probabilidad y Estadstica
Prctica N 7

Ejercicio 3
Clasifique los estados de las siguientes cadenas de Markov, determinando si son si son
transitorias o recurrentes y luego diga cuales son las clases.

Ejercicio 4
Supngase un modelo del mercado de acciones donde el precio de la accin sube o no maana,
dependiendo de si subi o no ayer y hoy. Si la accin subi los dos das, maana subir con
una probabilidad 1, si la accin subi hoy pero ayer bajo, maana subir con una
probabilidad 2, si la accin subi ayer pero hoy bajo, maana subir con una probabilidad 3,
por ultimo si la accin bajo ambos das, la probabilidad de que suba maana es 4.
1. Determine los estados para que el proceso estocstico sea una cadena de Markov.
2. Construya la matriz de transicin de la cadena de Markov.
Ejercicio 5
Para cada caso:
- Dibuje el diagrama de transicin asociado
- Especifique las clases
- Clasifique sus estados como transitorios o recurrentes

Universidad Central de Venezuela

Facultad de Ciencias
Escuela de Computacin
Probabilidad y Estadstica
Prctica N 7

Ejercicio 6
Una ameba se mueve entre dos reas: una oscura (A), y una iluminada (B). Estos organismos
se encuentran en constante movimiento, pero cuando encuentran luz, ?tienden? a volver en
un movimiento prximo. Al pasar por el rea A, la probabilidad de volver a pasar por la misma
rea en su siguiente movimiento es 0,2. Despus de pasar por el rea B y recibir luz, la
probabilidad de pasar a la misma rea al movimiento siguiente es 0,8.
1. Determine el diagrama y la matriz de transicin para el proceso de Markov.
2Cul es la probabilidad de que la ameba vuelva a pasar por el rea A despus de dos
movimientos? (su tercer movimiento es pasar por el rea A)?
3. Indique si la cadena de Markov es ergdica y cul es el vector de estado estacionario?
Ejercicio 7
Suponga que las condiciones del clima de maana (llueve o no llueve) dependa de las
condiciones climticas de los tres das anteriores, defina los estados necesarios para convertir
el proceso en una cadena de Markov.
Ejercicio 8
Una partcula se mueve sobre un crculo de puntos marcados 0, 1, 2, 3 y 4, colocados en el
sentido de las manecillas del reloj. La partcula comienza en el punto 0, en cada paso tiene una
probabilidad q de moverse un punto a la vez en el sentido de las manecillas del reloj (0 sigue
al 4) y (1 - q) de moverse un punto en el sentido opuesto. Sea Xn (n>=0) la localizacin en el
crculo en el instante n { Xn } es una cadena de Markov.
1. Encuentre la matriz de probabilidades de transicin.
2. Encuentre las probabilidades de estado estable si existe.
Ejercicio 9
Un fabricante tiene una mquina que cuando se descompone requiere de un da de
reparacin. La probabilidad de que la mquina se descomponga es p. Defina el estado del
sistema como 0 cuando al final del da la mquina se encuentra en operacin; 1 cuando la
mquina se descompuso durante el da y 2 cuando la mquina habindose descompuesto el
da anterior pas el da en reparacin. Defina los estados para esta cadena de Markov y dibuje
el grafo de transicin de estados.
Ejercicio 10
En un juego de azar, se tienen dos cajas (A y B) y dos pelotas. Inicialmente se coloca una bola
en cada caja. El juego consiste en (repetidamente) tomar una bola elegida al azar y cambiarla

Universidad Central de Venezuela

Facultad de Ciencias
Escuela de Computacin
Probabilidad y Estadstica
Prctica N 7

de caja. Sea la cadena de Markov formada por las v.z. Xi = Cantidad de bolas en la caja A en el
instante i, con i=0,1,2,
1. Contruya la matriz de probabilidad de transicin y dibuje el diagrama de transicin de
estados.
2. Clasifique los estados de dicha cadena, determine su perodo y diga si es ergdica.
3. Calcule: Prob{Hay 2 bolas en la caja A despus de 3 sorteos}
4. Calcule: Prob{No hay ninguna bola en la caja B despus de 2 sorteos}
Ejercicio 11
A una fbrica de productos de limpieza del alma le interesa optimizar su estrategia de ventas,
para ello es necesario tomar en cuenta lo siguiente: Las ventas son altas o bajas y esto
depende de dos factores importantes: si hacen publicidad, o si la competencia cmercializa
nuevos productos. El gerente de ventas propone hacer publicidad cuando las ventas son
bajas y no hacerla si son altas. Cuando se hace publicidad en un trimestre, la probabilidad
de tener ventas altas al siguiente trimestre es dependiendo si se tienen actualmente
ventas altas o bajas respectivamente. Cuando no se hace publicidad en un trimetre, la
probabilidad de tener ventas bajas al siguiente trimestre es dependiendo si se tienen
actualmente ventas altas o bajas respectivamente.
1. Construya la matriz de transicin de estados para la estrategia publicitaria del gerente.
2. Determine las probabilidades de estado estable.
Ejercicio 12
Suponga que una tienda tiene un almacn con capacidad para 2 unidades. Se tiene como
poltica que cuando el almacn se vaca, al da siguiente se repone la mercanca llenando todo
el almacn. A la tienda llegan clientes al inicio del da con una demanda diaria independiente
que sigue una distribucin geomtrica con p(x) =
, con x = 0,1,2, (nmero de
unidades demandadas) dado
. Si los clientes solicitan ms unidades de las que hay
en el almacn, se le despacha lo que se tenga en el almacn.
Sean las v.a. Xi = Cantidad de unidades en el almacn al iniciar el i-simo da una cadena de
Markov.
1. Escriba la matriz de probabilidades de transicin P y dibuje el diagrama de transicin
de estados que representa a la cadena mencionada.
2. Por cada estado indique si es recurrente, absorvente o ttansitorio y especifique su
perodo
3. Exprese la Prob {Vaciar el almacn lleno en un da}
4. Si el valor de cada unidad en el almacn es 1 KBs y hoy se tiene el almacn lleno,
calcule el valor esperado del almacn (en KBs) maana.
GDPyE Junio 2012
4