Cadenas de Markov

Cuando,

conociendo el pasado y el
presente, el comportamiento
probabilstico del futuro inmediato
slo depende del estado presente

PAULO OLIVARES

Concepto de
cadena de Markov
En honor al matemtico ruso Andrei Andreyevich
Markov,

PAULO OLIVARES

Cadenas de Markov
Las cadenas de Markov y los procesos de Markov
son un tipo especial de procesos estocsticos que
poseen la siguiente propiedad:

Propiedad de Markov: Conocido el estado del

proceso
en
un
momento
dado,
su
comportamiento futuro no depende del pasado.
Dicho de otro modo, dado el presente, el futuro
es independiente del pasado
PAULO OLIVARES

Propiedad Markoviana
Sea {Xn: n 0} un proceso estocstico discreto
(es decir, cada Xn es una variable aleatoria
discreta). Diremos que tiene la propiedad de
markoviana si se cumple:
P{Xn+1= j / X0= i0 , X1= i1 . . . Xn= in } =

P{Xn+1= j / Xn= in } = pi,j(n)

PAULO OLIVARES

Probabilidades de Transicin

pi,j(n) = la probabilidad de que el proceso,

estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando pi,j(n) = pi,j (esto es, no depende de n) se
dice que las probabilidades de transicin son
estacionarias. Lo supondremos de ahora en
adelante.
PAULO OLIVARES

Matriz de Transicin

Las probabilidades de transicin definen la matriz P =

[pij] que satisface
1)
2)

pij 0 para todo i, j

para todo i

pij 1
j

PAULO OLIVARES

Matriz de Transicin: Ejemplo 1

Tiempo
n+1

Estado 0 Estado 1 Estado 2 Estado 3

Estado 0

0,20

0,65

0,15

0,60

0,40

Estado 2

0,15

0,15

0,30

0,40

Estado 3

Tiempo Etado 1
n

PAULO OLIVARES

Ejemplo 2: un modelo para el

desplazamiento poblacional
Para efectos de una investigacin, en un determinado
pas, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana. Se ha estimado que
durante un ao cualquiera, el 15% de todas las familias
urbanas se cambian a zona suburbana y el 5% a zona
rural. El 6% de las familias suburbanas pasan a zona
urbana y el 4% a zona rural. El 4% de las familias
rurales pasan a zona urbana y el 6% a zona suburbana.
PAULO OLIVARES

Cadenas de Markov: ejemplo 2

Tendremos la siguiente matriz de transicin

Urb.

Surb.

Rur.

0,80 0,15 0,05

P 0,06 0,90 0,04

0,04 0,06 0,90

PAULO OLIVARES

Cadenas de Markov
0,05
0,90

0,8

0,15
Urb

0,04
Surb.

0,04
PAULO OLIVARES

Rural

0,06

0,06

10

0,90

Distribucin de una Cadena de

Markov
Sea {Xn : n 0} una Cadena de Markov, con
distribucin inicial aj = P{X0= j} para j = 1,2, . . .
Entonces, para cualquier k0 y para cualesquiera
. , ik pertenecientes al conjunto de estados del
proceso se cumple:
P{X0=i0 , X1=i1,...,Xk=ik} = ai0 pi0i1 pi1i2 ... pik-1ik
donde
pij = P{Xm+1= j / Xm= i}
PAULO OLIVARES

11

i0 , .

Probabilidades de transicin en n
etapas
Pregunta: si en el tiempo t el proceso de
Markov se encuentra en el estado i, cul es la
probabilidad de que n pasos despus se
encuentre en el estado j ?
Resp:
P{Xn+t= j /Xt= i }= P{Xn= j /X0= i } (estacionaria)
= p(n)i,j (notacin)
= elemento (i,j) de la matriz Pn
PAULO OLIVARES

12

Ecuacin de
Chapman-Kolgomorov
Si el resultado anterior se combina con la identidad
matricial Pn+m = Pn Pm , obtenemos:

pij( n m ) pik( n ) p(kjm )

k

Una transicin desde i hasta j en n+m pasos puede

lograrse movindose desde i hasta un punto
intermedio k en n pasos (con prob p(n)i,k ) y despus,
dado que el proceso est en el estado k (la propiedad
de Markov permite que seamos indeferentes a la ruta
recorrida), moverse hasta el estado j en m pasos (con
prob p(m)k,j ). Luego, deben considerarse todas las
opciones posibles para el punto intermedio.
PAULO OLIVARES

13

Consecuencia de los resultados

anteriores
Pregunta: cul es la probabilidad de que el
sistema se encuentre en el estado j en el tiempo
n?
Resp.
Sea at = (a0, a1,...,am ) la distribucin inicial de la
Cadena de Markov (con m estados) , entonces:
P{Xn= j}= elemento j del vector at Pn
PAULO OLIVARES

14

Aplicacin de resultados anteriores

Consideremos el ejemplo 2, y supongamos que al inicio de la
investigacin, el 35% de la poblacin viva en reas urbanas,
el 45% en rea suburbana, y el resto en rea rural.
a)

Si inicialmente una familia vive en un rea rural, cul es la

probabilidad de que tres aos despus esta familia viva en
un rea urbana?

b)

Cual es la probabilidad de que tres aos despes de iniciada

la investigacin una familia viva en el rea urbana?

PAULO OLIVARES

15

Aplicacin de resultados anteriores

0,5399

3
P 0,1352
0,0967

0, 3353 0,1248

0,7593 0,1055
0,1622 0,7411

a (0, 35 0,45 0, 20 )
t

a)
b)

0,0967
0,2691

PAULO OLIVARES

16

Ejemplo 3

El departamento de estudios de mercado de

una fbrica estima que el 20% de la gente
que compra un producto un mes, no lo
comprar el mes siguiente. Adems, el 30%
de quienes no lo compren un mes lo
adquirir al mes siguiente. En una poblacin
de 1000 individuos, 100 compraron el
producto el primer mes. Cuntos lo
comprarn al mes prximo? Y dentro de
PAULO
OLIVARES
17
dos
meses ?.

Para resolver este

tipo de problemas,
lo primero es hacer
un esquema.
A la vista del
esquema podemos
pasar a construir la
matriz
de
probabilidades de
transicin:

PAULO OLIVARES

18

0.80

0.20

0.30

0.70

Calculo
0.8 0.2

P (1)
0
.
3
0
.
7

Matriz inicial

0.8 0.2
(350,650)
(C , N) 100 900
0
.
3
0
.
7

El primer mes comprarn 350

y no comprarn 650

0.8 0.2 0.8 0.2 0.7 0.3

P ( 2)
0
.
3
0
.
7
0
.
3
0
.
7
0
.
45
0
.
55

0.7 0.3
(475,525)
(C , N) 100 900
0
.
45
0
.
55

PAULO OLIVARES

El segundo mes comprarn

475 y no comprarn 525
19

1) En un pueblo, al 90% de los das soleados le siguen das soleados, y al

80% de los das nublados le siguen das nublados. Con esta informacin
modelar el clima del pueblo como una cadena de Markov.
2) El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro
piso. El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena
de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a
cada uno de los
otros dos pisos, mientras que si un viaje comienza en el primer piso, slo el
25% de las veces finaliza en el segundo. Por ltimo, si un trayecto comienza
en el segundo piso, siempre finaliza en el bajo. Se pide:
a) Calcular la matriz de probabilidades de transicin de la cadena
b) Dibujar el grafo asociado
c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre
en cada uno de los tres pisos.
PAULO OLIVARES

20

3) El clima se tiene en la sgte matriz de transicin.

Si un mircoles est nublado, cul es la probabilidad de que
el viernes siguiente haga sol?

Suponemos que la probabilidad de que el mircoles haga sol es 0.2 y la

probabilidad de que est nublado es 0.8.
Calcular:
1. Probabilidad de que est nublado el jueves.
2. Probabilidad de que est nublado el viernes.
3. Probabilidad de que est nublado el sbado.

PAULO OLIVARES

21

4) Suponemos que en locutorio telefnico los nmeros de lneas

que estn siendo utilizadas en los instantes de tiempo 1, 2, . . .
Constituyen una cadena de Markov con probabilidades de transicin
estacionarias. Sea bi el estado en el que se estn utilizando
exactamente i lneas en un instante de tiempo determinado (i = 0, 1, . .
. , 5)
Vector de probabilidades
iniciales: v =(0.5, 0.3, 0.2, 0, 0, 0)

Si las cinco lneas estn ocupadas en un instante de tiempo concreto. P [

Exactamente 4 lneas ocupadas en el siguiente instante de tiempo]
Si en un instante de tiempo no hay ninguna lnea ocupada. P [ Al menos
una lnea ocupada en el siguiente instante de tiempo]
Si dos lneas estn ocupadas en un instante de tiempo concreto. P [ Cuatro
lneas ocupadas dos instantes despus]

PAULO OLIVARES

22

P [No haya lneas ocupadas en el instante 2]

P [Haya 2 lneas ocupadas en el instante 3]

PAULO OLIVARES

23