Universidad de Chile

Facultad de Ciencias Fsicas y Matemticas

Departamento de Ingeniera Matemtica
MA3401-1: Probabilidades
Profesor Joaqun Fontbona T.
Auxiliar Hctor Olivero Q.
Semestre Primavera, 2009
PROCESOS DE MARKOV A TIEMPO Y ESTADOS DISCRETOS
Resumen. Las cadenas de Markov fueron introducidas en 1907 por el matemtico ruso An-
drei Andreevitch Markov (1856 1922), mientras buscaba condiciones ms dbiles para la
demostracin del Teorema Central del Lmite. A pesar de su origen instrumental la teora
de cadenas de Markov se ha vuelto un tema de estudio en si misma por su amplio espectro
de aplicacin.
En este captulo del curso introduciremos las cadenas de Markov y estudiaremos sus propie-
dades ms bsicas.
ndice
1. Introduccin 2
2. Algunos Resultados sobre Cadenas de Markov Homogeneas 5
3. Estructura de Clases 6
4. Tiempos de Llegada y Probabilidad de Absorcin 7
5. Propiedad de Markov Fuerte 11
6. Introduccin al Comportamiento en Tiempo Largo de Cadenas de Markov 12
7. Referencias 16
1
1. Introduccin
En lo sucesivo consideraremos un conjunto numerable E y un espacio de probabilidad (, F, P).
Supongamos que adems tenemos una sucecin de variables aleatorias denidas desde (, F, P)
a E, es decir:
X
n
: (, F, P) E, n N
Diremos que (X
n
)
nN
es un proceso estocstico a tiempo discreto a valores en E.
Denicin 1. [Cadena de Markov]
Un proceso (X
n
)
nN
como el anterior, se dice Cadena de Markov si para todo n N y para
todo (i
0
, . . . , i
n
) E
n
tal que P(X
0
= i
0
, . . . , X
n
= i
n
) > 0, se tiene que:
(1) P(X
n+1
= i
n+1
/X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
) = P(X
n+1
= i
n+1
/X
n
= i
n
)
Si adems se tiene que i, j E, n N:
(2) P(X
n+1
= i/X
n
= j) = P(X
1
= i/X
0
= j)
Se dice que el proceso es una Cadena de Markov Homogenea. En este caso (X
n
)
nN
se puede
caracterizar por el par ((
n
)
nE
, P = (p
ij
)
i,jE
) donde:

i
= P(X
0
= i)
p
ij
= P(X
1
= i/X
0
= j)
Diremos que es la distribucin inicial de la cadena y que P es su matriz de transicin.
Ejemplo 1. Supongamos que (X
n
)
nN
es una sucesin de variables aleatorias independientes.
Entonces (X
n
)
nN
es cadena de Markov.

Antes de ver ms ejemplos veamos un teorema que caracteriza a las cadenas de Markov
homogeneas.
Teorema 1.
Sea un vector de probabilidad sobre E y sea P una matriz estocstica. Entonces (X
n
)
nN
es una cadena de Markov homogenea con distribucin inicial y matriz de transicin P si y
slo si:
(3) n N, i
0
, . . . , i
n
E : P(X
0
= i
0
, . . . , X
n
= i
n
) =
i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
n1
in
Demostracin.
P(X
0
= i
0
, . . . , X
n
= i
n
) = P(X
n
= i
n
/X
0
= i
0
, . . . , X
n1
= i
n1
)P(X
0
= i
0
, . . . , X
n1
= i
n1
)
= P(X
n+1
= i
n+1
/X
n
= i
n
)P(X
0
= i
0
, . . . , X
n1
= i
n1
)
= p
ini
n1
P(X
0
= i
0
, . . . , X
n1
= i
n1
)
Iterando este razonamiento encontramos que:
P(X
0
= i
0
, . . . , X
n
= i
n
) = p
ini
n1
p
i
n1
i
n2
. . . p
i
1
i
2
P(X
1
= i
1
/X
0
= i
0
)P(X
0
= i
0
)
= p
ini
n1
p
i
n1
i
n2
. . . p
i
1
i
2
p
i
0
i
1

i
0
2
Demostremos ahora la otra implicancia:
P(X
n+1
= i
n+1
/X
n
= i
n
) =
P(X
n+1
= i
n+1
, X
n
= i
n
)
P(X
n
= i
n
)
=

k
0
,...,k
n1
E
P(X
n+1
= i
n+1
, X
n
= i
n
, X
n1
= k
n1
, . . . , X
0
= k
0
)

k
0
,...,k
n1
E
P(X
n
= i
n
, X
n1
= k
n1
, . . . , X
0
= k
0
)
=

k
0
,...,k
n1
E

k
0
p
k
0
k
1
p
k
1
k
2
. . . p
k
n1
in
p
ini
n+1

k
0
,...,k
n1
E

k
0
p
k
0
k
1
p
k
1
k
2
. . . p
k
n1
in
= p
ini
n+1

k
0
,...,k
n1
E

k
0
p
k
0
k
1
p
k
1
k
2
. . . p
k
n1
in

k
0
,...,k
n1
E

k
0
p
k
0
k
1
p
k
1
k
2
. . . p
k
n1
in
= p
ini
n+1
Por otro lado:
P(X
n+1
= i
n+1
/X
0
= i
0
, . . . , X
n
= i
n
) =
P(X
0
= i
0
, . . . , X
n
= i
n
, X
n+1
= i
n+1
)
P(X
0
= i
0
, . . . , X
n
= i
n
)
=

i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
n1
in
p
ini
n+1

i
0
p
i
0
i
1
p
i
1
i
2
. . . p
i
n1
in
= p
ini
n+1
As tenemos que:
P(X
n+1
= i
n+1
/X
0
= i
0
, . . . , X
n
= i
n
) = P(X
n+1
= i
n+1
/X
n
= i
n
)

Ejemplo 2. Supongamos que E = Z y consideremos (Y

n
)
nN
sucesin de variables aleatorias
independientes e identicamente distribuidas. Entonces (X
n
)
nN
denido como:
X
n
=
_
0 n = 0
Y
1
+ . . . +Y
n
n 1
es proceso de markov. En efecto, denamos (k) = P(Y
1
= k) y p
ij
= (j i). Adems
notemos que X
0
= 0 es determinista, luego:
P(X
0
= 0, X
1
= k
1
, . . . , X
n
= k
n
) = P(Y
1
= k
1
, Y
2
= k
2
k
1
, . . . , Y
n
= k
n
k
n1
)
= (k
1
0)(k
2
k
1
) . . . (k
n
k
n1
)
= p
0k
1
p
k
1
k
2
. . . p
k
n1
kn
Y como una trayectoria que no parte de 0 tiene probabilidad 0 tenemos que:
P(X
0
= 0, X
1
= k
1
, . . . , X
n
= k
n
) =
0
(k
0
)p
k
0
k
1
p
k
1
k
2
. . . p
k
n1
kn
Luego por el teorema 1 (X
n
)
nN
es cadena de Markov homogenea con matriz de transicin
P = (p
ij
)
i,jZ
y distribucin inicial
0
().

3
1.1. Representacin Grca de las Cadenas de Markov Homogeneas. Una cadena
de Markov homogenea se puede representar naturalmente como un grafo dirigido, donde los
nodos del grafo representan los estados del conjunto E y los arcos representan las posibles
transiciones de la cadena, es decir existe un arco desde el nodo i al nodo j si p
ij
> 0. Veamos
un ejemplo. Consideremos E = {1, 2, 3} y la matriz estocstica:
P =
_
_
0 1/2 1/2
0 1 0
1/3 1/3 1/3
_
_
En este caso el grafo dirigido que representa la cadena es el siguiente:
Figura 1.
Teorema 2. [Propiedad de Markov Simple:]
Un proceso (X
n
)
nN
es cadena de Markov si y slo si n N condicional en {X
n
= i} el
proceso (X
n+m
)
mN
es independiente de {X
0
, . . . , X
n1
}.
Adems si (X
n
)
nN
es cadena de Markov homogenea con matriz de transicin P entonces
condicional a {X
n
= i}, (X
n+m
)
mN
es cadena de Markov homogenea con distribucin inicial

i
y matriz de transicin P.
Demostracin. Probamos la doble implicancia:
Queremos probar que la independencia entre el pasado y el futuro condicional al presente
implica que se satisfaga la denicin de cadena de Markov:
P(X
n+1
= i
n+1
/X
0
= i
0
, . . . , X
n
= i
n
) =
P(X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
, X
n+1
= i
n+1
)
P(X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
)
=
P(X
0
= i
0
, . . . , X
n
= i
n
, X
n+1
= i
n+1
/X
n
= i
n
)P(X
n
= i
n
)
P(X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
)
=
P(X
0
= i
0
, . . . , X
n1
= i
n1
/X
n
= i
n
)P(X
n
= i
n
)
P(X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
)

P(X
n+1
= i
n+1
/X
n
= i
n
)
= P(X
n+1
= i
n+1
/X
n
= i
n
)
4
Lo que queremos probar ahora es que para todo evento B que dependa slo de X
0
, . . . , X
n1
se tiene que:
P(B, X
n+1
= i
n+1
, . . . , X
n+m
= i
n+m
/X
n
= i) = P(B/X
n
= i)
P(X
n+1
= i
n+1
, . . . , X
n+m
= i
n+m
/X
n
= i)
Se puede probar de que basta probar la igualdad anterior para evento B elementales, del tipo
B = X
0
= i
0
, . . . , X
n1
= i
n1
, luego nos restringiremos a este tipo de eventos. Luego, si
llamamos B
m
= {X
n+1
= i
n+1
, . . . , X
n+m
= i
n+m
}:
P(B, B
m
/X
n
= i) =
P(B, X
n
= i, B
m
)
P(X
n
= i)
=
P(B
m
/X
n
= i, B)P(X
n
= i, B)
P(X
n
= i)
= P(B
m
/X
n
= i)P(B/X
n
= i)
Donde la ltima igualdad se obtiene por la prdida de memoria de las cadenas de Markov y
la denicin de probabilidad condicional.
Por ltimo notemos que si la cadena es homogenea con matriz de transicin P, entonces:
P(B
m
/X
n
= i) = p
i,i
n+1
p
i
n+1
,i
n+2
. . . p
i
n+m1
,i
n+m
Lo que corresponde a una cadena de Markov homogenea que parte fresca en i con matriz
de transicin P.

2. Algunos Resultados sobre Cadenas de Markov Homogeneas

Denicin 2. [Probabilidad de Transicin en n pasos]
Dada una cadena de Markov homogenea (X
n
)
nN
la probabilidad de transicin de i a j en n
pasos la denotaremos por (P
(n)
)
ij
y corresponde a:
(P
(n)
)
ij
= P(X
n
= j/X
0
= i)
Notemos que por ser la cadena homogenea se tiene que:
(P
(n)
)
ij
= P(X
n+m
= j/X
m
= i)
Proposicin 1.
Sea (X
n
)
nN
una cadena de Markov homogenea (, P) entonces se tiene que:
i. P
(n)
= P
n
. En particular P
(n+m)
= P
(n)
P
(m)
. Luego se satisface la ecuacin de
Chapman-Kolmogorov:
(4) p
(n+m)
ij
=

kE
p
(n)
ik
p
(m)
kj
ii. P(X
n
= i) = (
t
P
n
)
i
5
iii. Si f : E R es acotada, entonces:
E
i
(f(X
n
)) = (P
(n)
f)
i
donde E
i
() es la esperanza bajo la ley P
i
() = P(/X
0
= i).
iv. E(f(X
n
)) =
t
P
(n)
f
Demostracin. i. Primero calculemos: P(X
n
= j/X
0
= i).
P
i
(X
n
= j/X
0
= i) =

k
1
,...,k
n1
E
P(X
0
= i, X
1
= k
1
, . . . , X
n1
= k
n1
, X
n
= j)
P(X
0
= i)
=

k
1
,...,k
n1
E

i
p
i,k
1
p
k
1
,k
2
. . . p
k
n1
,j

i
=

k
1
,...,k
n1
E
p
i,k
1
p
k
1
,k
2
. . . p
k
n1
,j
= P
n
ij
Ejemplo 3. [Mutacin de Virus:]
Supongamos que un virus puede existir en N cepas diferentes y en cada generacin se man-
tiene como la misma cepa o muta con probabilidad a una cepa diferente que se escoge al
azar. Cul es la probabilidad de que la cepa a la cual pertenece el virus en el tiempo n sea
la misma que en el tiempo 0?
COMPLETAR
3. Estructura de Clases
A veces es posible dividir una cadena de Markov en partes ms pequeas, en teora ms
simples que la cadena completa. Esto se hace identicando las clases de estados comunicados
presentes en la cadena. Diremos que i lleva a j lo que escribimos como i j si
P
i
(n N : X
n
= j) > 0
Diremos que i se comunica con j si i j j i.
Teorema 3.
Consideremos dos estados distintos i, j E. Entonces son equivalentes:
i. i j.
ii. n N, i
1
, . . . , i
n1
E : p
ii
1
p
i
1
i
2
. . . p
i
n1
j
> 0.
iii. p
(n)
ij
> 0 para algn n 0.
Demostracin. Basta con notar lo siguiente:
p
(n)
ij
P
i
(n N : X
n
= j)

n0
p
(n)
ij
6
De donde es clara la equivalencia entre (i) y (ii). Para probar que (ii) y (iii) son equivalentes
basta notar que:
p
(n)
ij
=

i
1
,i
2
,...,i
n1
p
ii
1
p
i
1
i
2
. . . p
i
n1
j

Recordemos que i E : p
(0)
ii
= 1 i i. Adems de (ii) es claro que i j
j k i k. Luego es una relacin de equivalencia en E y entonces particiona E en
clases.
Diremos que una clase C es cerrada si:
i C, i j j C
Es decir una clase cerrada es una clase desde la que no hay escape. Un estado i es absorbente
si {i} es una clase cerrada. Una cadena en que E es la nica clase se dice irreducible.
Ejemplo 4. Encuentre las clases de estados comunicados de la cadena de Markov homogenea
asociada a la siguiente matriz de transicin:
P =
_
_
_
_
_
_
_
_
1
2
1
2
0 0 0 0
0 0 1 0 0 0
1
3
0 0
1
3
1
3
0
0 0 0
1
2
1
2
0
0 0 0 0 0 1
0 0 0 0 1 0
_
_
_
_
_
_
_
_
Es fcil encontrar las clases comunicadas observando el diagrama de estados de la cadena:
Figura 2.
4. Tiempos de Llegada y Probabilidad de Absorcin
Sea (X
n
)
nN
una cadena de Markov homogenea con matriz de transicin P. El tiempo de
llegada al conjunto A E corresponde a la variable aleatoria:
H
A
() : N {+}
H
A
() = nf{n 0 : X
n
() A}
7
Con la convencin de que nf = +. La probabilidad partiendo de i E de que (X
n
)
nN
llegue alguna vez a A es entonces:
h
A
i
= P
i
(H
A
< +)
Cuando A es una clase cerrada, h
A
i
es llamada probabilidad de absorcin. El tiempo medio
que le toma a (X
n
)
nN
llegar a A est dado por:
k
A
i
= E
i
(H
A
) =

n<
nP
i
(H
A
= n) +P
i
(H
A
= )
Con la convencin de que 0 = 0.
Lo notable de los vectores (h
A
i
)
iE
y (k
A
i
)
iE
es que pueden ser calculados como la solucin
a ciertos problemas lineales. Antes de ver el resultado general, veamos un ejemplo.
Ejemplo 5. Consideremos la cadena de Markov homogenea dada por el siguiente diagrama
de estados:
Partiendo de 2. Cul es la probabilidad de absorcin en 4?Cunto tiempo es necesario en
Figura 3.
promedio para que la cadena sea absorvida por {1, 4}?. Sean:
h
i
= P
i
(llegar a 4), k
i
= E
i
(tiempo para llegar a {1, 4})
Claramente: h
1
= 0, h
4
= 1. Supongamos ahora que la cadena parte de 2, entonces:
h
2
= P
2
(llegar a 4)
= P
2
(llegar a 4/X
1
= 1)P
2
(X
1
= 1) +P
2
(llegar a 4/X
1
= 3)P
2
(X
1
= 3)
=
1
2
P
2
(llegar a 4/X
1
= 1) +
1
2
P
2
(llegar a 4/X
1
= 3)
Pero por la propiedad de Markov simple:
P
2
(llegar a 4/X
1
= 1) = h
1
P
2
(llegar a 4/X
1
= 1) = h
3
Luego:
h
2
=
1
2
h
1
+
1
2
h
3
Anlogamente, encontramos que:
h
3
=
1
2
h
2
+
1
2
h
4
8
En resumen:
h
1
= 0
h
2
=
1
2
h
1
+
1
2
h
3
h
3
=
1
2
h
2
+
1
2
h
4
h
4
= 1
Luego la probabilidad de llegar a 4 partiendo de 2 es 1/3.Estudiemos ahora el tiempo de
absorcin del conjunto {1, 4}. Notemos que k
1
= k
4
= 0. Supongamos que empezamos en 2.
Entonces:
k
2
= E
2
(tiempo para llegar a {1, 4})
= 1 +E
2
(tiempo para llegar a {1, 4}/X
1
= 1)P
2
(X
1
= 1)
+E
2
(tiempo para llegar a {1, 4}/X
1
= 3)P
2
(X
1
= 3)
= 1 +
1
2
E
2
(tiempo para llegar a {1, 4}/X
1
= 1)
+
1
2
E
2
(tiempo para llegar a {1, 4}/X
1
= 3)
Pero por la propiedad de Markov tenemos E
2
(tiempo para llegar a {1, 4}/X
1
= 1) = k
1
y
E
2
(tiempo para llegar a {1, 4}/X
1
= 3) = k
3
. Luego tenemos que:
k
2
= 1 +
1
2
(k
1
+k
3
)
Anlogamente:
k
3
= 1 +
1
2
(k
2
+k
4
)
Con lo que podemos encontrar que k
2
= 2.
Ahora pasemos al resultado general:
Teorema 4.
El vector de probabilidades de llegada a A : h
A
= (h
A
i
)
iE
es la solucin no negativa minimal
del sistema:
(P
A
)
_
h
A
i
= 1 i A
h
A
i
=

jE
p
ij
h
A
j
i / A
Donde la minimalidad se entiende como sigue: si (x
i
)
iE
es otra solucion no negativa de (P
A
)
entonces x
i
h
A
i
i E.
Demostracin. Primero probaremos que h
A
satisface (P
A
). Si X
0
= i A entonces H
A
= 0,
luego h
A
i
= 1. Si X
0
= i / A, entonces por la propiedad de Markov:
P
i
(H
A
< /X
1
= j) = P
j
(H
A
< ) = h
A
j
9
Luego como:
h
A
i
= P
i
(H
A
< ) =

jE
P
i
(H
A
< /X
1
= j)P
i
(X
1
= j) =

jE
h
A
j
p
ij
Veamos ahora que h
A
es la solucin minimal de (P
A
). Para esto supongamos que (x
i
)
iE
es
otra solucion no negativa de (P
A
) entonces:
Para i A, h
A
i
= 1 = x
i
.
Ahora supongamos que i / A, entonces:
x
i
=

jE
p
ij
x
j
=

jA
p
ij
+

j / A
p
ij
x
j
Sustituyendo x
j
obtenemos:
x
i
=

jA
p
ij
+

j / A
p
ij
_

kA
p
jk
+

k/ A
p
jk
x
k
_
=

jA
p
ij
+

j / A
p
ij

kA
p
jk
+

j / A
p
ij

k/ A
p
jk
x
k
=

jA
p
ij
+

j / A

kA
p
ij
p
jk
+

j / A

k/ A
p
ij
p
jk
x
k
= P
i
(X
1
A) +P
i
(X
1
/ A, X
2
A) +

j / A

k/ A
p
ij
p
jk
x
k
= P
i
(H
A
= 1) +P
i
(H
A
= 2) +

j / A

k/ A
p
ij
p
jk
x
k
= P
i
(H
A
2) +

j / A

k/ A
p
ij
p
jk
x
k
Si seguimos sustituyendo el x
k
de la derecha n 2 veces ms obtendramos:
x
i
= P
i
(H
A
n) +

j
1
/ A
. . .

jn / A
p
ij
1
. . . p
j
n1
jn
x
jn
Como (x
i
)
iE
es no negativo, el segundo trmino de la derecha tambin es no negativo,
luego tenemos que:
n N : x
i
P
i
(H
A
n)
Entonces:
x
i
lm
n
P
i
(H
A
n) = P
i
(H
A
< ) = h
A
i

Ejemplo 6. [La ruina del jugador]

Considere la cadena de Markov dada por el siguiente diagrama de estados:
donde p = 1 q < 1. Las probabilidades de transicin para i = 1, 2, . . . son:
10
Figura 4.
p
00
= 1
p
i,i1
= q
p
i,i+1
= p
Consideremos A = {0} y notemos h = h
A
. Del teorema sabemos que h es la solucin minimal
no negativa de:
h
0
= 1
h
i
= ph
i+1
+qh
i1
i = 1, 2, . . .
Esta ecuacin por recurrencia la podemos resolver utilizandoe en lado izquierdo que p+q = 1:
h
i
= ph
i+1
+qh
i1
(p +q)h
i
= ph
i+1
+qh
i1
p(h
i+1
h
i
) = q(h
i
h
i1
)
Sea: a
i
= h
i
h
i1
a
i+1
=
q
p
a
i
i = 1, 2, . . .
Teorema 5.
El vector de tiempos esperados de llegada a A : k
A
= (k
A
i
)
iE
es la solucin no negativa
minimal del sistema:
(P

A
)
_
k
A
i
= 0 i A
k
A
i
= 1 +

j / A
p
ij
k
A
j
i / A
5. Propiedad de Markov Fuerte
5.1. Tiempos de Parada.
Denicin 3. [Tiempo de Parada]
Una variable aleatoria T : {0, 1, 2, . . .} {} es un tiempo de parada del proceso
(X
n
)
nN
si el evento {T = n} depende slo de las variables X
1
, X
2
, . . . , X
n
para n = 0, 1, . . .
Intuitivamente, observando el proceso es posible determinar si T ha ocurrido.
Ejemplo 7. Son tiempos de parada:
i. El primer tiempo de pasada por un estado:
T
j
=nf{n 1 : X
n
= j}
Pues: {T
j
= n} = {X
1
= j, . . . , X
n1
= j, X
n
= j}
ii. H
A
tiempo de la primera llegada a A E, denido en la seccin anterior, pues:
{H
A
= n} = {X
0
/ A, X
1
/ A, . . . , X
n1
/ A, X
n
A}
11
5.2. Propiedad de Markov Fuerte.
Teorema 6. [Propiedad de Markov Fuerte]
Sea (X
n
)
nN
una cadena de Markov homogenea (, P) y sea T un tiempo de parada de
(X
n
)
nN
. Entonces, condicional en {T < } y {X
T
= i}, (X
T+n
)
n0
es una cadena de
Markov homogenea (
i
, P) independiente de X
0
, X
1
, . . . , X
T
.
Demostracin.
6. Introduccin al Comportamiento en Tiempo Largo de Cadenas de
Markov
6.1. Recurrencia y Transiencia.
Denicin 4. [Transiencia y Recurrencia]
Sea (X
n
)
nN
una cadena de Markov homogenea con matriz de transicin P decimos que un
estado i E es:
1. Transiente si:
P(X
n
= i, para innitos n) = 0
2. Recurrente si
P(X
n
= i, para innitos n) = 1
Luego un estado es recurrente si la cadena vuelve a l innitas veces con probabilidad 1,
mientras que un estado es transiente si la cadena eventualmente deja ese estado para siempre.
Nuestro primer objetivo es probar el siguiente teorema:
Teorema 7.
Se tiene la siguiente dicotoma:
i. Si P
i
(T
i
< ) = 1 entonces i es recurrente y

i=0
p
(n)
ii
= .
ii. Si P
i
(T
i
< ) < 1 entonces i es transiente y

i=0
p
(n)
ii
< .
Donde T
i
=nf{n 1 : X
n
= i}, es el primer tiempo de retorno a i.
En particular todo estado es transiente o recurrente.
Para demostrar este teorema necesitamos algunas deniciones previas y un par de lemas.
Denicin 5. [Tiempos de retorno y largos de excursin]
Se dene el r-simo tiempo de retorno por i, T
(r)
i
inductivamente de la siguiente forma:
T
(r)
i
=
_
_
_
0 r = 0
T
i
r = 1
nf{n T
(r1)
i
+ 1 : X
n
= i} r 2
12
Se dene el largo de la r-sima excursin a i, S
(r)
i
como:
S
(r)
i
=
_
T
(r)
i
T
(r1)
i
T
(r1)
i
<
0 T
(r1)
i
=
Lema 1.
Para r = 2, 3, . . ., condicional en el evento T
(r1)
i
< , S
(r)
i
es independiente de {X
m
: m T
(r1)
i
}
y
P(S
(r)
i
= n/T
(r1)
i
< ) = P
i
(T
i
= n)
Demostracin. Consideremos el tiempo de parada T = T
(r1)
i
. Luego por la denicin de
T, en el evento T < tenemos que X
T
= i, adems por la propiedad de Markov fuerte:
(X
T+n
)
nN
es cadena de Markov homogenea (
i
, P).
(X
T+n
)
nN
es independiente de X
0
, . . . , X
T
Si ahora consideramos el proceso (Y
n
)
nN
denido como Y
n
= X
T+n
, condicional a T <
tenemos que:
S
(r)
i
= T
(r)
i
T
(r1)
i
= nf{n T
(r1)
i
+ 1 : X
n
= i} T
(r1)
i
= nf{n 1 : X
T+n
= i}
= nf{n 1 : Y
n
= i}
Luego S
(r)
i
es el primer tiempo de retorno a i de la cadena (Y
n
)
nN
. Pero, condicional a
T < , (Y
n
)
nN
tiene la misma ley que (X
n
)
nN
condicional a X
0
= i. Luego:
P(S
(r)
i
= n/T
(r1)
i
< ) = P
i
(T
i
= n)

Introduzcamos ahora la variable V

i
que representa el nmero de visitas a i que realiza el
proceso y notemos que:
V
i
=

n0
1
{Xn=i}
Y adems:
E
i
(V
i
) = E
i
_

n0
1
{Xn=i}
_
=

n0
E
i
(1
{Xn=i}
) =

n0
P(X
n
= i) =

n0
p
(n)
ii
Por ltimo notemos, que un estado es recurrente si P
i
(V
i
= ) = 1 y transiente si P
i
(V
i
= ) = 0.
Lema 2.
Para r = 0, 1, . . ., se tiene que P
i
(V
i
> r) = f
r
i
, donde f
i
= P
i
(T
i
< ).
13
Demostracin. Primero notemos que:
P
i
(V
i
> 0) P
i
(V
i
= 1) = 1 = f
0
i
Ahora procedamos por induccin. Para esto supongamos que k = 0, . . . , r : P
i
(V
i
> k) =
f
k
i
. Entonces:
P
i
(V
i
> r + 1) = P
i
(T
(r)
i
< , S
(r+1)
i
< )
= P
i
(S
(r+1)
i
< /T
(r)
i
< )P
i
(T
(r)
i
< )
= P
i
(T
i
< )P
i
(V
i
> r) por el lema anterior.
= P
i
(V
i
> 1)P
i
(V
i
> r)
= f
i
f
r
i
por H.I.

Demostracin. (del Teorema 7)

Antes de pasar a la demostracin del teorema, recordemos que si X es una variable aleatoria
con valores enteros no negativos se tiene que:

r0
P(X > r) =

r0

vr+1
P(X = v) =

v1
v1

r=0
P(X = v) =

v1
vP(X = v) = E(X)
Ahora pasemos al teorema:
i. Si P
i
(T
i
< ) = 1 entonces por el lema anterior tenemos que P
i
(V
i
> r) = 1, r 1.
Entonces:
lm
r
P
i
(V
i
> r) = 1
Pero como los eventos {V
i
> r} son decrecientes tenemos que:
lm
r
{V
i
> r} = {V
i
= }
Lo que sumado a lo anterior nos dice que: P
i
(V
i
= ) = 1. Por lo tanto, i es recurrente.
Adems:
E
i
(V
i
) = =

n0
p
(n)
ii
ii. Si P
i
(T
i
< ) < 1, entonces f
i
< 1, luego:

n0
p
(n)
ii
= E
i
(V
i
) =

r0
P
i
(V
i
> r) =

r0
f
r
i
=
1
1 f
i
<
De lo que concluimos que P
i
(V
i
= ) = 0. Es decir i es transiente.

En lo que sigue consideramos (X

n
)
nN
una cadena de Markov homogenea de matriz de tran-
sicin P.
14
Teorema 8.
Sea C una clase comunicada de (X
n
)
nN
entonces, todos los estados de C son transientes o
recurrentes.
Demostracin. Sean i, j C entonces existen n, m N tales que: p
(n)
ij
> 0 y p
(m)
ji
> 0.
Luego por Chapman-Kolmogorov, r 0 :
p
(n+r+m)
ii
p
(n)
ij
p
(r)
jj
p
(m)
ji
De donde tenemos:

r0
p
(r)
jj

1
p
(n)
ij
p
(m)
ji

r0
p
(n+r+m)
ii
Haciendo lo mismo con j en lugar de i podemos encontrar:
A
1
+B
1

r0
p
(r)
ii

r0
p
(r)
jj
A
2
+B
2

r0
p
(r)
ii
De donde es directo que la serie para i converge si y slo si la serie para j converge. Luego el
estado i es transiente (resp. recurrente) si y slo si el estado j es transiente (resp. recurrente).

Teorema 9.
Toda clase recurrente es cerrada.
Demostracin. COMPLETAR

Teorema 10.
Toda clase nita cerrada es recurrente.
Demostracin. COMPLETAR

Teorema 11.
Supongamos que P es irreductible y recurrente. Entonces para todo j E se tiene que
P(T
j
< ) = 1.
Demostracin. COMPLETAR

6.2. Recurrencia y Transiencia de Paseos Aleatorios.

6.2.1. Paseo Aleatorio en Z.
15
6.2.2. Paseo Aleatorio en Z
2
.
7. Referencias
Markov Chains - James R. Norris - Cambrige Series in Statistical and Probabilistic
Mathematics
16