Cadenas de Markov 10

2 CADENAS DE MARKOV HOMOGENEAS

DE PARAMETRO DISCRETO
En la primera parte del captulo se estudian las probabilidades condicionales de
transicion -denidas en (l.5) y (1.6) - e incondicionales de estado - denida en
(1.1) - en las cadenas de Markov homogeneas, y se desarrollan las ecuaciones que
rigen su comportamiento, las que luego se aplican al estudio del comportamiento
de dichas cadenas en los regmenes transitorio y permanente.

2.1 Estudio de las probabilidades en las cadenas de markov ho-

mogeneas
2.1.1) Probabilidad condicional de transicion
a) Denicion general
Tal como se ha expresado en (1.6), la probabilidad condicional de
transicion del estado i al estado j en un intervalo : () en una
cadena de Markov homogenea de parametro discreto es la probabilidad
condicional de que el sistema se encuentre en estado j en el instante
+ , habiendose encontrado en el estado i en el instante t, con t y
enteros. Matematicamente es:


= 0, 1, 2, . . .
= = 0, 1, 2, . . .
() = {(+) = /() = }; con: (2.1)

= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,

El intervalo = n = entero se denomina numero de pasos o transi-

ciones o avances de la cadena sobre el parametro t. El conjunto de
probabilidades de transicion () ,i,j denen la matriz de proba-
bilidades de transicion ():

/ 0 1 ......
0 00 () 01 () ...... 0 ()
1 10 () 11 () ...... 1 ()
() = .. .. .. .. (2.2)
. . . .
.. .. .. ..
. . . .
0 () 1 () ...... ()
 Cadenas de Markov 11

matriz en la que se cumplen las siguientes condiciones:

0 () 1 ; , (2.3)






() = 1 ; = 0, 1, . . . , (2.4)




=0




con = = 1, 2, 3, . . .
b) Probabilidad de transicion de 1 paso
Es un caso particular de la (2.1) y representa la probabilidad condi-
cional de transicion del estado i al estado j, en un intervalo = 1.
{
= 0, 1, 2, . . .
(1) = {( + 1) = /() = }; con: = 0, 1, 2, . . . , (2.5)
= 0, 1, 2, . . . ,

Analogamente el conjunto de probabilidades de transicion de 1 paso

,i,j denen la matriz de probabilidades de transicion de 1 paso P:

/ 0 1 ......
0 00 01 ...... 0
1 10 11 ...... 1
() = .. .. .. .. (2.6)
. . . .
.. .. .. ..
. . . .
0 1 ......

Ejemplo 2.a
Si en la cadena de Markov descripta en la experiencia b) del ejemplo
l.b se denominan:
estado 0 = no
estado 1 = si
el grafo y la matriz de transicion de 1 paso son respectivamente:
 Cadenas de Markov 12

0

7654
0123
0^

/ 0 1
1 1/3
= 0 0 1

1 1/3 2/3 0123
7654
1S
2/3

Ejemplo 2.b
Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de
ensayos independientes, se lo puede tratar dentro de la teora de las
cadenas de Markov, siendo sus estados, el grafo y la matriz de tran-
sicion de 1 paso las siguientes:
estado 0 = no
estado 1 = si
1/3

0123
7654
0^
2/3 1/3 1/3 2/3
 =
0123
7654
1S 1/3 2/3
2/3

c) Probabilidad de transicion de 2 pasos

En forma analoga se dene:
{
= 0, 1, 2, . . .
(2) = {( + 2) = /() = }; con: = 0, 1, 2, . . . , (2.7)
= 0, 1, 2, . . . ,

Esta probabilidad, en una cadena de Markov, se puede calcular en

funcion de las probabilidades de 1 paso, mediante la ecuacion de
Chapman-Kolmogorov, cuya expresion, para este caso es:

{
= 0, 1, . . . ,
(2) = . ; (2.8)
= 0, 1, . . . ,
=0

la cual establece que para todo par de estados i y j separados por un

avance = 2 pasos, la probabilidad de transicion se puede expresar
 Cadenas de Markov 13

en funcion de las probabilidades de transicion de 1 paso del estado i a

un conjunto exhaustivo de estados k (todos los estados posibles) y de
las probabilidades de transicion de 1 paso de cada uno de los estados
k al estado j.

Para su demostracion se denen los conjuntos A, y C cuyos ele-

mentos son ternas ordenadas de eventos: la primera componente es el
estado del sistema en t, la segunda en t+1 y la tercera en t+2


: conjunto de ternas cuya primera componente es el estado i en t


: cada conjunto de ternas cuya segunda componente es uno de los
estados k en t+1



: conjunto de ternas cuya tercera componente es el estado j en t+2

ademas se cumple que: ( ) = (/). ()



( ) (/ ). ( )
=0 =0
(2) = (/) = =
() ()

y por ser una cadena de Markov se cumple la (1.4), luego es:

(/ ) = (/ )

con lo cual queda demostrada la (2.8) pues:

 Cadenas de Markov 14

 
( ). ( /).
()

=0
(2) = (/) =  = .


()
=0

Como antes, el conjunto de probabilidades de transicion de 2 pasos:

(2), i,j denen la matriz de probabilidades de transicion de 2 pa-
sos:

00 (2) 01 (2) . . . . . . 0 (2)

10 (2) 11 (2) . . . . . . 1 (2)
.. .. ..
(2) = . . . (2.9)
.. .. ..
. . .
0 (2) 1 (2) . . . . . . (2)

y aplicando la ecuacion de Chapman (2.8) a cada uno de los elemen-

tos de la matriz (2.9) queda la expresion matricial de la ecuacion de
Chapman-Kolmogorov:

00 (2) . . . 0 (2) 00 01 . . . 0 00 . . . 0
.. ... . .. ...
. = .. . x 10 1
(2) = .. .. .. .. .. .. ..
. . . . . . .
0 (2) . . . (2) 0 1 . . . 0 . . .
P(2)=P.P= 2 (2.10)

Ejemplo 2.c
La matriz de transicion de 2 pasos de la cadena del Ejemplo n 2.a,
aplicando la ecuacion (2.10) es:
 Cadenas de Markov 15

0,33

0123
7654
0^
0 1 0 1 0, 33 0, 67 0,67 0,22
(2) = = = 
7654
0123
1S
0, 33 0, 67 0, 33 0, 67 0, 22 0, 78 0,78

La ecuacion de Chapman-Kolmogorov (2.10) es una condicion nece-

saria, pero no suciente para que una cadena sea Markoviana.
d) Expresion qeneral de la ecuacion de Chapman-Kolmogorov
En forma generica la probabilidad de transicion de n pasos es:


= 0, 1, 2, . . .
= 1, 2, . . .
() = {( + ) = /() = }; con: (2.11)

= 0, 1, 2, . . . ,
= 0, 1, 2, . . . ,

Repitiendo el proceso descripto en el punto anterior para deducir la

ecuacion (2.8) se llega a las expresiones algebraicas generales de la
ecuacion de Chapman-Kolmogorov:



. ( 1) : forma a)



{

=0
= 1, 2, . . .
() = ; con: = 0, 1, 2, . . . , (2.12)


= 0, 1, 2, . . . ,




( 1). : forma b)

=0

Como antes, el conjunto de probabilidades de transicion de n pasos

(), ij denen la matriz de probabilidades de transicion de n casos:
 Cadenas de Markov 16

00 () 01 () . . . . . . 0 ()
10 () 11 () . . . . . . 1 ()
() = .. (2.13)
.
0 () 1 () . . . . . . ()
y la expresion matricial general de la ecuacion de Chapman-Kolmogorov,
tomando por ejemplo la forma a), queda:

00 () . . . 0 () 00 01 . . . 0 00 ( 1) . . . 0 ( 1)
.. .. . .. ..
. . = .. . . x 10 ( 1) 1 ( 1)
() = .. .. .. .. .. .. ..
. . . . . . .
0 () . . . () 0 1 . . . 0 ( 1) . . . ( 1)

P(n)=P.P(n-1)

extendiendo la ecuacion anterior en forma recursiva se obtiene:

P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .

() = (2.14)

que es la expresion generica matricial de la ecuacion de Chapman-

Kolmogorov.

Ejemplo 2.d
Las matrices de transicion de 3, 4 y 5 pasos de la cadena del ejemplo
 Cadenas de Markov 17

2.a son, aplicando la ecuacion (2.14):

0 1 0, 33 0, 67 0, 222 0, 778
3 2
(2) = = . = x =
0, 33 0, 67 0, 22 0, 78 0, 259 0, 741

0 1 0, 222 0, 778 0, 259 0, 741

4 3
(4) = = . = x =
0, 33 0, 67 0, 259 0, 741 0, 247 0, 753

0 1 0, 259 0, 741 0, 247 0, 753

5 4
(5) = = . = x =
0, 33 0, 67 0, 247 0, 753 0, 251 0, 749

2.1.2) Probabilidad incondicional de estado

(a) Denicion general

Tal como se ha expresado en (1.1), la probabilidad incondicional de
estado p(t) en una cadena de Markov homogenea de parametro dis-
creto, es la probabilidad de que el sistema se encuentre en el estado i
en el instante t:
{
= 0, 1, 2, . . .
() = = () ; con: (2.15)
= 0, 1, 2, . . . ,

y el conjunto de probabilidades incondicionales de estado () i, de-

nen el vector de probabilidades de estado p(t):

() = 0 () 1 () 2 () . . . () (2.16)

vector en el cual se cumplen las siguientes condiciones:

 Cadenas de Markov 18

0
() 1 ; (2.17)


() = 1 ; con = 0, 1, 2, . . . (2.18)
=0

(b) Probabilidad de estado inicial

Es un caso particular de la (2.15) para t=0 :

(0) = = ( = 0) ; con = 0, 1, . . . , (2.19)

y el conjunto de probabilidades de estado iniciales (0) ,i denen

el vector de probabilidades de estado inicial:

(0) = 0 (0) 1 (0) 2 (0) . . . (0) (2.20)

(c) Probabilidad de estado luego de 1 paso

En forma analoga se dene:

(1) = = ( = 1) ; con = 0, 1, . . . , (2.21)

Esta probabilidad se puede expresar en funcion de las probabilidades

de estado iniciales aplicando el Teorema de la Probabilidad Total,
quedando expresada la llamada ecuacion de estado:


(1) = (0). ; con = 0, 1, . . . , (2.22)
=0

Como antes, el conjunto de probabilidades de es-

tado luego de 1 paso (1), j, denen el vector de
probabilidades de estado luego de 1 paso:

(1) = 0 (1) 1 (1) 2 (1) . . . (1) (2.23)

 Cadenas de Markov 19

y aplicando la ecuacion de estado (2.22) a cada uno de los elementos

del vector (2.23) queda la expresion matricial de la ecuacion de estado:

00 . . . 0
1
(1) = 0 (1) 1 (1) . . . (1) = 0 (0) 1 (0) . . . (0) x ..10 ..
. .
0 . . .

p(1)= p(0) . P (2.24)

(d) Expresion general de la Ecuacion de Estado

En forma generica la probabilidad de estado luego de n pasos es:
{
= 0, 1, 2, . . .
() = = ( = ) ; con: (2.25)
= 0, 1, 2, . . . ,

Con las mismas consideraciones hechas para deducir la ecuacion (2.22)

se llega a las expresiones algebraicas generales de la ecuacion de estado:



(0). () : forma a)





=0
{
() = ; con: = 1, 2, . . .
(2.26)


= 0, 1, 2, . . . ,




( 1). : forma b)


=0

Como antes, el conjunto de probabilidades de estado luego de n pasos

() denen el vector de probabilidades de estado:

() = 0 () 1 () 2 () . . . () (2.27)

y la expresion matricial general de la ecuacion de estado (2.26), tomando

por ejemplo la forma a), queda:
 Cadenas de Markov 20

00 () . . . 0 ()
() 1 ()
() = 0 (0) 1 (0) . . . (0) x 10.. ..
. .
0 () . . . ()

p(n)= p(0) . P(n) (2.29)

Las ecuaciones (2.28) y (2.29) constituyen las expresiones genericas

matriciales de la ecuacion de estado, las cuales se resumen en la si-
guiente expresion:

(0). ()
() = (2.30)

( 1).

Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de

cada uno de los estados de la cadena, luego de un numero n cualquiera
de pasos, conocidas la probabilidad de estado para un instante dado y
la matriz de probabilidades de transicion de 1 paso P.

Ejemplo 2.e
En la cadena del ejemplo 2.a, si se parte de un estado inicial con las
siguientes probabilidades:

0 (0) = 0, 5
(0) = 0, 5 0, 5

1 (0) = 0, 5
las probabilidades de 1, 2, 3 y 4 pasos seran respectivamente:

0 1
(1) = (0). = 0, 5 0, 5 x = 0, 167 0, 833
0, 333 0, 667

0, 333 0, 667
(2) = (0). 2 = 0, 5 0, 5 x = 0, 278 0, 722
0, 222 0, 778
 Cadenas de Markov 21

0, 222 0, 778
(3) = (0). 3 = 0, 5 0, 5 x = 0, 241 0, 759
0, 259 0, 741

0, 259 0, 741
(4) = (0). 4 = 0, 5 0, 5 x = 0, 253 0, 747
0, 247 0, 753

2.2 Clasicacion de las cadenas de Markov Homogeneas en ergodicas

y no ergodicas
A continuacion se efectua una clasicacion de las cadenas de Markov homogeneas
segun la posibilidad o no que tengan de ser reducibles o separables en cadenas
mas chicas para el estudio de su comportamiento en los llamados regmenes
transitorio y permanente. Esta clasicacion dara lugar a la denicion de las
cadenas ergodicas o irreductibles y las cadenas no ergodicas o separables. Pre-
viamente se requiere dar la denicion de estados accesibles y comunicantes y
luego clasicar los estados en clases.

2.2.1) Denicion de estados accesibles y comunicantes

Un estado j es accesible desde un estado i si se cumple que para algun paso
1 es () > 0, lo cual signica que es posible pasar desde el estado i
al estado j luego de un numero n de transecciones, y se escribe: .
La accesibilidad es una propiedad transitiva, es decir:

si y

Ejemplo 2.f
En la cadena de la gura el estado 6 es accesible desde el 5 en un paso y
desde el 4 en dos pasos, a traves del 5. El estado 1 no es accesible desde el 2.
 Cadenas de Markov 22

Accesibilidad en una transicion

/ 0 1 2 3 4 5 6 7
 
0123
7654
0 70123
/ 654
1 7/ 654
01232 == 0123
7654
/3
@ 0
==
==
==
1
 ==
 2
0123
76547 =^ = 0123
7654 4S
== 3
==
==
== 
4
 
0123
76546K o 0123
7654 5 5
6
7

Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y

se escribe:
La comunicacion es tambien una propiedad transitiva, es decir:

si y

En el ejemplo 2.f los estados 5 y 7 son comunicantes.

2.2.2) Clasicacion de estados en clases comunicantes y estados sin retorno

Una clase comunicante es un conjunto de estados que se comunican todos
entre si. Como caso particular la clase puede consistir en un solo estado.
En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:

1 = {2}
2 = {3, 4}

3 = {5, 6, 7}
Las clases comunicantes se pueden clasicar en recurrentes y transitorias.

(a) Clases recurrentes- Estados absorbentes

Una clase es recurrente cuando la probabilidad de que la cadena se

encuentre en un estado de dicha clase despues de transiciones es
positiva; esto signica que una vez que la cadena ha alcanzado dicha
 Cadenas de Markov 23

clase, siempre regresara a ella.

En el ejemplo 2.f la clase 3 es recurrente.
Un caso especial de clases recurrentes lo constituyen los llamados es-
tados absorbentes, que son aquellos estados que una vez que la cadena
los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles
desde otros estados no absorbentes de la cadena, no se cumple la in-
versa. De lo anterior se deduce que un estado absorbente i tiene una
probabilidad = 1.

(b) Clases transitorias

Una clase es transitoria cuando la probabilidad de que la cadena se

encuentre en un estado de dicha clase despues de transiciones es
nula; esto signica que una vez que la cadena ha alcanzado dicha
clase, existe una probabilidad de que no retorne nunca a ella.
En el ejemplo 2.f las clases 1 y 2 son transitorias.
Estados sin retorno son aquellos estados que no se comunican con
ningun otro estado, ni siquiera consigo mismo; esto signica que una
vez que la cadena ha alcanzado dicho estado la probabilidad de que
retorne a el es nula.
En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo
anterior, los estados pueden clasicarse de la siguiente manera:

Estados sin retorno {
transitorias
Clases comunicantes {
recurrentes estados absorbentes

2.2.3) Clasicacion de las cadenas de Markov homogeneas en ergodicas y no

ergodicas
Una cadena de Markov homogenea es ergodica o irreductible cuando todos
sus estados se comunican, es decir constituyen una unica clase comunicante
recurrente.
Las cadenas ergodicas pueden ser clasicadas en regulares y periodicas.
 Cadenas de Markov 24

(a) Cadenas regulares

Una cadena ergodica es regular o aperiodica cuando todos los estados
pueden comunicarse simultaneamente en una cantidad r de pasos; en
estas condiciones la potencia r de la matriz P : es una matriz con
todos sus elementos no nulos. Un criterio para comprobar que una ca-
dena es regular consiste en calcular las sucesivas potencias de P hasta
encontrar un numero r de pasos tal que la matriz tiene todos sus
elementos no nulos.
Ejemplo 2.g
Dada la siguiente cadena:

0,5 0,5 0,2

 " 
0123
7654
01X 1b 0123
7654
1
11 0, 5 0, 5
1 0,2
1 11 0,6 = 0, 2 0, 2 0, 6
1 
0123
7654
2 1

se cumple que para r = 3

0, 545 0, 245 0, 210
3
= 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
todos sus elementos son no nulos, por lo tanto es una cadena ergodica
regular. Como ejemplo: desde el estado 3 se puede acceder al mismo
estado recien en 3 pasos.

(b) Cadenas periodicas

Una cadena ergodica es periodica cuando no se puede encontrar una
potencia r de P para la cual todos los elementos de sean no nulos;
en estas condiciones las sucesivas potencias de la matriz denotan
un patron periodico que permite asegurar siempre la presencia de al
menos un cero en .
Ejemplo 2.h
Dada la cadena siguiente:
 Cadenas de Markov 25

1
7654
0123 '
7654
0123
0g 1/2 :1
0 1 0
1
1/2 = 1/2 0 1/2
7654
0123z
2 0 1 0

es ergodica periodica pues sus sucesivas potencias son:

1/2 0 1/2 0 1 0 1/2 0 1/2

2 3 4
= 0 1 0 ; = 1/2 0 1/2 ; = 0 1 0
1/2 0 1/2 0 1 0 1/2 0 1/2

como puede observarse se cumple el patron de repeticion periodico:

{
= 3 = 5 = . . . = ; con m : impar
2 = 4 = 6 = . . . = ; con n : par
con la presencia siempre de ceros en las matrices.
Una cadena de Markov homogenea es no ergodica o reducible o sepa-
rable cuando no todos sus estados se comunican, en esas condiciones la
cadena es separable en un conjunto de clases comunicantes y estados
sin retorno.
Ejemplo 2.i
Dada la siguiente cadena:
0,5 0,5
 &
0123
7654
0f 7654
0123
1S
0,2 0, 5 0, 5 0 0
0,8
0, 8 0, 2 0 0
0,3 0,7 =

7654
0123 &
7654
0123
0 0 0, 7 0, 3
2f 3S 0 0 0, 6 0, 4
0,6 0,4

es separable en dos clases comunicantes recurrentes 1 = {0, 1} y

2 = {2, 3}
La cadena del ejemplo 2.f es separable en:
 Cadenas de Markov 26

1 clase comunicante recurrente : 3 = {5, 6, 7}
2 clase comunicante transitoria : 1 = {2} y 2 = {3, 4}

2 estados sin retorno :0 1
Dentro de las cadenas no ergodicas merecen especial atencion dos
tipos particulares de cadenas denominadas respectivamente cadenas
absorbentes y cadenas cclicas.

(a) Cadenas absorbentes

Una cadena absorbente es una cadena no ergodica separable en
1 o varios estados absorbentes y
1 o varios estados no absorbentes, constitudos por clases comuni-
cantes transitorias o estados sin retorno, desde los cuales se puede
acceder a por lo menos un estado absorbente
Ejemplo 2.j
Dada la siguiente cadena:
0,3

0,7 / 0 1 2
0123
7654 '
7654
0123
0g 1 0 0, 7 0, 3
0,5
=
1 0, 5 0, 5
1 0,5
  2 1
0123
7654
2
es una cadena absorbente separable en una clase comunicante tran-
sitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que
22 = 1

(b) Cadenas cclicas

Una cadena cclica es una cadena no ergodica en la cual el proceso
pasa de un estado a otro cclicamente segun un cierto patron de com-
portamiento. El ciclo es un camino cerrado entre estados de una clase
recurrente.
Para que una cadena sea cclica debe cumplirse que:

tenga por lo menos un ciclo, y

 Cadenas de Markov 27

sea posible entrar en el ciclo

Ejemplo 2.k
Dada la siguiente cadena:
0,5


7654
0123 / 0 1 2
0 1 0 0, 5 0, 2 0, 3
111
0,2 110,3 =

1 11 1 1
 '
0123
7654
1g 0123
7654
2 2 1
1

es una cadena cclica separable en una clase comunicante transitora

1 ={ 0 } una clase comunicante recurrente 2 ={ 1, 2 } , que forma
un ciclo.
Muchas caractersticas de comportamiento de las cadenas no ergodicas
despues que se han producido un numero elevado de transiciciones (en
lo que luego se denira como regimen permanente), se estudian medi-
ente el analisis de sus clases comunicantes recurrentes como si fueran
cadenas ergodicas independientes.
En resumen las cadenas de Markov homogeneas se pueden clasicar en:
{

regulares

Cadenas ergodicas: una clase comunicante recurrente
periodicas

{

Cadenas no ergodicas: separables en absorbentes

clases comunicantes mas estados sin retorno cclicas

A partir de esta clasicacion en los puntos siguientes se estudia el

comportamiento de las cadenas ergodicas y no ergodicas mencionadas.

2.3 Estudio del Comportamiento de las Cadenas Ergodicas en el

Regimen Permanente
Se dene como regimen permanente o estado estacionario de una cadena de
Markov homogenea a la situacion que el sistema alcanza luego de un periodo
relativamente largo de tiempo. En dicho regimen la cadena ya ha entrado en
una condicion de equilibrio estocastico, lo cual signica que sus probabilidades
 Cadenas de Markov 28

de estado devienen estables en el tiempo.

En cambio regimen transitorio es la situacion en que el sistema se encuentra
luego de un perodo relativamente corto de tiempo. En dicho regimen la cadena
no ha encontrado todava una condicion particular de equilibrio estocastico, es
decir sus probabilidades de estado no son estables en el tiempo.
Dentro de las cadenas ergodicas regulares y periodicas interesa estudiar es-
peccamente sus comportamientos en el regimen permanente, y sus conclu-
siones, segun se ha dicho mas arriba, son extensibles a las clases recurrentes de
las cadenas no ergodicas.

2.3.1) Estudio del comportamiento de las cadenas regulares en el regimen per-

manente
Tal como se ha denido en 2.2.3, una cadena regular es una cadena ergodica
en la cual todos sus estados pueden comunicarse simultaneamente en una
cantidad r de pasos.
Para describir el comportamiento de una cadena regular en el regimen per-
manente o a lago plazo es preciso conocer las probabilidades de transicion
y de estado cuando el numero n de transiciones tiende a . Se puede de-
mostrar que si la cadena es regular, el lmite de la matriz de probabilidades
de transicion P(n) cuando n tiende a es una matriz regular (todos sus
elementos son positivos), con todas sus las iguales, es decir, de (2.14) es:

0 . . . . . .
.. .. ..
. . .

lim () = lim = 0 . . . . . . (2.31)
.. .. ..
. . .
0 . . . . . .

y el lmite del vector de probabilidades de estado queda, tomando la 1ra.

igualdad de la (2.30):
 Cadenas de Markov 29

0 . . . . . .
.. ... ...
.
lim () = (0). lim () = 0 (0) . . . (0) . . . (0) x 0 . . . . . .
.. .. ..
. . .
0 . . . . . .


y por cumplirse que: (0) = 1, queda:
=0

lim () = 0 . . . . . . (2.32)

las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego
de un numero sucientemente grande de transiciones ( ), sus pro-
babilidades de transicion () y de estado () se estabilizan en valores
lmites iguales para cada estado j, e independientes del estado inicial i. Este
estado se conoce como regimen permanente o estacionario, y sus probabi-
lidades de estado representan los porcentajes de tiempo que la cadena
permanece en cada estado j luego de un perodo largo de tiempo.
Esta distribucion de estados lmites se puede determinar mediante tres
caminos alternativos.

(a) mediante el lmite de la ecuacion (2.31):lim () = lim ;

(b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion
de estado (2.30). Para , segun lo expresado mas arriba se
cumple que:

lim () = lim ( 1) =

reemplazando en la 2da. igualdad de la (2.30) quedan:

= . (2.33)
siendo:

= 1
=0
(2.34)
 Cadenas de Markov 30

luego con las ecuaciones (2.33) y (2.34), conocida la matriz de tran-

sicion P de la cadena regular, se puede calcular el vector de probabi-
lidades p del regimen permanente.

(c) mediante la llamada ecuacion de balance de ujos probabilsticos,

que se deriva de la ecuacion (2.33). En efecto, si se desarrolla esta
ultima es:
00 . . . 0 . . . 0
.. .. ..
. . .
= 0 . . . . . . = 0 . . . . . . x 0 . . . . . .
.. .. ..
. . .
0 . . . . . .

en la cual el elemento generico es:

= . = . + .
=0 =

agrupando queda: . = (1 )
=

y aplicando la ecuacion (2.4) a las transiciones del estado j a un con-

junto exhaustivo de estados k es:

= 1 1 =
=

reemplazando queda:

. = . ; = 0, . . . , (2.35)
= =
 Cadenas de Markov 31

que es la ecuacion de balance de ujos ==

@
probabilsticos, la cual expresa que

==
JJ ===




u:





uuu
para un nodo generico j la suma de
JJ =
JJ ==
JJ 



uuu
u
$
los ujos probabilsticos que concur- WPQRS JJ
/ VUT /
u
: @
ren al nodo es igual a la suma de
u == JJ

uu

uu

== JJ

uu


== JJ$
los ujos probabilsticos que salen del




==
==





nodo.
Ejemplo 2.l
Dada la siguiente cadena:

0,5 0,5 0,2

 " 
0123
7654
01X 1b 0123
7654
1
11 0, 5 0, 5 0
1 0,2
1 11 0,6 = 0, 2 0, 2 0, 6
1 
0123
7654
2 1 0 0

la cual es ergodica regular pues 3 :

0, 35 0, 35 0, 30 0, 545 0, 245 0, 210

2 3
= 0, 74 0, 14 0, 12 = 0, 518 0, 398 0, 084
0, 50 0, 50 0 0, 350 0, 350 0, 300

tiene todos sus elementos no nulos, se puede determinar el vector de

probabilidades p del regimen permanente mediante el calculo de las
sucesivas potencias de :

0, 5315 0, 3215 0, 1470 0, 4985 0, 3158 0, 1858

4 8
= 0, 4226 0, 3386 0, 2388 ; = 0, 4979 0, 3090 0, 1931
0, 5450 0, 2450 0, 2100 0, 5077 0, 3096 0, 1827

0, 5 0, 3125 0, 1875
16
= 0, 5 0, 3125 0, 1875 = 17 = 18 = lim

0, 5 0, 3125 0, 1875