Apuntes de Clase, Cadenas de Markov Ing.

Orlando De Antonio Surez, 03/2012

Cadenas de Markov
Introduccin
El observar algunos eventos que cambian en el tiempo
siempre ha sido un tema de inters, por ejemplo la
variacin del precio de las acciones, la participacin en el
mercado de alguna empresa o un producto, la prediccin
del comportamiento del clima, son temas que han
apasionado a muchos y son varios los tratados que sobre
ello se han escrito. El estudio de cmo una variable
aleatoria cambia en el tiempo incluye procesos
estocsticos, que se explicarn en este aparte. En
particular nos centraremos en un proceso estocstico en
especial llamado cadenas de Markov. Para comenzar se
explica el concepto de proceso estocstico.
1. CONCEPTOS BSICOS
1.1. Proceso estocstico
Un proceso estocstico es un concepto matemtico
que sirve para caracterizar una sucesin de variables
aleatorias (estocsticas) que evolucionan en funcin de
otra variable, generalmente el tiempo. Cada una de las
variables aleatorias del proceso tiene su propia funcin
de distribucin de probabilidad y, entre ellas, pueden
estar correlacionadas o no
1
. Suponga que se observan
algunas caractersticas de un sistema de puntos discretos
en el tiempo (identificados con 0, 1, 2,) Sea X
t
el valor
de la caracterstica del sistema en el tiempo t, En la
mayora de las situaciones, X
t
, no se conoce con certeza
antes del tiempo t y se podra considerar como una
variable aleatoria. Un proceso estocstico discreto en el
tiempo es simplemente una descripcin de la relacin
entre las variables aleatorias X
0
, X
1
, X
2
,. Los procesos
estocsticos continuos en el tiempo son tema de otro
estudio llamado lneas de espera o teora de colas.
Un ejemplo de proceso estocstico discreto es el
ejercicio conocido como la ruina del jugador: un jugador
inicia en el tiempo (0) con $2oo, en los tiempos 1, 2,
participa en un juego en el que apuesta $1oo. Con
probabilidad de (p) gana el juego y con probabilidad de
(1-p) pierde. El objetivo es llegar a ganar el doble, es
decir $4oo, caso en el que se termina el juego. El juego
tambin se termina en el caso que se haya perdido todo
el dinero ($0). Si se define X
t
cmo el capital despus de
que se juega en juego en el tiempo t, entonces X
0
, X
1
,.. X
t


1
http://es.wikipedia.org/wiki/Proceso/estocastico
se podra considerar como un proceso estocstico
discreto en el tiempo t. observe por ejemplo que X
0
= 2
es una constante conocida pero X
1
y las dems X
t

posteriores son aleatorias.
1.2. Cadenas de Markov
Las cadenas de Markov son una herramienta para
analizar el comportamiento y el gobierno de
determinados tipos de procesos estocsticos, por tanto
representa un sistema que vara su estado a lo largo del
tiempo, siendo cada cambio una transicin del sistema.
Dichos cambios no estn predeterminados, aunque s lo
est la probabilidad del prximo estado en funcin de los
estados anteriores, probabilidad que es constante a lo
largo del tiempo. Inicialmente nos ocuparemos de las
llamadas cadenas de Markov finitas, caracterizadas
porque el nmero de estados del sistema es finito.
Para definir una cadena de Markov finita es necesario
determinar los siguientes elementos:
Un conjunto de estados del sistema.
La definicin de transicin.
Una ley de probabilidad condicional, que defina la
probabilidad del nuevo estado en funcin del los
anteriores.
Los estados, son una caracterizacin de la situacin en
que se halla el sistema en un instante dado, dicha
caracterizacin puede ser tanto cuantitativa como
cualitativa. Desde el punto de vista prctico
probablemente, la mejor definicin de qu debe
entenderse por estado es la respuesta que se dara a la
pregunta cmo estn las cosas?.
Formalmente, el estado de un sistema en un instante t
es una variable cuyos valores solo pueden pertenecer al
conjunto de estados del sistema. El sistema modelizado
por la cadena, por lo tanto es una variable que cambia de
valor en el tiempo, cambio al que llamaremos transicin.
Visto de otro modo, se trata de una coleccin
indexada de variables X
t
donde t denota intervalos
temporales significativos para el fenmeno estudiado.
Los posibles valores de X
t
se toman de un conjunto de
categoras mutuamente excluyentes, denominados
estados del sistema. Por ser el sistema estocstico, no se
conocer con certeza el estado del sistema en un
determinado instante, sino solo la probabilidad asociada

Apuntes de Clase, Cadenas de Markov Ing. Orlando De Antonio Surez, 03/2012
a cada uno de los estados. Este hecho puede expresarse
en trminos de probabilidad condicional:
) , ,..., , | (
0 0 1 1 1 1 1 1
i X i X i X i X i X P
t t t t t t
= = = = =
+ +
t t t t
i X i X P = = =
+ +
| (
1 1
[1]
1.2.1. Matrices de Probabilidades de transicin
En las cadenas finitas de orden 1 (las estudiadas aqu),
la forma ms cmoda de expresar la ley de probabilidad
condicional de las misma es mediante la matriz llamada
matriz de probabilidades de transicin (P), o matriz de la
cadena.
Dicha matriz es cuadrada con tantas filas y columnas
como estados tenga el sistema, los elementos de la
matriz representan la probabilidad de que el estado
prximo sea el correspondiente a la columna si el estado
actual es el correspondiente a la fila.
Como el sistema debe hacer evolucionar a (t) a alguno
de los (n) estados posibles, las probabilidades de
transicin cumplirn la propiedad siguiente:

=
=
n
j
ij
p
1
1 [2]
Es decir la suma de las probabilidades de cada una de
las filas debe ser igual a (1). Adems por definicin las
probabilidades deben ser mayores a (0). La suma de las
columnas no tiene ninguna propiedad especial.
Cuando las (p
ij
) cumplen con las propiedades arriba
indicadas la matriz P es una matriz estocstica.
Ejemplo
2
: Suponga un jugador que entra en un juego
con $2.000. Con una probabilidad de (p) el jugador gana
$1.000 y con una probabilidad de (1-p) el jugador pierde
$1.000. Si el jugador gana $2.000, o pierde los $2.000
que trae el juego se acaba. La matriz de transicin del
juego ser la siguiente:
Tabla 1. Matriz de probabilidades de transicin
Estado
P(i) =
$0 $1 $2 $3 $4
$0 1 - - - -
$1 1-p - p - -
$2 - 1-p 0 P -
$3 - - 1-p - P
$4 - - - - 1

2
WISTON, Wayne. Investigacin de operaciones pag. 925
Una matriz de transicin se puede representar
mediante un grafo, en el cual los nodos son los estados y
los arcos representan la probabilidad de transicin entre
estados, para el ejercicio de la ruina del jugador el grafo
es el siguiente:
Grfica 1. Grafo representativo de la ruina del jugador

1.3. Probabilidades de transicin en la n-sima etapa.
Teorema de Chapman - Kolmogorov
Suponga que se est estudiando una cadena de
Markov con una matriz de probabilidades de transicin
(P), (dejando como precedente que la cadena es
estacionaria). Una pregunta de inters es si una cadena
esta en el tiempo (t) en el estado (i), Cul es la
probabilidad de que (n) periodos al futuro la cadena este
en estado (j)?
Como se trata de una cadena de Markov estacionaria,
esta probabilidad es independiente de (t). As que se
podra escribir como:
) ( ) | ( ) | (
0
n P i X j X P i X j X P
ij n t n t
= = = = = =
+
[3]

Donde (P
ij
) se le llama la probabilidad del n-simo
paso de una transicin del estado (i) al estado (j).
Es claro que P
ij
(1) = p
ij
. Para determinar P
ij
(2),
observe que ahora el sistema est en estado (i), entonces
para que el sistema se encuentre en estado (j) dos
periodos al futuro (ejemplo) a partir de ahora, se debe ir
del estado (i) a algn estado intermedio (k) y luego del
estado (k) al estado (j), por tanto la matriz de
probabilidad de P (2) se puede escribir como:

=
=
=
s k
k
kj ik ij
P p P
1
) 2 (
[4]

El lado derecho de [4] es el producto escalar del
rengln (i) de la matriz (P) con la columna (j) de la matriz
(P) por consiguiente P
ij
(2), es el ij-simo elemento de la

Apuntes de Clase, Cadenas de Markov Ing. Orlando De Antonio Surez, 03/2012
matriz P
2
. Al ampliar este razonamiento, se puede
demostrar que para n > 1:
2
_ _ _ ) ( P de elemento simo ij n P
ij
=
[5]

Evaluando [4], podemos concluir que se pueden
obtener matrices P (n) de transicin de (n) pasos a partir
de la potencia de la matriz P.
2
* ) 2 ( P P P P
ij
= =
3 2
* ) 3 ( P P P P
ij
= =

n n
ij
P P P n P = =
1
* ) (
Es decir que las sucesivas potencias de la matriz P
indican las probabilidades de transicin en tantas
transiciones como indique la potencia.
Ejemplo: Dos bebidas gaseosas compiten en el
mercado, informacin estadstica nos indica que si una
persona la ltima vez compr la gaseosa 1, hay una
probabilidad del 90% de que compre gaseosa 1 en la
siguiente compra. Ahora si la compra fue la gaseosa 2, la
probabilidad de volver a comprar la gaseosa 2 es del 80%
1. Si una persona compro gaseosa 2 hoy cual es la
probabilidad de que compre gaseosa 1 dos veces a
partir de ahora.
2. Cul sera la probabilidad de que compre tres veces.
Estado 1: la persona compro gaseosa 1 la ltima vez.
Estado 2: la persona compro gaseosa 2 la ltima vez.
La matriz de transicin para este problema es:
P =
Gaseosa 1 Gaseosa 2
Gaseosa 1 0.90 0.10
Gaseosa 2 0.20 0.80
1)
|
|

\
|
(

=
(

=
66 . 34 .
17 . 83 .
80 . 20 .
10 . 90 .
*
80 . 20 .
10 . 90 .
2
P

Por tanto la probabilidad de que un comprador de
gaseosa 1 compre dos veces gaseosa 2 en el futuro es de
0.34.
|
|

\
|
(

=
(

=
562 . 438 .
219 . 781 .
66 . 34 .
17 . 83 .
*
80 . 20 .
10 . 90 .
3
P

R/: 0.438.

1.4. Clasificacin de los estados en una cadena de
Markov
Para ilustrar algunas de las definiciones, usaremos la
siguiente matriz de transicin:
(
(
(
(
(
(

2 . 8 . 0 0 0
1 . 4 . 5 . 0 0
0 7 . 3 . 0 0
0 0 0 5 . 5 .
0 0 0 6 . 4 .

Dados los estados (i) y (j), una trayectoria de (i) a (j)
es una secuencia de transiciones que comienzan en (i)
y terminan en (j), y que cada secuencia tiene una
probabilidad de ocurrencia. As un estado (j) es
alcanzable desde el estado (i) si hay una trayectoria
que conduzca desde (i) a (j).
Se dice que dos estados se comunican si (j) es
alcanzable desde (i), y a su vez (i) es alcanzable desde
(j).
Un conjunto de estados (S) es un conjunto cerrado si
ningn estado fuera de (S) es alcanzable desde algn
estado (S).
Un estado es absorbente si P
ij
= 1.
Un estado (i) es transitorio, si existe un estado (j) que
es alcanzable desde (i), pero el estado (i) no es
alcanzable desde (j).
Si un estado no es transitorio es un estado recurrente.
Un estado (i) es peridico con periodo k > 1, si k es el
nmero ms pequeo tal que las trayectorias que
conducen del estado (i) al regreso al estado (i) tienen
una longitud que un mltiplo de k. si un estado
recurrente no es peridico se conoce como
aperidico.
Si los estados de una cadena son recurrentes,
aperidicos y se comunican entre s, se dice que la
cadena es ergdica.
2. Probabilidades del estado estable
Es importante el orientar nuestro inters hacia el
conocer la probabilidad de hallar el sistema en un estado
determinado cuando lleva funcionando un tiempo
indefinidamente largo. Tales probabilidades se les
denominan probabilidades estacionarias o de estado
estable. Dichas probabilidades se denotan como (
ij
) y la
matriz de probabilidades P*.

Apuntes de Clase, Cadenas de Markov Ing. Orlando De Antonio Surez, 03/2012
Recordemos en la seccin [3] que ij-simo elemento
de P
n
es P
ij
(n). Por tanto si:
( )
j ij n
n P =

) ( lim
Observe que para una (n) grande, P
n
tiende a una
matriz con renglones idnticos, esto significa que tras un
largo tiempo, la cadena de Markov se estabiliza e
independientemente del estado inicial (i), hay una
probabilidad
j
de que se est en el estado (j).
Al vector = (
1

2

S
) se le llama distribucin de
estado estable o distribucin de equilibrio, para la
cadena de Markov.
Como ilustracin de cmo encontrar las
p[probabilidades del estado estable evaluemos el
ejemplo del numeral [1.3].la matriz de transicin era:
P=
(

80 . 20 .
10 . 90 .

As:
[ ] [ ]
(

=
80 . 20 .
10 . 90 .
*
2 1 2 1


2 1 1
20 . 90 . + =
2 1 2
80 . 10 . + =
Sustituyendo la segunda ecuacin con la condicin de
la ecuacin [2], se tiene el siguiente sistema:
2 1 1
20 . 90 . + =
2 1
. 1 + =
Resolviendo para
1
y

2
se obtiene
1
= 2/3 y

2
=
1/3. Significa que despus de algn tiempo, hay una
probabilidad de 2/3 de que una persona determinada
compre gaseosa 1, y una probabilidad de 1/3 de que una
persona compre la gaseosa 2.
BIBLIOGRAFA:
WISTON Waine L. Investigacin de Operaciones Editorial
Tomson.
HILLIER y LIBERMAN Introduccin a la Investigacin de
Operaciones. Editorial Mc Graw Hill.
TAHA Investigacin de Operaciones,. Editorial Alfa
omega.
PRAWDA Witenberg, Juan. Mtodos y Modelos de
Investigacin de Operaciones, , Editorial Limusa.