CADENAS DE

MARKOV

Dr. Jos
Castillo
Montes

Definicin. Una cadena de Markov es un proceso estocstico que

presenta las siguientes propiedades:
Una Cadena de Markov (CM) es:
Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin
estacionarias
Que tiene la propiedad markoviana
Andri Mrkov
Ejemplo:
1.Serie mensual de ventas de un producto
2. Estado de una mquina al final de cada semana
(funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez
que hace la compra.
5. N de unidades en almacn al finalizar la semana

P(Xn+1 = Sn+1 | X1 = S1, X2 = S2, ..., Xn = Sn ) =

= P(Xn+1 = Sn+1 | Xn = Sn

ELEMENTOS DE UNA CADENA DE MARKOV

1. Espacio de estados:
2. Matriz de transicin:

3. Distribucin inicial

E E1 , E2 ,K , Es
p11

p
P 21
M

ps1

p12
p22
M
ps 2

L
L
O
L

siendo pij P X t 1 E j X t Ei

p1s

p2 s
M

pss

P 0 p1 0 , p2 0 ,K , ps 0

Un proceso estocstico tiene la

propiedad
markoviana
si
las
probabilidades de transicin en un
paso slo dependen del estado del
sistema en el perodo anterior
(memoria limitada)

PROPIEDAD MARKOVIANA
Un proceso estocstico tiene la propiedad markoviana si las probabilidades de
transicin en un paso slo dependen del estado del sistema en el perodo anterior
(memoria limitada)

Una Cadena de Markov (CM) es:

Un proceso estocstico con un nmero finito de estados (M), con
probabilidades de transicin estacionarias y que tiene la
estocstico
propiedad Proceso
markoviana

MATRIZ DE TRANSICIN
Una matriz de transicin para una cadena de Markov de n estado es una
matriz de nxn con todos los registros no negativos y con la propiedad
adicional de que la suma de los registros de cada columna (o fila) es 1
Una herramienta fundamental en el estudio de las cadenas de
Markov lo constituyen las matrices de transicin en n pasos: P (n)
= (P(n)ij ), donde P(n)ij denota la probabilidad de que el proceso
pase del estado i al estado j en n pasos:
P

(n)

ij

= P(Xn+m = j|Xm = i).

Recordamos que estamos trabajando con procesos cuyas

matrices de transicin son estacionarias.

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)

Una cadena de Markov (CM) es una sucesin de variables

aleatorias Xi, iN, tal que:

X t 1 j

P X t 1 j
X 0 , X 1 ,..., X t
X t

Probabilidades de transicin
Las CM estn completamente caracterizadas por las probabilidades
de transicin en una etapa,

X t 1 j

, i, j S , t T

X t i

CM homogneas en el tiempo, que son aquellas en las que

i, j S t T , P

X t 1 j

q
ij

X t i

donde qij se llama probabilidad de transicin en una etapa desde el

estado i hasta el estado j

Probabilidad de transicin en n pasos P(n)ij

Se define P(n)ij como la probabilidad de que la cadena est en el
estado Ej despus de n pasos, dado que la cadena empez en el
estado Ei.
Se tiene que p(n)ij = P (Xn = j | X0 = i) por la propiedad markoviana se
|
tiene que

para n 2, ya que la cadena debe haber pasado por uno de los m

posibles estados en la etapa n 1

 Probabilidades estacionarias de un
paso
Si para cada i y j se cumple:
P{ X

t+1

= j / X t = i } = P{ X
i}

=j/X

entonces, se dice que las

probabilidades de un paso son
estacionarias

Propiedades de Pij(n)

1. Pij(n) 0

para todo i, j y n = 0, 1, 2,

Pij(n) = 1 para todo i, j de 0 a M, y

n = 0, 1, 2,

 fii = probabilidad de que el proceso

regrese al estado i, dado que
comienza en el estado i.
Estado recurrente: fii = 1
Estado transitorio: fii < 1
Estado absorbente: pii = 1

Probabilidades de Estado
Estable

Es la probabilidad de que le sistema se

encuentra en el estado j,
independiente del estado inicial
j = lim pij
infinito
i = 1 / ii

(n)

, con n tendiendo al

 Ecuaciones de estado estable

Teorema:
Sea P la matriz de transicin de una cadena ergotica
de S estados. Existe un vector
=(123.n) y se llama distribucin de
estado estable o distribucin de equilibrio para la
cadena de markov

j = j * pij
para j = 0, 1, , M y la
sumatoria variando de i = 0, 1, , M
j = 1

PROBABILIDADES EN ESTADO ESTACIONARIO.

Si P es la matriz de transicin de una cadena ergdica de S estados entonces existe un
vector=[12 ...3 ] tal que

Se le llama distribucin de estado estable o de equilibrio para la cadenade Markov.

-se puede determinar a partir de la ecuacin:j=Pkj

-En forma matricial=p

K=1

-Este sistema tiene un nmero infinito de soluciones porque el rango de P siempre

resulta ser menor o igual que s-1; Tambin se debe verificar que,
1+2+... +s= 1

Clasificacin de los estados

En una cadena homognea con m estados E1, E2,...,Em y matriz de
transicin
T = [Pij ] , (1 i, j m) el valor de Pij es la probabilidad de que haya
una transicin entre Ei y Ej en un momento dado. Segn lo anterior
seEstados
pueden clasificar los estados de una cadena
Absorbentes

Un estado es absorbente cuando una vez que se entra en l

no se puede salir del mismo.
Un estado Ei es absorbente si
Pii = 1

.
Si k es un estado absorbente, y el
proceso comienza en el estado i, la
probabilidad de llegar en algn
momento a k se llama probabilidad de
Pij =0 (i 6= j, j = 1,...,m) en la i-sima fila de T

Para toda cadena de Markov absorbente se desea conocer :

a) Si la cadena comienza en un estado determinado transitorio, uy
antes de alcanzar un estado absorbente, cual es el numero
esperado de veces que se llegara a un estado? Cuntos periodos
esperamos pasar en un determinado estado transitorio antes que
se efectu la absorcin?
b) Si una cadena inicia en un estado transitorio dado. Cul es la
probabilidad de terminar en cada uno de los estados absorbentes?
* Para contestar a estas preguntas necesitamos formular la
matriz de transicin con los estados en una lista con el siguiente
orden: primero los estados transitorios y despus los absorbente.
columnas
s-m filas
Q
m filas
0

sm
m
columnas
R
I

De donde:
I = matriz identidad de orden mxm representa la probabilidad de
permanecer dentro de un estado absorbente.
Q = matriz de orden (s-m)x(s-m) probabilidad de ir de un estado
transitorio hasta otro estado transitorio
R = matriz de orden (s-m) x m : probabilidad de ir de un estado
transitorio hasta un estado absorbente
0 = matriz nula de orden mx(s-m) : representa las probabilidades
de ir de un estado absorbente hasta un estado transitorio
En base a esto es posible determinar
1) El numero esperado de veces que se llegara a un estado: (I-Q) -1
2) El numero de periodos que esperamos pasar en un determinado
estado transitorio antes que se efectu la absorcin: (I-Q) -1
3) La probabilidad de determinar en cada uno de los estados
absorbentes:
(I - Q)

-1

.R

Estado peridico
La probabilidad de que se regrese al estado Ei en el paso n es P(n)ii
. Sea t un nmero entero mayor que 1. Supongamos que
p(n)ii = 0 para n t, 2t, 3t, . . .
p(n)ii 0 para
n = t, 2t, 3t,
En este caso se dice que el estado Ei es peridico de periodo t. Si
para un estado no existe dicho valor de t entonces se dice que el
estado es aperidico.

CADENA ERGDICAS
Si los estados de una CM son recurrentes, aperidicos y se
comunican entre si, se dice que la cadena es ergodica. Se
distinguen dos tipos de cadenas ergodicas:
a) Cadena ergodica cclica: en ella solo se puede entrar en un
estado a intervalos peridicos fijos.
b) Cadena ergodica es regular: cuando no es cclica. Si para alguna
potencia de la matriz de transicin tiene nicamente elementos
positivos de probabilidades

Ecuaciones:
fik = S pij * fjk para todo i = 0, 1, , M; y la sumatoria
variando de j = 0 hasta M
La ecuacin anterior est sujeto a:
fkk = 1
fik = 0, si el estado i es recurrente, y
k

adems i es distinto de

Diagrama de transicin de estados

El diagrama de transicin de estados (DTE) de una CM es un grafo

dirigido cuyos nodos son los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transicin entre los estados que
unen. Si dicha probabilidad es nula, no se pone arco.
Ejemplos:

s1
s2

s1
s2
S3

S1 s2
1/2
1/2
1/2
1/2

Cadena regular

s1
s2
S3

S1
0
1/2
1/4

s2

S3
3/4 1/4
0
1/2
3/4 0

Cadena y la matriz son regular

S1

s2
0
1
0

S3
0

1
0

1 0

Cadena cclica ergodica y no una cadena regular

s1
s2
S3

S1 s2
S3
1/2
1/4
0 1/3
2/3
0
3/4

S1 es un Estado transitorio y
la cadena es no regular y no
ergodica, aunque S2 y S3 sean
conjunto ergodicos

Caso 2.En una cierta regin el tiempo atmosfrico sigue la siguiente

secuencia: Un da se denomina soleado (S) si el sol luce ms de la
mitad del da, y se denomina nublado (N), si lo hace menos. Por
experiencia, se sabe que si hay un da nublado, es igual de probable
que el da siguiente sea tambin nublado. Si el da es soleado hay una
probabilidad de 2/3 de que sea tambin soleado.
1. Construye la matriz de transicin T de este proceso.
2. Si hoy est nublado, cul es la probabilidad de que dentro de tres
das est tambin nublado? y de que est soleado?