Cadenas de Markov

Las cadenas de Markov son un tipo especial de procesos estocsticos que poseen la
siguiente propiedad:
Propiedad de Markov: Conocido el estado del proceso en un momento dado (Xn) , su
comportamiento futuro (Xn+1) no depende del pasado (Xn-1), es decir dado el presente
(Xn = a), el futuro (Xn+1 = c) es independiente del pasado (Xn-1= b)
Matemticamente tenemos:

Es decir, el resultado en cada etapa slo depende del resultado de la etapa anterior y
no de cualquiera de los resultados previos por lo cual decimos que estas cadenas tienen
memoria, recuerdan el ltimo evento y eso condiciona las posibilidades de los eventos
futuros.
Estas cadenas poseen los siguientes elementos:
1. Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo:
estados de la enfermedad: enfermo, curado)
2. Ciclo de Markov (paso): periodo de tiempo que sirve de base para examinar las
transiciones entre estados. (horas, un da, 2 meses)
3. Probabilidades de transicin entre estados en un ciclo (matriz P)
4. Distribucin inicial del sistema entre los M estados posibles.
Ya que son procesos estocsticos y dependen del tiempo y del espacio muestral donde se
desarrolla tenemos:
Cadenas de Markov de Tiempo Discreto (CMTD): es un proceso estocstico en tiempo
discreto con espacio de estados discreto.
Cadenas de Markov de Tiempo Continuo (CMTD): un proceso estocstico en tiempo
contino con espacio de estados discreto

CMTD

Un proceso estocstico {Xn, n = 0, 1, 2,} es una Cadena de Markov en Tiempo Discreto

(CMTD) si para cada n y xj, j=0,,n+1, se verifica:

La probabilidad de transicin en un paso del estado i al estado j en el instante n+1 como:

La CMTD se denomina homognea si pij(n) no depende de n, es decir:

En tales casos se denota pij en lugar de pij(n).

La matriz formada por las probabilidades de transicin en un paso se denomina
matriz de transicin o matriz de probabilidades de transicin y toma la forma:

P es una matriz cuadrada no negativa cuyas filas suman la unidad, es decir, 0 pij
1 y j pij = 1 para cada i S. Por lo tanto, P es una matriz estocstica.
Grficamente, una CMTD con espacio de estados finito se puede representar
mediante un diagrama de transicin, es decir, mediante un grafo dirigido finito donde cada
nodo representa un estado de la cadena, los arcos representan las posibles transiciones entre
estados y sobre los arcos se indican las probabilidades de transicin entre los estados
representados por los nodos unidos por cada arco

.
CMTC

Para las cadenas de Markov con parmetro de tiempo discreto la matriz de

transicin en n etapas puede ser expresada en trminos de la matriz de transicin en una
etapa P. En el caso continuo el papel homlogo a la matriz de transicin P lo juega,
considerando unidades infinitesimales de tiempo entre transiciones, dt, una matriz Q
llamada de tasas de transicin, to, generador infinitesimal de la cadena.
El proceso estocstico {Xt}t> =0, con conjunto de estados numerable SCZ+ es una
Cadena de Markov con parmetro de tiempo continuo si para todo s,t>= 0, y para todo i, j,
tales que Xk E Z+ se cumple que:

El proceso estocstico {Xt}t> =0 es una Cadena de Markov homognea. Si:

Toda Cadena de Markov con parmetro continuo cada vez que entra en un estado i E S
verifica:
1. Ti ~ exp (Vi), esto es, la distribucin del tiempo que permanece antes de transitar a otro
estado es exponencial.
2. Cuando abandona el estado i, si pij = P (transitar a j/ el proceso est en i), entonces
verifica que:

Pij=1
j i

Ecuaciones de Chapman-Kolmogorov

Es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes

conjuntos de coordenadas en un proceso estocstico.
En tiempo discreto tenemos:

Si denotamos con P(n) la matriz de transicin en n pasos, lo que nos estn diciendo las
ecuaciones de Chapman-Kolmogorov es que
P(n +m)=P n Pm
Por lo tanto
2

P =P P =PP
3

P =P P =PPP
.
Una vez conocidas las probabilidades de transicin en n pasos calculemos la distribucin
marginal del paso n-simo

Finalmente la distribucin de probabilidad en n pasos:

Entonces
n= 0 P n

Ecuacin de Chapman-Kolmogorov en tiempo continuo: Para todos i, j S y para

cualquier s, t 0:

Supongamos que

V t<

para cada i S entonces las probabilidades de transicin

Pij(t) son diferenciables para todo t >= 0 y todos i, j S. Teniendo:

La paradoja de Borel-Kolmogorov
Esta paradoja es una ambigedad que puede aparecer en el clculo de una funcin
de probabilidad condicional. Esta resulta cuando la f.d.p condicional de una variable
aleatoria dada otra se define condicionalmente en un suceso cuya probabilidad es cero.
Esto da como resultado que existan 2 soluciones distintas a un problema, sin
embargo la veracidad de la solucin escogida depender de la interpretacin que se le de al
suceso originario cuya probabilidad es cero.
Ejemplo: Condicionando a un valor particular
Sean X1 y X2 variables aleatorias i.i.d y que la f.d.p de cada una de ellas es la siguiente:
x
f1(x) = e

para x > 0, y 0 en otro caso

Entonces la f.d.p conjunta de X1 y X2 es

(x 1+ x 2)

f1(x1,x2) = e

para x1> 0 y x2> 0, y 0 en otro caso

sea la variable aleatoria Z definida por la relacin

Z=

X 21
X1

Se desea buscar la distribucin condicional de X1 dado que Z=0.

Se obtiene que
x 1
g(x1|A) = x1 e

para x1 > 0; (1)

y tambin que
x 1
g(x1|A) = f1(x1) = e
para todo x1>0; (2)

La paradoja aparece por que Pr(A) = 0. Si se considera el suceso A como un punto

en el espacio muestral de la variable aleatoria Z entonces la ecuacin (1) es correcta. Si se
considera A como un punto en el espacio muestral de X2 entonces la ecuacin (2) es la
correcta.
Esta paradoja subraya el hecho de que no es posible definir racionalmente una
distribucin condicional para un nico suceso que tiene probabilidad cero. Por tanto una

distribucin condicional puede tener sentido nicamente en el contexto de una familia de

distribuciones condicionales definidas en forma consistente.

Clasificacin de los estados en cadenas de Markov

En una cadena homognea con m estados E1,E2, . . . , Em y matriz de transicin T =
[pij ] , (1 i, j m) el valor de pij es la probabilidad de que haya una transicin entre Ei y
Ej en un momento dado. Segn lo anterior se pueden clasificar los estados de una cadena.
1) Estado Peridico
La probabilidad de que se regrese al estado Ei en el paso n es

Pnii

. Sea t un

nmero entero mayor que 1. Se define:

El mximo comn divisor de (mcd) del conjunto de los enteros n para los que

Pnii > 0.

Entonces, el estado Ei es peridico si d(i) > 0 y aperidico si d(i) = 1

2) Estado Recurrente
Denominamos como

fj

la probabilidad de que la primera visita al estado Ej

ocurra en la etapa n. La probabilidad de regresar en algn paso al estado Ej es:

Si fj = 1, entonces seguro que se regresa a Ej y se denomina a Ej estado recurrente

Los estados pueden ser a la vez recurrentes y peridicos.
3) Estado Transitorio
En un estado recurrente, la probabilidad de que se regrese por primera vez a ese
estado en algn paso es 1, pero para otros estados sucede que:

Lo que significa es que no se regresa al estado Ej de modo seguro. Un estado de este tipo se
denomina transitorio.

4) Estado Ergdico
Un estado bastante importante el cual cumple con ser recurrente, no nulo y
aperidico. Los estados ergdicos son importantes en la clasificacin de cadenas y para
probar la existencia de distribuciones de probabilidad lmite.
5) Estado Absorbente
Un estado es absorbente cuando una vez que se entra en l no se puede salir del mismo.
Un estado Ei es absorbente si
Pii = 1
Pij = 0 (i j, j = 1, . . . , m)
en la i-sima fila de T.
Clasificacin de las cadenas
Cadenas irreducibles
Una cadena irreducible es aquella en la que todos los estados son alcanzables desde
cualquier otro estado de la cadena en un nmero finito de pasos. Eso implica que se puede
n
llegar a cualquier estado Ej desde otro estado Ei esto es Pij > 0, para algn nmero
entero n.
Una propiedad muy importante de las cadenas irreducibles es que todos sus estados
son del mismo tipo, esto es, o bien todos son transitorios o bien todos son recurrentes
(nulos o no nulos) y todos tienen el mismo periodo. Esto significa que la clasificacin de
todos los estados de una cadena se puede deducir a partir de la clasificacin conocida de
uno de los estados.
Tambin es obvio que todos los estados de una cadena finita irreducible no pueden
ser transitorios, ya que eso significara que el regreso a alguno de los estados no sera

seguro, aunque todos los estados fueran accesibles desde cualquiera de ellos en un nmero
finito de pasos.
Cadenas ergdicas
Se tena que todos los estados en una cadena irreducible pertenecen a la misma
clase. Si todos los estados son ergdicos, esto es, recurrentes, no nulos y aperidicos
entonces se define la cadena como ergdica
Para cadenas ergdicas se obtiene siempre que la distribucin invariante es el
recproco del vector de tiempos medios de recurrencia.
Cadenas Infinitas
Consideramos que la cadena no es finita y que el proceso contina de manera
indefinida. Se entiende por visita a un estado j como la etapa o momento en el que la
cadena se encuentra en el estado j, y se denota por Nj el nmero de visitas que se hacen al
estado j en el proceso.
Los posibles valores que puede tomar Nj son 0, 1, 2, 3, . . .
As, se tienen dos casos:
1) La probabilidad de ir de i a j una vez, y de ir a j (m 1) veces.

Donde

2) La probabilidad de no volver nunca a j.

Dado que se parte ya de una visita al estado j.

Cadenas peridicas
Si un estado j es peridico con periodo y otro estado i comunica con l, entonces
el estado i tambin es peridico con el mismo periodo. De este modo, el periodo es una
caracterstica comn del conjunto irreducible y cerrado y se puede hablar del periodo de
una subcadena irreducible.

Cadenas de Markov de parmetros continuos

Para las cadenas de Markov con parmetro de tiempo discreto la matriz de
transicin en n etapas puede ser expresada en trminos de la matriz de transicin en una
etapa P. En el caso continuo el papel homlogo a la matriz de transicin P lo juega,
considerando unidades infinitesimales de tiempo entre transiciones, dt, una matriz Q
llamada de tasas de transicin, to generador infinitesimal de la cadena.
El proceso estocstico {Xt}t>= 0, con conjunto de estados numerable S C Z+ es una
Cadena de Markov con parmetro de tiempo continuo si para todo s, t >= 0, y para todo i, j,
tales que Xk E Z+ se cumple que:
P (Xt+s = j/Xs = i, Xk = xk ; 0 =< k < s)
= P (Xt+s = j/Xs = i)
Caracterizacin de una Cadena de Markov con parmetro continuo
Toda Cadena de Markov con parmetro continuo cada vez que entra en un estado i
E S verifica que:
1.

i exp ( v i )

, esto es, la distribucin del tiempo que permanece antes de transitar a otro

estado es exponencial.
2. Adems, cuando deja el estado i, si pij = P (transitar a j/ el proceso esta en i), entonces
Pij
verifica que: j i

Ecuaciones Diferenciales de Kolmogorov

Supongamos que

vi

< para cada i E S entonces las probabilidades de transicin

Pij(t) son diferenciables para todo t >= 0 y todos i, j E S.