Resumen de las unidades didácticas de

PROCESOS ESTOCÁSTICOS

Licenciatura en Ciencias Matemáticas

UNED

Mayo de 2004
(versión 10/5)

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 1

 TEMA 1. CADENAS DE MARKOV: EJEMPLOS Y
DEFINICIONES
1.1. Introducción
CADENA DE MARKOV EN TIEMPO DISCRETO: Sucesión de variables aleatorias {X n }n∈N
que cumple:
1. X i ∀i ∈ N toma valores en un conjunto finito o numerable E al que se llama espacio de
estados.
2. X i ∀i ∈ N verifica la condición de Markov, es decir,
P{X n+1 = j X 0 = i0 ,..., X n = i} = P{X n+1 = j X n = i} ∀n ∈ N .

2.1. Ejemplos
RECORRIDO ALEATORIO SIMPLE: Consideremos una partícula que se mueve a lo largo de
una recta mediante saltos de magnitud –1,0,1 con probabilidades q, r y p, respectivamente. Si
representamos por {X n }n∈N la posición de la partícula después del n-ésimo salto tenemos una
cadena de Markov en tiempo discreto.
BOLAS EN DOS URNAS: N bolas están repartidas en dos urnas A y B. En cada etapa se
escoge al azar una de las N bolas y se cambia de urna. Si representamos por {X n }n∈N el número
de bolas que contiene la urna A después del n-ésimo cambio tenemos una cadena de Markov en
tiempo discreto.
PROBABILIDADES DE TRANSICIÓN ESTACIONARIAS: La condición de Markov
{ } { }
P X n+1 = j X 0 = i0 ,..., X n = i = P X n+1 = j X n = i ∀n ∈ N exige que la probabilidad de
que la cadena de Markov se encuentre en un estado j en el instante n + 1 dependa únicamente
del estado en que se encontraba en el instante n y que esto se cumpla para cualquier etapa en
que se encuentre la cadena. Sin embargo, tal y como se ha expresado, la probabilidad de pasar
del estado i al j puede depender de la etapa n en que se encuentre la cadena de Markov. La
condición de homogeneidad en el tiempo hace que esta probabilidad sea independiente de la
{ } { }
etapa, es decir, exige que P X m +1 = j X m = i = P X n +1 = j X n = i ∀m, n ∈ N . Una cadena
de Markov en tiempo discreto que cumpla esta condición de homogeneidad en el tiempo se dice
que tiene probabilidades de transición estacionarias.
CADENA DE MARKOV CON PROBABILIDADES DE TRANSICIÓN ESTACIONARIAS:
Una cadena de Markov con probabilidades de transición estacionarias queda perfectamente
especificada por:
1. El espacio de estados E (finito o numerable)
( ) { }
2. La matriz de transición P = pij , donde pij = P X n +1 = j X n = i ∀n ∈ N , que indica la
probabilidad de pasar al estado j partiendo del estado i –en cualquiera de las etapas-.
Obviamente pij ≥ 0 ∀i, j ∈ E y ∑
pij = 1 ∀i ∈ E -es decir, todos los elementos de la
j∈E
matriz de transición deben ser no negativos y las sumas por filas deben ser la unidad.
3. La distribución inicial de la cadena, que se expresa en forma de vector en el que cada
componente indica la probabilidad de que la cadena se encuentre en el estado i ∈ E en el
( )
instante 0, es decir, p (0 ) = p1(0 ) , p 2(0 ) ,..., pi(0 ) ,... , con pi(0 ) = P{X 0 = i}. Obviamente,

pi(0 ) ≥ 0 ∀i ∈ E y ∑ p( ) = 1 .
i∈E
i
0

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 2

3.1. Distribución de la cadena
DISTRIBUCIÓN MARGINAL DE X n : Si denotamos la probabilidad de que en la etapa n la
cadena de Markov se encuentre en el estado i por pi(n ) = P{X n = i} , para cada etapa
( )
tendremos un vector p (n ) = p1(n ) , p 2(n ) ,..., pi(n ) ,... que representa la probabilidad de que la
cadena se encuentre en cada uno de los estados en la etapa n. Se tiene que
p (n ) = p (n−1) P = p (n−2 ) P 2 = ... = p (0 ) P n , donde P representa la matriz de transición.
p ( n ) = p (0 ) P n
PROBABILIDADES DE TRANSICIÓN EN n ETAPAS: Hemos visto que
{ }
pij = P X n+1 = j X n = i ∀n ∈ N , es decir pij es la probabilidad de pasar del estado i
directamente al estado j. Definimos pij(n ) como la probabilidad de pasar del estado i al estado j
{ }
en n etapas, es decir, pij(n ) = P X m+ n = j X m = i ∀m ∈ N . A los pij(n ) se les denomina
probabilidades de transición en n etapas y se agrupan habitualmente en forma de matriz
( )
P (n ) = pij(n ) a la que se llama matriz de transición en n etapas. Es evidente que P (n ) = P n .
ECUACIÓN DE CHAPMAN-KOLMOGOROV: La matriz de transición cumple que
P (n + r ) = P (n ) P (r ) = P n P r ∀n, r ∈ N .
DISTRIBUCIÓN CONJUNTA DE r VARIABLES: Dadas r variables cualesquiera de la cadena
X n1 , X n2 ,..., X nr tales que n1 < n2 < ... < nr , la distribución conjunta de las r variables,
{ }
P X n1 = i1 , X n2 = i2 ,..., X nr = ir viene dada por pi(1n1 ) pi(1ni22 − n1 ) pi(2ni33 − n2 )... pi(rn−r1i−r nr −1 ) , es decir, la
probabilidad de estar en i1 en el instante n1 por la probabilidad de pasar de i1 a i2 en n2 − n1
etapas, etcétera.
CALCULO DE LA POTENCIA n-ÉSIMA DE UNA MATRIZ DE TRANSICIÓN FINITA:
Dada una matriz P, podemos emplear el teorema de Jordan para descomponerla en la forma
P = HJH −1 , siendo J una matriz diagonal por cajas formadas por los autovalores de P y H
una matriz regular cuyas columnas son los autovectores de P asociados a los distintos
autovalores. Así, P n = HJ n H −1 .

TEMA 2: CLASIFICACIÓN DE LOS ESTADOS: TEOREMA DE

DESCOMPOSICIÓN
1.2. Probabilidades de primera pasada
PROBABILIDAD DE PRIMERA PASADA: Denotamos por f ij( n ) la probabilidad de que la
primera vez que la cadena llegue al estado j partiendo del estado i sea en la etapa n, es decir,
{
f ij(n ) = P X n = j , X r ≠ j∀r < n X 0 = i . }
PROBABILIDAD DE PASADA: Denotamos por f ij la probabilidad de que la cadena llegue
alguna vez al estado j partiendo del estado i. Se trata de la probabilidad de que la cadena pase
∞
alguna vez por j partiendo de i y se tiene que f ij = ∑ f( ).
n =1
ij
n

Sea N ij una variable aleatoria que recoge el número de etapa en que la cadena llega por primera
vez al estado j cuando parte del estado i. Puede expresarse f ij(n ) = P N ij = n y { }
f ij = P{N ij < ∞}.
RELACIÓN ENTRE f ij( n ) Y pij(n ) : Recuérdese que pij(n ) = P X m+ n = j X m = i ∀m ∈ N{ }
recoge la probabilidad de pasar del estado i al estado j en n etapas. Es claro que

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 3

pij(n ) = f ij(1) p (jjn−1) + f ij(2 ) p (jjn− 2 ) + f ij(3) p (jjn−3) + ... + f ij(n−1) p jj + f ij(n ) , es decir, podemos
descomponer el suceso “pasar de i a j en n etapas” en n sucesos exhaustivos y mutuamente
excluyentes de la forma “llegar por primera vez a j partiendo de i en la etapa k y pasar en n-k
etapas de j a j”. No es posible despejar las f ij( n ) directamente y por ello introducimos dos
funciones generatrices.
∞
PRIMERA FUNCIÓN GENERATRIZ Pij (s ) : Definimos Pij (s ) = ∑ p ( )s ij
n n
. Resulta que
n =1
∞
Pij (1) = ∑ pij(n ) es el número esperado de veces en que la cadena pasa por el estado j
n =1
partiendo del estado i.
∞
SEGUNDA FUNCIÓN GENERATRIZ Fij (s ) : Definimos Fij (s ) = ∑ f ( )sij
n n
. Nótese que
n =1

[ ]
∞ ∞ ∞ ∞
Fij (1) = ∑ f ij(n )1n = ∑ f ij(n ) = f ij y Fij' (1) = ∑ nf ij(n )1n = ∑ nf ij(n ) = E N ij cuando f ij = 1 ,
n =1 n =1 n =1 n =1

donde N ij es la variable aleatoria que recoge el número de etapa en que se alcanza por primera
vez el estado j partiendo del estado i. Fij (1) = f ij y Fij' (1) = E N ij [ ]
RELACIÓN ENTRE LAS FUNCIONES GENERATRICES. MÉTODO TEÓRICO DE
Pij (s )
RESOLUCIÓN: Se prueba fácilmente que Fij (s ) = .
1 + Pjj (s )
MÉTODO PRÁCTICO PARA OBTENER LOS f ij( n ) : Dada una cadena de Markov con
probabilidades de transición estacionarias {X n }n∈N definimos una nueva cadena X n {~ } n∈N
del
siguiente modo:
~ ⎧ X si Xr ≠ j ∀r < n
Xn = ⎨ n
⎩ j si ∃r < n : X r = j
Es decir, cuando la cadena llega al estado j se queda indefinidamente en él pero es igual que la
~
cadena original mientras no llegue al estado j. La matriz de transición P de la cadena de
{~ }
Markov X n n∈N es igual a la matriz de transición P de la cadena original salvo en lo que se
refiere a la j-ésima fila, que debe sustituirse por un vector nulo excepto en la j-ésima columna,
donde debe situarse un 1. Esta modificación expresa el hecho de que una vez en el estado j la
cadena no sale de él –se dice que el estado j es absorbente-. De este modo, la probabilidad de
que la primera vez que la cadena original llega al estado j partiendo de i sea en la etapa n es
igual a la probabilidad de que la cadena modificada pase de i a j en n etapas menos la
probabilidad de que la cadena modificada pase de i a j en n-1 etapas –ya que si la cadena
modificada no pasa de i a j en n-1 etapas eso significa que la cadena original nunca ha pasado
por j. En resumen, f ij(n ) = ~
pij(n ) − ~
pij(n−1) .

2.2. Clasificación de los estados y estructura de las cadenas de

Markov
ESTADO RECURRENTE: Un estado j ∈ E se dice recurrente si f jj = 1 , es decir, si es
seguro que la cadena va a volver al estado j ∈ E una vez que ha llegado a él. Como
Pjj (1)
f jj = F jj (1) = , se tiene que si j ∈ E es recurrente si y sólo si Pjj (1) = ∞ . En otras
1 + Pjj (1)

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 4

palabras, un estado j ∈ E es recurrente si, y sólo si, es infinito el número de veces que se
espera que la cadena pase por él cuando parte de él.
ESTADO TRANSITORIO: Un estado j ∈ E se dice transitorio si no es recurrente, esto es, si
f jj < 1 . Razonando del mismo modo, un estado es transitorio si y sólo si Pjj (1) < ∞ , es decir, si
se espera un número finito de visitas a dicho estado.
ESTADO QUE COMUNICA CON OTRO ESTADO: Se dice que el estado i ∈ E comunica
con j ∈ E si f ij > 0 , es decir, si existe probabilidad no nula de que la cadena llegue al estado j
Pij (1) ∞
cuando parte del estado i. f ij = Fij (1) = > 0 ⇔ Pij (1) = ∑ pij(n ) > 0 ⇔ ∃n : pij(n ) > 0 .
1 + Pjj (1) n =1

Es decir, i comunica con j si, y sólo si, alguna potencia de la matriz de transición otorga
probabilidad no nula a la transición entre los estados.
ESTADOS QUE INTERCOMUNICAN: Se dice que i y j intercomunican si i comunica con j y
j comunica con i.
TEOREMA:
∞
1. Si j es transitorio entonces Pij (1) = ∑ p ( ) < ∞∀i ∈ E , es decir, se espera un número finito
ij
n

n =1
de visitas a un estado transitorio sea cual sea el estado del que se parta.
2. Si j es recurrente e i comunica con j, entonces Pij (1) = ∞ , es decir, se espera un número
infinito de visitas a un estado recurrente desde aquellos estados que comunican con él
3. Si j es recurrente y j comunica con k ( f jk > 0 ), entonces k comunica con j, k es recurrente y
f jk = f kj = 1 . Es decir, si un estado recurrente comunica con otro estado, éste es recurrente.
Además, ambos estados intercomunican y es seguro que se llegará a uno de ellos partiendo
del otro. Nótese que en el caso de los estados recurrentes, la noción de comunicación y la de
intercomunicación coinciden.
4. Si j es recurrente y k es transitorio, entonces f jk = 0 , es decir, es imposible llegar de un
estado recurrente a un estado transitorio.
COROLARIO: Es evidente, ya que no se puede llegar de un estado recurrente a un transitorio,
que si i y j intercomunican o son ambos transitorios o son ambos recurrentes.
TEOREMA DE DESCOMPOSICIÓN: El espacio de estados E puede dividirse en dos
subconjuntos disjuntos; el primero constituido por los estados transitorios y el segundo el
formado por los estados recurrentes. Los estados transitorios son inaccesibles desde los
recurrentes. A su vez, los estados recurrentes pueden dividirse de manera única en clases de
equivalencias establecidas por la relación de equivalencia i ~ j -i comunica con j o i
intercomunica con j – de tal manera que si i y j están en la misma clase de equivalencia entonces
f ji = f ij = 1 y en caso contrario f ji = f ij = 0 . Tenemos así la siguiente estructura para la
matriz de transición de una cadena de Markov:

C1 C2 ... Cr
C1 P1 0 ... 0
C2 0 P2 ... 0
0
... ... ... ... 0
Cr 0 0 ... Pr
A B

SUBCONJUNTO CERRADO: Se dice que un subconjunto de estados C ⊂ E es cerrado si

cada estado de C comunica exclusivamente con estados de C y, por tanto, no comunica con
estados de E − C .

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 5

SUBCONJUNTO IRREDUCIBLE: Se dice que un subconjunto de estados C ⊂ E es
irreducible si todos los estados de C intercomunican.
El teorema de descomposición ha dividido el conjunto de estados recurrentes en subconjuntos
cerrados (formados por estados que sólo comunican entre ellos) e irreducibles (formados por
subconjuntos cuyos estados intercomunican entre todos ellos).

3.2. Estados recurrentes positivos y recurrentes nulos

ESTADO RECURRENTE POSITIVO: Un estado recurrente j ∈ E se dice recurrente positivo
[ ]
si F jj' (1) < ∞ , es decir, si E N jj < ∞ . Por ser j ∈ E un estado recurrente es seguro que la
cadena va a volver a pasar por él si parte de él - F jj (1) = 1 -, pero por ser recurrente positivo se
espera volver a él, partiendo de él, en un número finito de etapas. Como
lim F jj (1) − F jj (s ) lim 1 − F jj (s )
F jj' (1) = = , j ∈ E es recurrente positivo si, y sólo si,
s ↑1 1− s s ↑ 1 1− s
lim 1 − F jj (s ) Pjj (s )
< ∞ y como F jj ( s ) = , se tiene que
s ↑ 1 1− s 1 + Pjj (s )
1 − F jj (s )
(1 − F jj (s )) = 1 ⎜⎜1 − Pjj (s ) ⎟⎟ = 1 ⎜⎜ 1 ⎟⎟ , de donde
1 ⎛ ⎞ ⎛ ⎞
=
1− s 1− s 1 − s ⎝ 1 + Pjj (s ) ⎠ 1 − s ⎝ 1 + Pjj (s ) ⎠
lim 1 − F jj (s ) lim 1 ⎛ ⎞
(1 − s )(1 + Pjj (s )) > 0 .
1 lim
<∞⇔ ⎜ ⎟<∞⇔
s ↑ 1 1− s s ↑ 11 − s ⎝ 1 + Pjj (s ) ⎠
⎜ ⎟ s ↑1
ESTADO RECURRENTE NULO: Un estado recurrente j ∈ E se dice recurrente nulo si
[ ]
F jj' (1) = ∞ , es decir, si E N jj = ∞ . Para un estado recurrente nulo es infinito el número de
etapas esperado para regresar a él partiendo de él. Análogamente, j ∈ E es recurrente nulo si y

(1 − s )(1 + Pjj (s )) = 0 .
lim
sólo si
s ↑1
TEOREMA: Si i y j son dos estados recurrentes que intercomunican entonces o ambos son
recurrentes positivos o ambos son recurrentes nulos. Así, la recurrencia positiva o nula no es
una propiedad de los estados recurrentes, sino más bien de las clases de equivalencia
establecidas por la relación de intercomunicación. Los subconjuntos cerrados e irreducibles de
estados recurrentes establecidos por el teorema de descomposición serán, bien recurrentes
positivos, bien recurrentes nulos.

TEMA 3: PERIODICIDAD Y DISTRIBUCIONES

ESTACIONARIAS
1.3. Periodicidad de las cadenas de Markov
PERIODO DE UN ESTADO RECURRENTE: Un estado recurrente j ∈ E se dice que tiene
{ }
periodo t > 1 si es t = mcd n p (jjn ) > 0 . Por ejemplo, si partiendo de j ∈ E sólo podemos
volver a j ∈ E en las etapas múltiplos de 2, diremos que el periodo del estado j ∈ E es 2.
{ }
Nótese que n p (jjn ) > 0 representa el conjunto de etapas en las que la probabilidad de llegar a
j ∈ E partiendo de j ∈ E es no nula.
ESTADO RECURRENTE APERIÓDICO: Un estado recurrente j ∈ E se dice aperiódico si
{ }
mcd n p (jjn ) > 0 = 1 .

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 6

COMENTARIO: Un estado transitorio no tiene periodo ya que en cuanto la cadena llega a un
estado recurrente jamás va a volver a ninguno transitorio.
TEOREMA: Si dos estados intercomunican entonces tienen el mismo periodo. En consecuencia
los subconjuntos cerrados e irreducibles de estados recurrentes establecidos por el teorema de
descomposición son tales que los estados que los conforman tienen el mismo periodo.
TEOREMA: Si una subcadena de estados C ⊂ E cerrada e irreducible tiene periodo t entonces
la subcadena C ⊂ E puede dividirse de manera única en t subconjuntos D0 , D1 ,..., Dt −1 de tal
manera que la evolución se produce cíclicamente, pasando en cada etapa de Dr a Dr +1 -para
0 ≤ r ≤ t − 2 - y de Dt −1 a D0 .

D0 D1 D2 ... Dt −1
D0 0 0 ... 0
D1 0 0 ... 0
D2 0 0 0
... 0 ... ... ...
Dt −1 0 0 ... 0

2.3. Distribuciones estacionarias

DISTRIBUCIÓN ESTACIONARIA: Una distribución de probabilidad sobre E π = {π i }i∈E se
dice estacionaria respecto a una cadena de Markov de matriz de transición P si πP = π , es
∑
decir, si π i = π j p ji ∀i ∈ E . En otras palabras, una distribución de probabilidad es
j∈E
estacionaria si cuando el estado inicial de la cadena se elige con dicha distribución ésta se
mantiene constante etapa tras etapa.
TEOREMA DE LEVINSON: Si P es la matriz de transición de una cadena de Markov
irreducible –esto es, una cadena de Markov tal que todos sus estados intercomunican- entonces
existe una distribución estacionaria respecto a P si y sólo si la cadena es recurrente positiva. En

tal caso, la distribución estacionaria única es tal que π j =

1
[ ] =
lim
E N jj s ↑ 1
[ ]
(1 − s ) 1 + Pjj (s ) .
lim 1 − F (s ) lim
[ ]
Recuérdese que E N ij = Fij' (1) y que F jj' (1) =
s ↑ 1 1− s
=
jj

s ↑1
{(1 − s )[1 + P (s )]} . Así,
jj
−1

entendiendo E [N ] como el número de etapa en que se espera regresar al estado j cuando se

jj

parte de j, en el caso de una cadena irreducible de carácter recurrente positivo, la distribución

estacionaria viene dada por el inverso del número de etapa en que se espera regresar a cada
estado de la cadena cuando se parte de él. Así, una distribución estacionaria asignará
probabilidades más bajas a aquellos estados “de regreso más lento” y probabilidades más altas a
aquellos estados de “regreso más rápido”. Adicionalmente, hemos visto que un estado j –y la
subcadena irreducible a la que pertenece- es recurrente positivo si

πj =
1
[ ] =
lim
E N jj s ↑ 1
[ ]
(1 − s ) 1 + Pjj (s ) > 0 , luego podemos reformular la propiedad diciendo que
una subcadena irreducible es recurrente positiva si y sólo si la distribución estacionaria asigna
probabilidades no nulas a todos sus estados.
CONDICIÓN PARA QUE EXISTA DISTRIBUCIÓN ESTACIONARIA: Dada una cadena de
Markov cualquiera es condición necesaria y suficiente para que exista distribución estacionaria
que exista alguna subcadena C1 ⊂ E recurrente positiva. Por el teorema de Levinson existe una

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 7

distribución estacionaria π = {π i }i∈C1 para la matriz de la subcadena recurrente positiva
⎧π ∀j ∈ C1
C1 ⊂ E . La distribución π~ j = ⎨ j es estacionaria con respecto a P.
⎩ 0 ∀j ∈ E − C1
COROLARIO 1: Toda distribución estacionaria asigna probabilidad cero a los estados
transitorios.
COROLARIO 2: Si existen varias subcadenas recurrentes positivas cada una definirá una
distribución estacionaria única. La cadena total constará de tantas distribuciones estacionarias
como combinaciones lineales convexas de dichas distribuciones parciales.
COROLARIO 3: Si una cadena de Markov irreducible tiene un número de estados finito
entonces la cadena es recurrente positiva.
COROLARIO 4: Si una cadena de Markov irreducible y recurrente positiva tiene periodo t, la
1
distribución estacionaria ha de cumplir que ∑π
j∈D0
j = ∑π
j∈D1
j = ... = ∑π
j∈Dt −1
j = , lo cual es
t
coherente con el hecho de que la cadena visita cada subconjunto D0 , D1 ,..., Dt −1 una vez cada t
etapas.
COMENTARIO: Es de aplicación en algunos ejercicios de autocomprobación la fórmula
∞

∑ P[T > k ] = E[T ] .

k =0

TEMA 4: COMPORTAMIENTO ASINTÓTICO DE UNA CADENA

DE MARKOV
1.4. Teorema del límite de las probabilidades de transición de una
cadena de Markov
TEOREMA: Dada una cadena de Markov definida por E y P:
lim 1
1. Si i ∈ E es un estado recurrente y aperiódico entonces pii(n ) = π i = y
n→∞ E [N ii ]
lim (n )
p ji = f jiπ i ∀j ∈ E .
n→∞
lim t
2. Si i ∈ E es un estado recurrente y de periodo t entonces pii(nt ) = tπ i = ,
n→∞ E [N ii ]
lim (nt + r ) ∞
pii(m ) = 0∀m ≠ nt y p ji = tπ i ∑ f ji(nt + r )∀j ∈ E .
n→∞ n =0
lim (n )
3. Si i ∈ E es un estado transitorio p ji = 0∀j ∈ E .
n→∞
COMENTARIO: Se van considerando los estados a partir de las columnas de la matriz de
transición P y distinguiendo si se trata de estados recurrentes –periódicos y aperiódicos- o
transitorios.

2.4. Consecuencias del teorema del límite

COROLARIO 1: Si una cadena de Markov tiene todos sus estados aperiódicos –esto es,
recurrentes aperiódicos o transitorios- entonces la matriz de transición en n etapas P (n )
converge término a término hacia una matriz límite S donde cada S e es una matriz con todas
sus filas iguales a la distribución estacionaria –si Pe es recurrente positiva- o a cero –si Pe es
recurrente nula- de manera que la columna de S e correspondiente a un estado i ∈ E tiene todos

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 8

sus términos iguales a π i . Por su parte, α es la matriz cuyos elementos son α ji = f jiπ i . A
continuación se presentan las respectivas matrices P y S.

P1 0 .... 0
0 P2 ... 0
0
P= ... ... ... ...
0 0 Pr
A B

S1 0 .... 0
0 S2 ... 0
0
S= ... ... ... ...
0 0 Sr
α 0

COROLARIO 2: Naturalmente, se cumple que PS = SP = S .

COROLARIO 3: Si una cadena de Markov irreducible tiene periodo t entonces existen t
matrices límite, de modo que P (nt ) → S 0 , P (nt +1) → S1 ,..., P (nt +t −1) → S t −1 siendo:
D0 D1 D2 ... Dt −1
0 0 ... 0
S1 = 0 ... 0
...
0
0 0 ... 0
D0 D1 D2 ... Dt −1
0 0 ... 0
S2 = ... 0 0 0
0 ... 0 0
0 ... ... 0
0 0 ... 0
D0 D1 D2 ... Dt −1
0 0 0 ...
S t −1 = 0 0 ... 0
0 0 ... 0
0 0 0 0
0 0 0 0
D0 D1 D2 ... Dt −1
0 0 ... 0
S0 = 0 0 ... 0
0 0 ... 0
... 0 0 0
0 0 0 ...

donde las zonas rayadas indican valores no nulos. El elemento de la fila j-ésima, columna i-
ésima toma el valor tπ i en la única matriz en la que es no nulo.
COROLARIO 4: Dada una cadena de Markov reducible en la que las subcadenas tienen
periodos distintos, sea t el mínimo común múltiplo de los periodos existentes. Entonces la

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 9

matriz P t es una matriz aperiódica, y mediante el corolario 1 podemos obtener
lim (nt ) lim (nt + r )
S0 = P . A partir de aquí, S r = P = S 0 P r ∀r ∈ {1,..., t − 1} .
n→∞ n→∞
COROLARIO 5: Si i ∈ E es un estado recurrente entonces ∀j ∈ E se cumple que
1 n (n )
∑ p ji → f jiπ i . Nótese que el primer término representa la proporción de etapas entre las n
n m =1
primeras en que la cadena se encuentra en el estado i habiendo partido del estado j, de donde se
deduce que se puede interpretar f jiπ i como la proporción a largo plazo de etapas en que la
cadena se encuentra en el estado i habiendo partido del estado j.
OTRA INTERPRETACIÓN DE LAS DISTRIBUCIONES ESTACIONARIAS: Los valores
{π i }i∈E representan la proporción a largo plazo de etapas en que la cadena de Markov se
encuentra en el estado i ∈ E a lo largo de su evolución si ha partido de i ∈ E o de otro estado
recurrente que intercomunica con i ∈ E .

3.4. Algunas cuestiones complementarias

PROBABILIDAD DE ABSORCIÓN EN UN SUBCONJUNTO DE ESTADOS CERRADO:
Supuesto que la evolución de la cadena de Markov comienza en un estado transitorio puede
interesar conocer la probabilidad de que la evolución continúe en cada una de las subcadenas
cerradas con las que dicho estado comunica. Si T ⊂ E representa el conjunto de los estados
(n )
transitorios y C ⊂ E es un subconjunto cerrado e irreducible se tiene que f jC representa la
probabilidad de alcanzar por primera vez algún estado de C ⊂ E partiendo de j exactamente en
{
la n-ésima etapa. Obviamente f jC(n ) = P X n ∈ C , X r ∉ C∀r < n X 0 = j . Por otra parte, }
∞
f jC = ∑ f jC(n ) = P{∃n : X n ∈ C X 0 = j}.
n =1
(1)
Así, f jC representa la probabilidad de que la cadena sea absorbida por la subcadena C en la

primera etapa y es igual a ∑p

i∈C
ji . Por su parte, f jC(n ) = ∑p
k∈T
jk f kC(n−1) y sumando en n se obtiene

f jC = ∑ p ji + ∑ p jk f kC ∀j ∈ T que intuitivamente señala que la probabilidad de que

i∈C k∈T
partiendo del estado transitorio j la cadena resulte absorbida por el conjunto cerrado C ⊂ E
viene dada por la probabilidad de que sea absorbida en el primer movimiento - p ji - más la ∑
i∈C

probabilidad de que pase a otro estado transitorio desde el cual resulte absorbida - ∑p
k∈T
jk f kC -.

Se dispone de este modo de un sistema de tantas ecuaciones como incógnitas. Nótese que esta
técnica nos permite conocer los f ji que aparecen en el corolario 1 del apartado 2.4. Es
importante darse cuenta que si C ⊂ E está formado por estados recurrentes, entonces
f ji = f jC ∀i ∈ C .
TIEMPO MEDIO DE PRIMERA PASADA: Dada una subcadena irreducible E de estados
recurrentes se tiene que f ij = 1∀i, j ∈ E , es decir, es seguro que partiendo de cualquier estado
de la cadena ésta va a llegar tarde o temprano a cualquier otro estado. Podemos, no obstante,
estar interesados en conocer cuál es el valor esperado del número de etapa en el que se va a
alcanzar por primera vez el estado j partiendo del estado i , es decir E N ij . Se tiene que[ ]

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 10

 [ ] [ ]
E N ij = ∑ pik E N kj + 1 . Disponemos así de un sistema de tantas ecuaciones como incógnitas
k≠ j

a partir del cual podemos obtener los E N ij . [ ]

TEMA 9: PROCESOS DE MARKOV EN TIEMPO CONTINUO
CON ESPACIO DE ESTADOS DISCRETO
1.9. Introducción
PROCESO ESTOCÁSTICO EN TIEMPO DISCRETO: Dado un espacio probabilístico
(Ω, Α, P ) se entiende por proceso estocástico en tiempo discreto sobre (Ω, Α, P ) cualquier
sucesión de variables aleatorias definidas en (Ω, Α, P ) . Un proceso estocástico es, pues, una
sucesión de aplicaciones medibles X n : (Ω, A) → (R, Β ) .
PROCESO DE MARKOV EN TIEMPO DISCRETO: Un proceso estocástico en tiempo
discreto {X n }n∈N sobre un espacio probabilístico (Ω, Α, P ) se dice de Markov si
P{X n ∈ B X 0 , X 1 ,..., X n−1 } = P{X n ∈ B X n−1 }∀n ∈ N , ∀B ∈ Β
PROCESO DE MARKOV EN TIEMPO DISCRETO CON PROBABILIDADES DE
TRANSICIÓN ESTACIONARIAS: Un proceso de Markov en tiempo discreto sobre un espacio
probabilístico (Ω, Α, P ) tiene probabilidades de transición estacionarias si
P{X n ∈ B X n−1 = x} = P{X 1 ∈ B X 0 = x}∀x ∈ R, ∀n ∈ N , ∀B ∈ Β
PROCESO ESTOCÁSTICO EN TIEMPO CONTINUO: Dado un espacio probabilístico
(Ω, Α, P ) y un intervalo I de la recta real, se entiende por proceso estocástico en tiempo
continuo sobre (Ω, Α, P ) con conjunto de parámetros I cualquier familia {X t }t∈I de variables
aleatorias definidas en (Ω, Α, P ) .
PROCESO DE MARKOV EN TIEMPO CONTINUO: Dado un espacio probabilístico
(Ω, Α, P ) y un proceso estocástico en tiempo continuo definido sobre él {X t }t ≥0 se dice que el
{ } { }
proceso estocástico es de Markov si P X t ∈ B X u : u ≤ s = P X t ∈ B X s ∀s < t , ∀B ∈ Β
PROCESO DE MARKOV EN TIEMPO CONTINUO CON PROBABILIDADES DE
TRANSICIÓN ESTACIONARIAS: Un proceso de Markov en tiempo continuo se dice con
probabilidades de transición estacionarias si
P{X t ∈ B X s = x} = P{X t + h ∈ B X s + h = x}∀h ≥ 0, ∀x ∈ R, ∀s ≤ t , ∀B ∈ Β
PROCESO DE MARKOV EN TIEMPO CONTINUO CON ESPACIO DE ESTADOS
DISCRETO: Si la familia de variables aleatorias {X t }t ≥0 toma valores en un subconjunto
discreto E ⊂ R se dice que el conjunto de estados es discreto. Este hecho presenta la ventaja de
{ }
que las probabilidades de transición P X s +t ∈ B X s = x pueden especificarse como
P{X s +t = j X s = i}, probabilidad a la que nos referimos como probabilidad de transición del
estado i al j entre los instantes s y s+t.

2.9. Función de transición y distribución del proceso

PROCESO DE MARKOV EN TIEMPO CONTINUO CON ESPACIO DE ESTADOS
DISCRETO Y PROBABILIDADES DE TRANSICIÓN ESTACIONARIAS: Si se supone que
las probabilidades de transición son estacionarias se cumplirá
{ } { }
P X s +t = j X s = i = P X t = j X 0 = i ∀s ≥ 0, ∀i, j ∈ E , en otras palabras,
P{X s +t = j Xs = i} no depende del valor de s. Así, llamaremos probabilidad de transición de i

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 11

a j en cualquier intervalo de tiempo de longitud t y lo denotaremos por pij (t ) a
P{X s + t = j X s = i} = P{X t = j X 0 = i} que, obviamente, no depende de s.
PROPIEDADES GENERALES DE LAS FUNCIONES DE TRANSICIÓN
1. pij (t ) ≥ 0∀i, j ∈ E , ∀t ≥ 0 y pij (t ) = 1∀i ∈ E , ∀t ≥ 0
∑
j∈E

2. P(s + t ) = P(s )P(t ) , siendo P(r ) = ( pij (r )) . Condición de Chapman-Kolmogorov.

⎧1 si i = j
3. pij (0) = ⎨ , es decir, P (0 ) = I .
⎩0 si i ≠ j
CARACTERIZACIÓN DE UN PROCESO DE MARKOV EN TIEMPO CONTINUO CON
ESPACIO DE ESTADOS DISCRETO Y PROBABILIDADES DE TRANSICIÓN
ESTACIONARIAS: Queda caracterizado por:
1. El espacio de estados E, finito o numerable.
2. La familia de matrices de transición {P (t )}t ≥0 , que cumplen la condición de Chapman-
Kolmogorov P (s + t ) = P(s )P (t ) .
3. La distribución inicial p (0 ) , vector de componentes pi (0 ) = P{X 0 = i}∀i ∈ E
DISTRIBUCIONES MARGINALES DE LAS VARIABLES DEL PROCESO: p (t ) , vector
que recoge la distribución de la cadena en el instante t, de componentes
pi (t ) = P{X t = i}∀i ∈ E viene dado por p (t ) = p(0 )P(t ) .
DISTRIBUCIÓN CONJUNTA DE r VARIABLES DEL PROCESO:
{ }
P X t1 = i1 , X t2 = i2 ,..., X tr = ir viene dada por pi1 (t1 ) pi1i2 (t 2 − t1 ) pi2i3 (t 3 − t 2 )... pir −1ir (t r − t r −1 )
COMENTARIO: La diferencia fundamental entre los procesos de Markov en tiempo continuo y
conjunto de estados discretos y las cadenas de Markov radica en que al no existir en aquellos
una unidad de tiempo mínima –la etapa de la cadena- no es suficiente con conocer una única
matriz de transición a partir de la cual se puedan determinar las demás. Por el contrario, se
requiere una familia de matrices de transición {P (t )}t ≥0 . No obstante, la condición de Chapman-
Kolmogorov P (s + t ) = P(s )P (t ) pone de relieve que no es necesario conocer todas las
matrices {P (t )}t ≥0 a priori sino que unas pueden calcularse a partir de otras.
PROCESO DE MARKOV EN TIEMPO CONTINUO CON ESPACIO DE ESTADOS
DISCRETO, PROBABILIDADES DE TRANSICIÓN ESTACIONARIAS Y
ESTOCÁSTICAMENTE CONTINUO O ESTÁNDAR: La tercera propiedad general de las
funciones de transición exige que P (0 ) = I . Cuando la familia de matrices de transición cumple
→
además que P (t ) I se dice que el proceso de Markov es estocásticamente continuo o
t↓0
estándar. Supondremos que los procesos considerados cumplen esta condición.

3.9. Propiedades de las probabilidades de transición

TEOREMA 1: Las probabilidades de transición pij (t ) son funciones uniformemente continuas
de t en [0, ∞ ) ∀i, j ∈ E . Es decir,
∀ε > 0∃δ > 0 : x − y < δ ⇒ pij (x ) − pij ( y ) < ε∀x, y ∈ [0, ∞ ) .
TEOREMA 2:
1. Las probabilidades de transición de cada estado a sí mismo cumplen pii (t ) > 0
∀t ≥ 0; ∀i ∈ E . En otras palabras, los términos de la diagonal principal de cualquier matriz
de transición {P (t )}t ≥0 son distintos de cero.

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 12

2. Si pij (t 0 ) > 0 entonces pij (t ) > 0 ∀t ≥ t 0 , esto es, si en alguna matriz de transición de la
familia {P (t )}t ≥0 un elemento es distinto de cero, el elemento correspondiente en las
matrices de índice mayor seguirá siendo distinto de cero.
TEOREMA 3: Para cada par de estados i, j ∈ E tales que i ≠ j o bien se cumple que
pij (t ) > 0 ∀t > 0 o bien pij (t ) = 0 ∀t > 0 . Es decir, para los elementos situados fuera de la
diagonal principal o bien son siempre nulos o bien son siempre no nulos ( ∀t > 0 ).
lim pii (t ) − 1
TEOREMA 4: Para todo estado de E existe en el sentido de que dicho limite es
t↓0 t
finito o diverge hacia − ∞ . Recuérdese que pii (0 ) = 1∀i ∈ E .
lim pij (t )
TEOREMA 5: Para cada par de estados i, j ∈ E tales que i ≠ j , existe y además
t↓0 t
es finito. Recuérdese que pij (0 ) = 0∀i, j ∈ E : i ≠ j .
COMENTARIO 1: Los teoremas 4 y 5 aseguran que las funciones de transición son derivables
en el origen o, dicho de otro modo, que existe la matriz derivada P ' (0 ) . Los elementos de la
lim pii (t ) − 1
diagonal principal de esta matriz, , son negativos (o incluso iguales a − ∞ - y los
t↓0 t
lim pij (t )
términos situados fuera de la diagonal principal son finitos y positivos.
t↓0 t
COMENTARIO 2: En el caso particular de que E sea finito las filas de la matriz P ' (0 ) deben
sumar cero y, en consecuencia, no es posible que los elementos de la diagonal valgan − ∞ .

TEMA 10: ECUACIONES DIFERENCIALES DE KOLMOGOROV

1.10. Introducción
Seguimos considerando procesos de Markov en tiempo continuo con conjunto de estados
discreto, probabilidades de transición estacionarias y estocásticamente continuos. En tales
circunstancias, la familia de matrices de transición tiene derivada en el origen P ' (0 ) . En
circunstancias muy generales, las matrices de transición {P (t )}t ≥0 están ligadas a P ' (0 )
mediante ciertas ecuaciones diferenciales.

2.10. El caso en que E es finito

TEOREMA: Si E es finito, las funciones de transición pij (t ) tienen derivada continua en [0, ∞ )
y se verifican las relaciones matriciales P ' (t ) = P (t )P ' (0 ) y P ' (t ) = P ' (0 )P(t ) , que reciben el
nombre de ecuaciones diferenciales de Kolmogorov del futuro y del pasado respectivamente.
Estas ecuaciones diferenciales acompañadas de la condición inicial P (0 ) = I tienen como
solución común única P(t ) = e P '(0 )t .
COMENTARIO: En consecuencia, en el caso de que el espacio de estados E sea finito, la matriz
P' (0 ) es suficiente para tener determinadas todas las matrices de transición, sin más que
calcular la exponencial de la matriz P ' (0 )t empleando, por ejemplo, el método de Jordan: si
P ' (0) = HJH −1 entonces P(t ) = e P '(0 )t = He Jt H −1 . Recuérdese que dada una matriz cuadrada
∞
1 1 1 1
A se tiene e A = I + A + A2 + A3 + A4 + ... = ∑ An , con la convención de que
2 3! 4! n = 0 n!

A =I.
0

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 13

3.10. El caso en que E no es finito
En el caso de que el conjunto de estados E no sea finito no siempre se cumplen las ecuaciones
diferenciales de Kolmogorov. Vamos a ver condiciones para que dichas ecuaciones se cumplan:
CONDICIÓN NECESARIA Y SUFICIENTE PARA LA ECUACIÓN DEL PASADO: Dado
i ∈ E , para todo j ∈ E existe la derivada de pij (t ) y se verifica p'ij (t ) = p 'ik (0 ) pkj (t ) -o
∑
k∈E

matricialmente P ' (t ) = P ' (0 )P(t ) - si y sólo si ∑ p' (0) = − p' (0) < +∞ , es decir, si los
ik ii
k ≠i

elementos de cada fila de la matriz P ' (0 ) cumplen que el valor de la suma de aquellos situados
fuera de la diagonal principal coincide con el valor del elemento situado en la diagonal principal
cambiado de signo y además este valor es finito.
CONDICIÓN SUFICIENTE (NO NECESARIA) PARA LA ECUACIÓN DEL FUTURO: Si
existe M > 0 tal que p 'ii (0 ) ≥ − M ∀i ∈ E entonces para todo i, j ∈ E existe la derivada de
pij (t ) y se verifica p'ij (t ) = ∑ pik (t ) p'kj (0) -o matricialmente P ' (t ) = P(t )P' (0 ) -.
k∈E

TEOREMA: Si para todo j ∈ E se cumple que p 'ij (t ) = ∑ p (t ) p' (0) entonces para todo
ik kj
k∈E

k ∈ E tal que pik (t ) > 0 se verifica p' kj (t ) = ∑ pkl (0 ) p'lj (t ) para todo j ∈ E . En otras
k∈E
palabras, las ecuaciones del futuro implican las ecuaciones del pasado.

TEMA 11: CLASIFICACIÓN DE LOS ESTADOS Y

COMPORTAMIENTO ASINTÓTICO
1.11. Introducción
Seguimos considerando procesos de Markov en tiempo continuo con conjunto de estados
discreto, probabilidades de transición estacionarias y estocásticamente continuos.

2.11. Clasificación de los estados

Dado un proceso de Markov regido por la familia {P (t )}t ≥0 y dado un h > 0 , si observamos el
comportamiento del proceso de Markov en los instantes múltiplos de la unidad de tiempo h nos
encontramos con la cadena de Markov C h ≡ {Yn = X nh }n =0 . La matriz de transición de esta
∞

cadena de Markov la denotaremos por P (h ) .

COMENTARIO 1: La matriz P (h ) es aperiódica ya que pii (t ) > 0 ∀t ≥ 0; ∀i ∈ E implica que
pii (nh ) > 0 ∀n ∈ N con lo que t = mcd {n p (jjn ) > 0} = 1 .
ESTADO RECURRENTE: Dado un proceso de Markov en tiempo continuo, un estado i ∈ E
∞
se dice recurrente si ∫ pii (t )dt = ∞ .
0
ESTADO TRANSITORIO: Un estado se dice transitorio si no es recurrente.
COMENTARIO 2: Nótese la similitud de las definiciones de estados recurrentes y transitorios
entre los procesos y las cadenas de Markov. Para una cadena de Markov, un estado i ∈ E es
∞
recurrente si y sólo si Pii (1) = ∑ p( ) = ∞ .
ii
n

n =0
TEOREMA:

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 14

 ∞ ∞
1. Se tiene que ∫0
pii (t )dt = ∞ si y sólo si ∑ p (nh ) = ∞ para algún h > 0 , en cuyo caso
n =0
ii

∑ p (nh ) = ∞ para cualquier h > 0 .

n =0
ii

2. La descomposición de E en estados transitorios y recurrentes, subdivididos a su vez en

subcadenas cerradas e irreducibles, es la misma para cualquiera de las cadenas de Markov
C h ≡ {Yn = X nh }n=0 .
∞

COMENTARIO 3: En consecuencia, el teorema de descomposición para cadenas de Markov

enunciado en el apartado 2.2. es válido en el contexto de los procesos de Markov sin ninguna
variación.

3.11. Comportamiento asintótico

lim
TEOREMA: Para todo i, j ∈ E existe pij (t ) = π ij . En consecuencia al crecer t, la matriz
t →∞
P(t ) tiende hacia una matriz Π , que es, evidentemente, el límite común de [P(h )] para
n

cualquier h > 0 .
COROLARIO: Para todo s > 0 es Π = Π P(s ) = P(s )Π = ΠΠ .
ESTADO RECURRENTE POSITIVO: Se llama estado recurrente positivo en el proceso en
tiempo continuo a aquel i ∈ E tal que π ii > 0 . Un estado es recurrente positivo en el proceso
en tiempo continuo si y sólo si es recurrente positivo en alguna de las cadenas
C h ≡ {Yn = X nh }n=0 y, en tal caso, lo es en todas las cadenas.
∞

COROLARIO: Las filas de la matriz límite Π correspondientes a estados recurrentes positivos

son distribuciones estacionarias frente a P (s ) ∀s > 0 .
COROLARIO: Si se cumplen las ecuaciones de Kolmogorov del pasado, entonces
lim
p'ij (t ) = 0 y P' (0 )Π = 0 . Si se cumplen las del futuro, entonces además se cumple
t →∞
ΠP ' (0 ) = 0 .
∞
COMENTARIO: La integral ∫ p ji (t )dt representa el tiempo total esperado que el proceso de
0
Markov permanece en el estado i ∈ E cuando parte del estado j ∈ E . Así, i ∈ E es recurrente
si y sólo si el tiempo total esperado de permanencia en i ∈ E partiendo de i ∈ E es infinito.
p ji (t )dt recoge la parte de tiempo del intervalo [0, T ] que el
T
COMENTARIO: La integral ∫ 0
proceso de Markov permanece en el estado i ∈ E cuando parte del estado j ∈ E . Así,

p ji (t )dt es la proporción de tiempo del intervalo [0, T ] que el proceso de Markov

1 T
T ∫0
permanece en el estado i ∈ E cuando parte del estado j ∈ E . En consecuencia
lim 1 T
p ji (t )dt = π ji representa la proporción límite del tiempo que hay que esperar
T → ∞ T ∫0
permanecer en i ∈ E cuando la evolución comienza en j ∈ E .

4.11. Trayectorias de un proceso de Markov con espacio de estados

discreto
PERMANENCIA EN UN ESTADO: Dado i ∈ E denotamos por Ti a la duración de la
{
permanencia en el estado i ∈ E , es decir Ti = inf t : X t ≠ i X 0 = i . }

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 15

TEOREMA: Para todo i ∈ E se cumple que P Ti ≥ t X 0 = i = e { } p 'ii (0 )t
, es decir, Ti tiene
distribución exponencial1 de parámetro − p 'ii (0 ) . En base a este resultado, los estados del
proceso se clasifican en:
1. Instantáneos: Si p 'ii (0 ) = −∞ . Es decir, si E [Ti ] = 0 .
2. Estables: Si − ∞ < p 'ii (0 ) < 0 . Es decir, si 0 < E [Ti ] < ∞ .
3. Absorbentes: Si p 'ii (0 ) = 0 . Es decir, si E [Ti ] = ∞ .
TEOREMA: Si todos los estados son estables y X Ti representa el estado que adopta el proceso
de Markov en el momento en que abandona el estado i ∈ E se tiene que
p'ij (0)
{
P X Ti = j X 0 = i = } − p 'ii (0)
.

1
Una variable aleatoria con distribución exponencial tiene función de densidad f ( x ) = λe − λx y función de

distribución F (x ) = 1 − e − λx
, luego P{X ≥ x} = e − λx
. El valor esperado de esta variable aleatoria será

E[X ] =
1
.
λ

Procesos Estocásticos. Ciencias Matemáticas. UNED. Página 16