Procesos estocsticos

Un
proceso estocstico (PE) es una coleccin o familia de
variables aleatorias , ordenadas segn el subndice t , que en
general se suele identificar con el tiempo.

Para cada instante t, se tiene una variable aleatoria distinta.

Un proceso estocstico puede interpretarse como una sucesin

de variables aleatorias cuyas caractersticas pueden variar a lo
largo del tiempo.

A los valores que puede tomar la variable aleatoria se les

denominar estados. Se puede tener un espacio de estados
discreto y un espacio de estados continuo.

La variable tiempo puede ser de tipo discreto o de tipo continuo .

Clasificacin de los procesos estocsticos

Dependiendo

del conjunto de subndices T y el tipo de variable

aleatoria , se puede establecer la siguiente clasificacin:
Si el conjunto T es continuo, diremos que es un proceso
estocstico de parmetro continuo.
Si T es discreto, diremos que es un proceso estocstico de
parmetro discreto.
Si para cada instante t la variable aleatoria es de tipo continuo,
diremos que el proceso estocstico es de estado continuo.
Si para cada instante t la variable aleatoria es de tipo discreto,
diremos que el proceso estocstico es de estado discreto.

Clasificacin de los procesos estocsticos

t discreto

t continuo

X
discreta

Proceso de estado discreto

y tiempo discreto (Cadena)

Proceso de estado discreto y tiempo

continuo (Proc. Saltos Puros)

X
continua

Proceso de estado continuo

y tiempo discreto

Proceso de estado continuo y

tiempo continuo (Proceso Continuo)

Cadena: es un PE en el cual el tiempo se mueve en forma discreta y la

variable aleatoria slo toma valores discretos en el espacio de estados.
Proceso de Saltos Puros: es un PE en el cual los cambios de estados
ocurren en forma aislada y aleatoria, pero la variable aleatoria slo toma
valores discretos en el espacio de estados.
Proceso Continuo: los cambios de estado se producen en cualquier
instante y hacia cualquier estado dentro de un espacio continuo de
estados.

Ejemplo de una cadena

Estado discreto y tiempo discreto
Se considera una mquina dentro de una fbrica. Los posibles estados
para la mquina son que est operando o que est fuera de
funcionamiento; la verificacin de esta caracterstica se realizar al
principio de cada da de trabajo.
Si se hace corresponder el estado fuera de funcionamiento con el valor 0
y el estado en operacin con el valor 1, la siguiente figura muestra una
posible secuencia de cambios de estado a travs del tiempo para esa
mquina.

Ejemplo de procesos de saltos puros

Estado discreto y tiempo continuo
Se puede considerar una seal telegrfica. Slo hay dos posibles estados
(por ejemplo 1 y -1), pero la oportunidad del cambio de estado se da en
cualquier instante en el tiempo. Es decir, el instante del cambio de estado
es aleatorio.
La siguiente figura muestra
una seal telegrfica.

Ejemplo de un proceso continuo

Estado continuo y tiempo continuo
Se puede considerar la seal de voz vista en la pantalla de un
osciloscopio. Esta seal acstica es transformada en una seal elctrica
analgica que puede tomar cualquier valor en un intervalo continuo de
estados.
La siguiente figura muestra una
seal de voz, la cual est
modulada en amplitud.

Procesos de estado discreto

Una

secuencia de variables que indique el valor del proceso en instantes

sucesivos suele representarse de la siguiente manera:

en la que cada variable , i = 0, ..., n, tiene una distribucin de probabilidades que, en general, es distinta de las otras variables, aunque podran
tener caractersticas comunes.
El

principal inters en el caso discreto es el clculo de probabilidades de

ocupacin de cada estado, a partir de las probabilidades de cambio de

estado.

Procesos de estado discreto

Probabilidad de ocupacin de estado:

Probabilidad de transicin o de cambio de estado:

Esto significa que: si en el instante , la variable se halla en el

estado , se puede calcular la probabilidad condicionada en la que
se estar en el estado , en el instante siguiente .

Probabilidad de ocupar un cierto estado en un instante , si se conoce

en qu estado estuvo el proceso en los instantes anteriores:

Cadenas de Markov

Propiedad
de Markov: Toda la historia pasada del proceso se puede
resumir en la posicin actual que ocupa el proceso.

Es decir, un estado futuro depende slo del estado inmediatamente

anterior.

Para calcular la probabilidad de cambiar a otro estado, se cumple la

propiedad siguiente:

El proceso que cumple la propiedad de Markov se llama proceso de

Markov.

Las cadenas que cumplan la propiedad de Markov se llaman cadenas

de Markov.

Ejemplo 1
Considere un equipo de computacin el cual ser revisado al inicio de cada da
para verificar si est operativo o si est daado.
El diagrama de estados de la siguiente figura muestra los dos posibles estados del
proceso y las relaciones que se deben cumplir por pasar de un estado al otro.

As, con probabilidad PO-D se pasa del estado operativo al estado daado; sta es
una probabilidad de transicin o de cambio de estado.
En el caso de que el valor de la probabilidad anterior no cambie a travs del
tiempo (para todas las probabilidades involucradas en la figura) se dice que la
Cadena es estacionaria.

Ejemplo

Si en un da cualquiera el ordenador est daado al comenzar el da, slo puede

ocurrir una de dos cosas para el inicio del siguiente da: que siga daado (con
probabilidad PDD) o que haya sido reparado en ese da (con probabilidad PD-O).

Si en un da cualquiera el ordenador est funcionando correctamente al comenzar

el da, slo puede ocurrir una de dos cosas para el inicio del siguiente da: que se
dae (con probabilidad POD) o que se mantenga operativo (con probabilidad POO).

Si se define una variable aleatoria como el estado del ordenador al inicio del da
n, se podran asignar los valores 0 y 1 a los posibles estados daado u
operativo, respectivamente.

Ejemplo 1

Con qu probabilidad el estado del computador, en el da n, es

operativo?
Se pide la probabilidad de ocupacin de estado que se denota por:

Cul es la probabilidad de que el computador est daado en la primera

oportunidad de ser observado?
Sera .

Probabilidad de transicin o de cambio de estado

Otra manera de denotar a las probabilidades de transicin es de la

forma siguiente:

En una cadena, los valores de no dependen del valor n.

Es decir, las probabilidades de cambiar de estado son las mismas en
cualquier instante. Las propiedades de transicin son estacionarias
().

Matriz de probabilidades de transicin

(matriz de transicin de estados)
Sea un proceso Markoviano con n estados exhaustivos y mutuamente

excluyentes, con probalidades de transicin , donde:

, ; .
Por definicin,

La matriz de probabilidades de transicin de la cadena de Markov es:

El elemento en la fila i, columna j,
representa la probabilidad de
transicin de un paso, del estado
al estado .

Ejemplo 2 (Problema del jardinero)

Cada ao, durante la temporada de siembra de marzo a septiembre, un
jardinero realiza una prueba qumica para verificar la condicin de la tierra.
Segn el resultado de la prueba, la productividad en la nueva temporada
puede ser uno de tres estados: (1) buena, (2) regular y (3) mala.
A lo largo de los aos, el jardinero ha observado que la condicin de la tierra
del ao anterior afecta la productividad del ao actual y que la situacin se
describe mediante la siguiente cadena de Markov:

Problema del jardinero

Estado del
Sistema el
siguiente ao
Estado del
P = Sistema
este ao

Estados
(1) Buena, (2) regular y (3) mala.

Las probabilidades de transicin muestran que la condicin de la tierra puede o

deteriorarse o permanecer como est, pero nunca mejorar.
Por ejemplo, si la condicin de la tierra es buena en este ao (estado 1):
Hay 20% de que no cambie el ao siguiente, 50% de probabilidad de que sea
regular (estado 2), y 30% de probabilidad de que se deteriorar a una condicin
mala (estado 3).

Problema del jardinero

El jardinero modifica las probabilidades de transicin P utilizando un fertilizante
orgnico. En este caso, la matriz de transicin se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del

suelo.

Matriz de transicin en m pasos

Sea la matriz de transicin de un paso, entonces la matriz se conoce

como la matriz de transicin en m pasos.

Por ejemplo:
corresponde a las probabilidades de transicin en dos pasos, donde
es el elemento de la i-sima fila y j-sima columna de la matriz .
corresponde a las probabilidades de transicin en tres pasos.

Distribucin inicial de la cadena

En ocasiones no se conoce la ubicacin del proceso en el instante inicial.

Esta ocupacin podra presentarse en forma probabilstica como un

vector de ocupacin inicial .
El vector tiene como componentes la probabilidad de ocupar cada uno
de los estados en el instante inicial, es decir, los trminos para cada
estado j = 1, 2, ..., k :
con

Distribucin de las probabilidades de ocupacin de estados

de la Cadena en un instante cualquiera

Al

igual
que para el instante inicial, se puede definir un vector de ocupacin

de estado para cada instante n. Se le llamar .

El vector

tiene como componentes la probabilidad de ocupar cada uno de

los estados en el instante n :

con

Distribucin de las probabilidades de ocupacin de estados

de la Cadena en un instante cualquiera

En general,

se tiene la siguiente relacin:

que en forma matricial se escribe:

Ejemplo

Para

el problema del jardinero, la matriz de transicin (con fertilizante) es:

El jardinero considera que la condicin inicial de la tierra es buena, es decir

Determine las probabilidades absolutas de los tres estados del sistema despus
de 1, 8 y 16 temporadas de siembra.
Despus de una temporada,
la probabilidad absoluta es:

Ejemplo

Despus

de ocho temporadas, la probabilidad absoluta es:

=
=
Despus de 16 temporadas, la probabilidad absoluta es:

=
=

Prctica

1. Despus de mucho estudio sobre el clima, hemos visto que si un da

est soleado, en el 70% de los casos el da siguiente contina soleado, y
en el 30% se pone nublado.
Tambin nos fijamos en que si un da est nublado, la probabilidad de que
est soleado el da siguiente es de 60% y la probabilidad de que se ponga
nublado es de 40%. Entonces:
a.

Construir la matriz de transicin de la cadena.

b.

Obtener la matriz de transicin tras dos das.

c.

Si hoy est soleado, cul es la probabilidad de que est nublado el

da siguiente?

d.

Si un mircoles est nublado, cul es la probabilidad de que el

viernes siguiente haga sol?

2. Un profesor de ingeniera adquiere una computadora nueva cada dos aos.

El profesor puede elegir entre tres modelos: M1, M2, M3.

Si el modelo actual es M1, la computadora puede ser M2 con probabilidad 0,2;
o M3 con probabilidad 0,15.
Si el modelo actual es M2, las probabilidades de cambiar a M1 y a M3 son 0,6
y 0,25; respectivamente.
Si el modelo actual es M3, las probabilidades de comprar los modelos M1 y a
M2 son 0,5 y 0,1 ; respectivamente.
a. Represente la situacin como una cadena de Markov.
b. Determine la probabilidad de que el profesor compre el modelo actual en 4
aos.

CLASIFICACIN DE LOS ESTADOS

EN UNA CADENA DE MARKOV
Los estados de una cadena de Markov se clasifican con base en la

probabilidad de transicin de P de la siguiente manera:

1. Un estado j es absorbente si est seguro de regresar a s mismo en
una transicin; es decir, = 1.
2. Un estado j es transitorio si puede llegar a otro estado, pero no
puede regresar desde otro estado. Es decir,
para toda i.
3. Un estado j es recurrente si la probabilidad de ser revisitado desde
otros estados es 1. Esto puede suceder si, y slo si, el estado no es
transitorio.
4. Un estado j es peridico con periodo de t >1 si es posible un retorno
slo en t, 2t, 3t, pasos. Esto significa que
cuando n no es
divisible entre t.

Observaciones

cadena de Markov finita no puede constar de todos los estados

Una
transitorios.

Por definicin, la propiedad transitoria requiere entrar a otro estado de

atrapamiento y nunca volver a visitar el estado transitorio. El estado de
atrapamiento no necesita ser un solo estado absorbente.

Conjunto cerrado de estados: todos los estados del conjunto deben

comunicarse. Lo cual significa que es posible ir de cualquier estado a
cualquier otro estado del conjunto en una o ms transiciones; es decir que >
0, para todo y .

Una cadena de Markov es ergdica si todos los estados son recurrentes y

aperidica (no peridica). En este caso las probabilidades absolutas despus
de n transiciones, , siempre convergen de forma nica a una distribucin
limitante (estado estable) que es independiente de las probabilidades iniciales .

Ejemplo 1

Los estados 1 y 2 son transitorios, porque no se puede volver a entrar a

ellos una vez que el sistema se queda atrapado en los estados 3 y 4.

Los estados 3 y 4 forman un conjunto cerrado que en cierta forma

desempean el papel de un estado absorbente.

Ejemplo 2

Considere

la cadena de Markov del jardinero (sin fertilizante):

Los estados 1 y 2 son transitorios, porque llegan al estado 3, pero nunca se

puede regresar a ellos.
El estado 3 es absorbente, porque . Estas clasificaciones tambin pueden
verse cuando
es calculada.
El resultado muestra que, a la larga, la probabilidad
de volver a entrar al estado 1 o 2 es cero, y que la
probabilidad de quedarse atrapado en el estado
absorbente 3 es segura.

Ejemplo 3

Podemos

probar la periodicidad de un estado, calculando y observando los valores

de , para n = 2,3,4, . Estos valores sern positivos slo en el periodo
correspondiente del estado.
Consideremos

y son positivos para valores pares de n; y

cero en otros.
Esto significa que el periodo de cada uno
de los estados 1 y 3 es t =2.

PROBABILIDADES DE ESTADO ESTABLE

En una cadena ergdica, las probabilidades de estado estable se

pueden determinar de las ecuaciones

, donde

Una de las ecuaciones es redundante.

Lo que

dice es que las probabilidades permanecen sin cambiar

despus de una transicin adicional, y por esta razn representan la

distribucin de estado estable.

TIEMPOS MEDIOS DE RETORNO DE CADENAS ERGDICAS

Un subproducto directo de las probabilidades de estado estable es

la determinacin del nmero esperado de transiciones antes de
que el sistema regrese a un estado j por primera vez.

Esto se conoce como tiempo medio del primer retorno o tiempo

medio de recurrencia, y se calcula en una cadena de Markov de n
estados como

Ejemplo
Determine la distribucin de probabilidad de estado estable del
problema del jardinero (con fertilizante).

La solucin es y

A la larga la condicin de la tierra ser buena 10% del tiempo, regular 52% del
tiempo, y mala 37% del tiempo.

Los tiempos medios del primer retorno se calculan como:

En promedio, se requerirn aproximadamente 10 temporadas de siembra para

que la tierra regrese a un buen estado, 2 temporadas para que regrese al
estado regular, y 3 temporadas para que regrese a un estado malo.

Se considera la siguiente matriz de transicin en la que las probabilidades de

trasladarse a un buen estado son ms altas que en la matriz previa:

As, y
Luego, y

Ejemplo (Modelo de costos)

Considere

el problema del jardinero con fertilizante. El jardn necesita dos sacos

de fertilizante si la tierra es buena. La cantidad se incrementa en 25% si la tierra es
regular, y 60% si la tierra es mala. El costo del fertilizante es de $50 por saco.
El jardinero estima un rendimiento anual de $250 si no se utiliza fertilizante, y de
$420 si se aplica el fertilizante. Es redituable utilizar fertilizante?
Se aplican las probabilidades de estado constante
fertilizante anual esperado:

para obtener el costo del

El incremento diferencial del valor anual del rendimiento es $420 $250 = $170.
Se recomienda el uso del fertilizante.

TIEMPO DEL PRIMER PASO

Tiempo medio del primer paso : Es el nmero esperado de transiciones

para llegar por primera vez al estado j desde el estado i.

Para determinar el tiempo medio del primer paso de todos los estados en
una matriz de n transiciones P, se utiliza la siguiente frmula basada en una
matriz:

donde

matriz de identidad (m -1) .

matriz de transiciones P sin su fila j-sima y la columna j-sima del
estado destino j .
vector columna (m - 1) con todos los elementos iguales a 1.

La operacin matricial suma en esencia las columnas de

Ejemplo

Considere la cadena de Markov del jardinero con fertilizantes.

Se determinar el tiempo del primer paso a un estado especfico

desde todos los dems.
Del paso de los estados 2 y 3, (regular y malo) al estado 1 (bueno):
Para este caso, j = 1 ,

El tiempo medio del primer paso del estado i al estado 1 es:

Se requerirn 12,5 temporadas en promedio, para que la tierra

regular pase a tierra buena; y 13,34 temporadas para ir de la tierra
mala a la tierra buena.

El tiempo medio del primer paso del estado i al estado 2 es:

El tiempo medio del primer paso del estado i al estado 3 es:

Ecuaciones de Chapman-Kolmogorov

Sea

la matriz de transicin de n pasos; y la probabilidad

absoluta despus de n transiciones, donde es el vector de

probabilidades iniciales. (
Como , tenemos que:
,

Estas ecuaciones se conocen como ecuaciones de ChapmanKolmogorov.

Diagrama de transicin de
una cadena de Markov de tiempo discreto (CMTD)

Grficamente, una CMTD con espacio de estados finito se puede representar

mediante un diagrama de transicin, es decir, mediante un grafo dirigido finito.
Cada nodo representa un estado de la cadena, los arcos representan las
posibles transiciones entre estados y sobre los arcos se indican las
probabilidades de transicin entre los estados representados por los nodos
unidos por cada arco.
Si existen dos estados con probabilidad de p y 1- p, tales que :
El diagrama de transicin es:

Anlisis de los estados absorbentes

El anlisis de las cadenas de Markov con estados absorbentes puede

realizarse de forma conveniente con matrices.

La cadena de Markov se particiona de la siguiente manera:

La disposicin requiere que todos los estados absorbentes ocupen la

esquina sureste de la nueva matriz.

Tiempo esperado en el estado j , iniciado en el estado i es el

elemento de .
Tiempo esperado para la absorcin: .
Probabilidad de la absorcin: .

Ejemplo
Se procesa un producto en secuencia en dos mquinas, I y II. La
inspeccin se realiza despus de que una unidad del producto se
completa en cualquiera de las mquinas.
Hay 5% de probabilidades de que una unidad sea desechada antes de
inspeccio-narla.
Despus de la inspeccin, hay 3% de probabilidades de que la unidad sea
desechada, y 7% de probabilidades de ser devuelta a la misma mquina
para trabajarla de nuevo. De lo contrario, una unidad que pasa la
inspeccin en ambas mquinas es buena.
a. Para una pieza que se inicia en la mquina I, determine el promedio de
visitas a cada estado.
b. Si un lote de 1000 unidades se inicia en la mquina I, determine el
promedio de unidades buenas completadas.

Para la cadena de Markov, el proceso tiene 6 estados:

Iniciar en la mquina I (s1)

Inspeccionar despus de salir de la mquina I (i1),

Iniciar en la mquina II (s2),

Inspeccin despus de salir de la mquina II (i2),

Desechar despus de la inspeccin I o II (J),

El producto pas la inspeccin de ambas mquinas y se

considera un producto bueno despus de II (G).

Matriz de transicin

Los estados J y G
son estados
absorbentes.

a. Para una pieza que se inicia en la mquina I, determine el promedio de

visitas a cada estado.

Como el tiempo esperado en el estado j , iniciado en el estado i, es el
elemento de , entonces calculamos y observamos la primera fila
(estado inicia en la mquina I).

La primera fila de muestra que, en promedio, la mquina I es

visitada 1,07 veces; la inspeccin I es visitada 1,02 veces; la

mquina II es visitada 0,98 veces; y la inspeccin II es visitada 0,93
veces.

b. Si un lote de 1000 unidades se inicia en la mquina I,

determine el promedio de unidades buenas completadas.

Necesitamos la probabilidad de que una pieza sea
terminada (estado G); como G es un estado absorbente, se
calcula la probabilidad de absorcin

La probabilidad de que una pieza sea terminada, iniciando

desde la mquina I es 0,84.
De un lote de 1000 piezas, 1000 x 0,84= 840 piezas sern
terminadas.


c.

Suponga que el tiempo de procesamiento en las mquinas I y II es de

20 y de 30 minutos, respectivamente. El tiempo de inspeccin en I es

de 5 minutos; y en II, es de 7 minutos. Cunto tiempo tarda una
pieza en ser procesada (desechada o terminada)?
Se multiplica el nmero de veces que la pieza pasa por cada uno
de los pasos del proceso hasta que llegue a desecharse o a terminarse, por el tiempo que tarda en cada caso.
El tiempo total ser la suma de esos productos.

Ejemplo

La matriz P puede reacomodarse y particionarse como sigue :

Cuando pido prestado un libro de la biblioteca de la ciudad, trato de

devolverlos despus de una semana. Dependiendo del tamao del libro y de
mi tiempo libre, hay 30% de probabilidades de que lo conserve otra semana.
Si me lo quedara dos semanas, hay 10% de probabilidades que me lo quede
una semana ms. En ninguna condicin me lo quedo ms de tres semanas.

a.

Exprese la situacin como una cadena de Markov.

b.

Determine el promedio de semanas antes de devolver el libro a la biblioteca.

d.

Suponga que el costo de la mano de obra para las mquinas I y II es

de $20 por hora y que para la inspeccin es de slo $18 por hora.
Suponga adems que se requieren 30 minutos y 20 minutos para
procesar una pieza en las mquinas I y II, respectivamente. El tiempo
de inspeccin en cada una de las dos estaciones es de 10 minutos.
Determine el costo de la mano de obra asociado con una pieza
terminada (buena).