Académique Documents
Professionnel Documents
Culture Documents
CADENAS DE MARKOV
En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación inherente a las fuentes de esa
variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemático y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variación mediante un modelo probabilístico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilística. Tales procesos se llaman procesos estocásticos. Después de introducir brevemente los
procesos estocásticos generales en la primera sección, el resto del capítulo está dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen sólo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una
clase de modelos probabilísticos de gran importancia y por lo tanto, se han aplicado con éxito en áreas tales
como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción, entre otros.
Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego también se suspende si mi capital se reduce a $0.
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso
estocástico de tiempo discreto. Nótese que X0 = 2 es una constante conocida, pero que X1 y
las demás Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad
1 - p. Nótese que si Xt = 4, entonces Xt+1 y todas las demás Xt también serán iguales a 4.
1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2
Igualmente, si Xt = 0, entonces Xt+1 y todas las demás Xt serán también cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no está pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya está
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocástico, definimos a t como el tiempo después que la moneda ha sido lanzada
por t-ésina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el número de bolas sin pintar en la
urna, r el número de bolas rojas y b el de bolas negras. Luego los estados del sistema serán:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].
Se nos dice que X0 = [2, 0, 0]. Después del primer lanzamiento una bola habrá sido pintada
ya sea de rojo o de negro y el estado será [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 1]. Es claro que debe haber alguna relación entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 será [0, 1, 1].
Ejemplo 1.3 Sea X0 el precio de una acción de la compañía de Computadoras CSL al principio de este
día hábil. También, sea Xt el precio de esa acción al principio del t-ésimo día hábil en el
futuro. Es claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo
acerca distribución de probabilidad de Xt+1; el asunto es: ¿qué nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de Xt+1? La respuesta a esta pregunta es
de importancia crítica en finanzas. Para mayores detalles, véase la siguiente sección.
Ejemplo 1.4 Problema de inventarios. Una tienda de cámaras tiene en almacén un modelo especial
que se puede ordenar cada semana. Sean D1, D2, las demandas de este tipo de cámara
durante la primera, segunda, , t-ésima semana, respectivamente. Suponga que las Dt son
variables aleatorias independientes e idénticamente distribuidas con distribución de
probabilidad conocida. Sea Xt el número de cámaras que se tiene en el momento de iniciar
el proceso. El sábado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente política (s, S)2 para ordenar: Si el
número de cámaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {Xt} es un proceso estocástico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cámaras en inventario al final de la semana
Estado 1 Tener 1 Cámara en inventario al final de la semana
Estado 2 Tener 2 cámaras en inventario al final de la semana
Estado 3 Tener 3 cámaras en inventario al final de la semana.
De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la expresión
2
Una política (s, S) es una política de revisión continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S s). Si el nivel de inventario es s o mayor que, no se ordena.
3
máx{( 3 Dt 1 ), 0} si X t 1
X t 1 (1)
máx{( X t Dt 1 ), 0} si X t 1
Se finalizará esta sección con una explicación breve de los procesos estocásticos de tiempo continuo. Un
proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del
sistema se puede examinar en cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede
considerar que el número de personas en un supermercado a los t minutos después de abrir, es un proceso
estocástico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran más
adelante. Como el precio de una acción se puede observar en cualquier tiempo, y no sólo al abrir la bolsa,
este se puede considerar como proceso estocástico de tiempo continuo. Al considerarlo así, se ha podido
llegar a importantes resultados en la teoría de finanzas, incluyendo la famosa fórmula de Black-Scholes para
opción de precio.
En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pasó la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomará el sistema en el futuro inmediato solo depende del presente más no
del pasado. La probabilidad condicional P X t 1 it 1|X t it se llama probabilidad de transición, ya que el
sistema en período pasa del estado it+1 al estado it.
Además, si para cualquier par de estados i y j ocurre P X t 1 j| X t i toma el mismo valor para todo t, se
dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)
donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las pij, se les conoce con el
nombre de probabilidades de transición estacionarias.
La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hipótesis de estabilidad a la ecuación (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.
En la mayoría de las aplicaciones, las probabilidades de transición se presentan como una matriz P de
probabilidad de transición s s. La matriz de probabilidad de transición P se puede escribir como
p11 p12 p 1S
p p 22 p 2 S
P 21
p S1 pS2 p SS
4
Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo t + 1. Esto significa
que para cada i,
s
P( X
s
t 1 j | X t i) 1 o bien que p
j 1
ij 1
j 1
También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transición son no negativos y además, los elementos de cada renglón deben
sumar 1.
El estudio de las cadenas de Markov también necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs]
se le llama distribución inicial de probabilidad de la cadena de Markov.
Ejemplo 2.1 La ruina del jugador (continuación). Encuentre la matriz de transición del Ejemplo 1.1.
Solución Como la cantidad de dinero que tengo después de t + 1 jugadas depende de los
antecedentes del juego sólo hasta la cantidad de efectivo que tengo después de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas del juego
no varían con el tiempo, también tenemos una cadena de Markov estacionaria. La matriz de
transición es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 P 0 0
P = 2 0 1-p 0 P 0
3 0 0 1-p 0 p
4 0 0 0 0 1
Si el estado es 0 o 4 no juego más y, por lo tanto, el estado no puede cambiar; entonces p00 =
p44 = 1. Para los demás estados sabemos que, con probabilidad p, el estado del siguiente
periodo será mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo será menor en 1 que el estado actual.
Una matriz de transición se puede representar con una gráfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transición pij. La Fig. 1 es una
representación gráfica de la matriz de probabilidad de transición para este ejemplo.
Figura 1
Representación gráfica
de la matriz de
transición para el
ejemplo de la ruina del
jugador
Ejemplo 2.2 (Continuación) Determine la matriz de transición del Ejemplo 1.2 de la sección anterior.
Solución Como el estado de la urna después del siguiente lanzamiento de la moneda depende sólo
del pasado del proceso hasta el estado de la urna después del lanzamiento actual, se trata
de una cadena de Markov. Además, las reglas no varían a través del tiempo y por lo tanto
tenemos una cadena estacionaria de Markov. La matriz de transición para el Ejemplo 1.2 es
la siguiente:
Estado
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]
[0, 1, 1] 0 ½ ½ 0 0 0
5
[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
P=
[2, 0, 0] 0 0 0 0 ½ ½
[1, 1, 0] ¼ ¼ 0 0 0 ½
[1, 0, 1] ¼ 0 ¼ 0 ½ 0
Para ver cómo se forma la matriz de transición, determinaremos el renglón [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transición del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ½) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ½), lo que da una probabilidad de ¼. Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ½) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ½) se alcanza el estado [0, 1, 1] con probabilidad ¼. Finalmente, si se escoge la
bolla roja (con probabilidad de ½), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiará el color y se alcanza así el estado [1, 0, 1] con probabilidad ½. Lo
anterior se resume en la Tabla 1.
Figura 2
Representación
gráfica de la matriz
de transición para el
ejemplo de la urna
Ejemplo 2.3 (Continuación) En los últimos años, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una acción se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una acción, como el
de la compañía de computadoras CSL, se puede representar por una cadena de Markov.
¿Qué nos dice esto? Simplemente que la distribución de probabilidad del precio de las
acciones mañana depende sólo del precio de hoy, pero no de los precios anteriores. Si el
precio de una acción se puede representar como cadena de Markov, los “tablistas” que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado están mal. Por ejemplo, supongan que el precio diario de una acción de CSL sigue
una cadena de Markov y el precio de hoy es 50 dólares. Entonces, para predecir el precio de
mañana no importa si el precio ha aumentado o disminuido durante cada uno de los últimos
30 días. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dólares, la predicción del precio de mañana se debe basar sólo en el hecho de
que hoy el precio de esas acciones es de 50 dólares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su cotización diaria se puede describir con una cadena
de Markov. A esta idea se le llama con frecuencia hipótesis del mercado eficiente.
6
Ejemplo 2.4 Problema de inventario (continuación). Encontrar la matriz de transición para el ejemplo
1.4, suponiendo que Dt tiene una distribución de probabilidad Poisson con parámetro = 13.
Solución Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0, entonces Xt+1= máx{(3 – Dt+1),
0}, según la Ecc 1. Pero como Xt+1=0, 3 – Dt+1 0 y por lo tanto Dt+1 3. Así, p00= P(Dt+1 3) =
1 - P(Dt+1 2) = .080; y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. Si
Xt=1, entonces Xt+1= máx{(1 – Dt+1), 0}. Pero como Xt+1=0, 1 – Dt+1 0 y por lo tanto la
demanda debe ser 1 o más. Por esto, p10= P(Dt+1 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar
p21= P(Xt+1=1 | Xt=2), observe que Xt+1= máx{(2 – Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1,
entonces la demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p21=
P(Dt+1=1) = .368. Los elementos restantes se obtienen en forma similar, lo que lleva a la
siguiente matriz de transición:
0 1 2 3
0 .080 .184 .368 .368
1 .632 .368 0 0
P
2 .264 .368 .368 0
3 .080 .184 .368 .368
Figura 3
Representación gráfica para
la matriz de transición para
el problema de inventario.
PROBLEMAS
e x
Si x 0, 1, 2,
3
La distribución Poisson esta dada por: P( X x) x!
0, en cualquier otro caso
7
donde pij(n) se llama probabilidad en la etapa n de una transición del estado i al estado j.
Es claro que pij(1) = pij. Para determinar pij(2) nótese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y después pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
8
k s
p ij (2) (probabili dad de transición de i a k )( probabilid ad de transición de k a j )
k 1
El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i de la matriz P por la
columna j de esa matriz. Por lo tanto, pij(2) es el ij-ésimo elemento de la matriz P2. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
Pij(n) = elemento ij-ésimo de Pn (5)
Figura 4
pij(2) = pi1 p1j + pi2 p2j +
+ pispsj
Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compró cola 2, hay 80% de probabilidades que su
próxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, ¿cuál es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, ¿cuál es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?
Solución Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compró la persona por última
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
Si definimos Xn como el tipo de cola que compra una persona en la n-ésima compra futura (la
compra actual = X0), entonces X0, X1, se pueden describir como una cadena de Markov
con la siguiente matriz de transición:
9
1 2
1 0.90 0.10
P=
2 0.20 0.80
Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, después de dos compras a partir de ahora. Con la teoría
básica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Nótese que p21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p2Ip11 +
p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.
Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.
En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se definió en la Secc.
1.2, sea qi la probabilidad que la cadena esté en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema esté en el estado i en el tiempo n mediante el siguiente razonamiento (Fig. 5):
Figura 6
Determinación de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial
is
(probabilidad de que el estado original sea i)
i 1
X (probabilidad de pasar de i a j en n transiciones)
is
q i p ij (n)
i 1
Para mostrar el uso de la ecuación (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, ¿qué fracción de los compradores
estará tomando cola 1? Como q = [.60, .40] y
q (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,
Para mostrar el comportamiento de las probabilidades de transición en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transición de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transición en la etapa n.
PROBLEMAS
GRUPO A el 4% de las familias rurales pasan a una zona
1. Cada familia colombiana se puede clasificar como urbana y el 6% se mudan a una zona suburbana.
habitante de zona urbana, rural o suburbana. (a) Si una familia actualmente vive en una zona
Durante un año determinado, el 15% de todas las urbana, ¿cuál es la probabilidad que después
familias urbanas se cambian a una zona suburbana de 2 años viva en zona urbana? ¿En zona
y el 5% se cambian a una zona rural. También, el suburbana? ¿En zona rural?
6% de las familias suburbanas pasan a zona (b) Supongamos que en la actualidad el 40% de
urbana y el 4% se mudan a zona rural. Por último, las familias viven en zona urbana, el 35% en
11
zona suburbana y el 25% en zona rural. dígito transmitido se registre con el valor opuesto al
Después de dos años, ¿qué porcentaje de las final de la transmisión. Si X0 denota el dígito binario
familias colombianas vivirá en zona urbana? que entra al sistema, X1 el dígito binario registrado
(c) ¿Qué problemas se pueden presentar si este después de la primera transmisión, X2 el dígito
modelo se usara para predecir la distribución binario registrado después de la segunda
futura de la población en Colombia? transmisión, , entonces {Xt} es una cadena de
Markov.
2. Se pregunta lo siguiente acerca del Problema de la
ruina del jugador (Secc. 1 y Secc. 2). (a) Determine la matriz de transición.
(a) Después de jugar dos veces, ¿cuál es la (b) Diseñe un programa que permita encontrar la
probabilidad que tenga $3,000? ¿Cuál la de matriz de transición de 10 pasos P(10). Use
que tenga $2,000? este resultado para identificar la probabilidad
(b) Después de jugar tres veces, ¿cuál es la de que un dígito que entra a la red se registre
probabilidad que tenga $2,000? correctamente después de la última
transmisión.
3. En el Ejem. 2.2, determine las siguientes (c) Suponga que la red se rediseña para mejorar
probabilidades de transición en n etapas: la probabilidad de la exactitud de una sola
(a) Después de haber pintado 2 bolas, ¿cuál es la transmisión de 0.99 a 0.999. Repita el inciso (b)
probabilidad que el estado sea [0, 2, 0]? para encontrar la nueva probabilidad de que
(b) Después de haber pintado tres bolas, ¿cuál es un dígito que entra a la red se registre
la probabilidad que el estado sea [0, 1, 1]? correctamente después de la última
Trace un diagrama como el de la Fig. 5. transmisión.
4. Reconsidere el problema 2 de la sección anterior. 6. Una partícula se mueve sobre un círculo por
(a) Encuentre la matriz de transición de n puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
transiciones P(n) para n = 2, 5, 10, 20. manecillas del reloj). La partícula comienza en el
(b) La probabilidad de que llueva hoy es 0.5. Use punto 0. En cada paso tiene una probabilidad de
los resultados del inciso (a) para determinar la 0.5 de moverse un punto en el sentido de las
probabilidad de que llueva dentro de n días, manecillas del reloj (0 sigue al 4) y una probabilidad
para n = 2, 5, 10, 20. de 0.5 de moverse un punto en el sentido opuesto.
5. Suponga que una red de comunicaciones transmite Sea Xn (n 0) la localización en el círculo después
dígitos binarios, 0 o 1, en donde cada dígito se del paso n; {Xn} es entonces una cadena de
transmite 10 veces sucesivas. Durante cada Markov.
transmisión, la probabilidad de que ese dígito se (a) Encuentre la matriz de transición.
transmita correctamente es de .99. En otras (b) Use el programa hecho en el problema
palabras, se tiene una probabilidad de .01 de que el anterior para determinar la matriz de transición
P(n) para n = 5, 10, 20, 40, 80.
Figura 7
Representación gráfica
de la matriz de
transición
DEFINICIÓN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algún n 1, pij(n) > 0.
Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.
De la cadena de Markov con la matriz P de la Fig. 6, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningún arco comienza en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son más que clases de equivalencia
inducidas por la relación de comunicación.
DEFINICIÓN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.
Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relación de comunicación y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.
Siempre que entramos a un estado de absorción, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que sólo contenga un estado.
DEFINICIÓN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado i
no es alcanzable desde el estado j. Commented [1]: Esta mal definido
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a él. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
13
(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 2—3—4, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].
En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y también estados absorbentes 4). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transición de la Fig. 7 todos los
estados son recurrentes.
La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes
DEFINICIÓN Un estado i es periódico con periodo k >1 si k es el menor número tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud múltiplo de
k. Si un estado recurrente no es periódico, se llama aperiódico.
Al igual que la recurrencia es una propiedad de clase, también lo es la periodicidad. Esto es, si el estado i en
una clase tiene período k, todos los estados de esta clase (o conjunto cerrado) tienen período k.
cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la única manera de regresar a ese
estado es seguir la trayectoria 1—2—3—1 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
al estado 1 tomará 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar allí tres periodos después.
Figura 8
Cadena periódica de
Markov con k = 3.
DEFINICIÓN Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre sí,
se dice que la cadena es ergódica.
El ejemplo de la ruina del jugador no es cadena ergódica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergódica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se
4
Todo estado absorbente es recurrente. Lo contrario no es cierto.
14
comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergódica de Markov. De las siguientes tres cadenas
de Markov, P1 y P3 son ergódicas y P2 no es ergódica.
12 12 0 0
13 23 0 1 1 14 1
2
1
4
0 0
P1 12 0 12 Ergódica P2 2 2 2 1 No ergódica P3 23 1
0 Ergódica
0 0 3 3 3
0 14 34 0 2
3
1
3
0 0 4 4
1 3
P2 no es ergódica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre sí.
Después de las próximas dos secciones, la importancia del concepto presentado en esta sección será
aclarada.
PROBLEMAS
GRUPOA También, para cada cadena, determine los estados
1. En el Ejem. 2.1, ¿cuál es el periodo de los estados recurrentes, transitorios y absorbentes.
1 y 3? .2 .8 0 0
0 .8 .2
0 0 .9 .1
2. La cadena de Markov de la Secc. 1.3, Prob. 1, ¿es P1 .3 .7 0 P2
ergódica? .4 .5 .1 0
.4 .5 .1
3. Se tiene la siguiente matriz de transición: 0 0 0 1
0 0 1 0 0 0 5. En la Serie Mundial de Póquer de 1980 participaron
0 0 0 0 0 1 54 jugadores. Cada uno de ellos comenzó con
0 0 0 0 1 0 10000 dólares. Los juegos continuaron hasta que
P 1 1 1
uno de los jugadores ganó todo el dinero de los
4 4 0 2 0 0 demás. Si se modelara esta Serie Mundial como
1 0 0 0 0 0
cadena de Markov, ¿cuántos estados absorbentes
0 13 0 0 0 23 tendría esa cadena?
(a) ¿Cuáles estados son transitorios? 6. ¿Cuál de las siguientes cadenas es ergódica?
(b) ¿Cuáles estados son recurrentes? .7 0 0 .3
(c) Identifique todos los conjuntos cerrados de .4 0 .6
.2 .2 .4 .2
estados. P1 .3 .3 .4 P2
(d) ¿Es ergódica esa cadena? .6 .1 .1 .2
0 .5 .5
4. Para cada una de las siguientes matrices. .2 0 0 .8
Determine si la cadena de Markov es ergódica.
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.
TEOREMA 1 Sea P la matriz de transición de una cadena ergódica de s estados5. Existe entonces un
vector 1 2 s tal que
5
Para ver por qué el teorema 1 no puede ser válido para una cadena no ergódica, véanse los problemas 9 y 10 al final de esta sección.
15
1 2 s
s
lim P n 1 2
n
1 2 s
Recuerde que el ij-ésimo elemento de Pn es pij(n). El teorema 1 establece que para cualquier estado inicial i,
lim pij (n) j
n
Observe que para n grande, Pn tiende a una matriz con renglones idénticos. Esto quiere decir que después
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.
Desafortunadamente, el sistema de ecuaciones que especifica la ecuación (8) tiene un número infinito de
soluciones, porque el rango de la matriz P siempre resulta 1. Para obtener valores únicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (10)
Así, después de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.
Para mostrar cómo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transición de ese ejemplo era
0.90 0.10
P
0.20 0.80
1 = 0.901 + 0.202
2 = 0.101 + 0.802
Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, después de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.
j (1 p jj ) k p kj (12)
k j
Recuérdese que en el estado estable, la probabilidad de que el sistema esté en el estado j es j. Según esa
observación se concluye que
Probabilidad de que una transición particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transición actual deje j)
= j(1 pjj)
y
Probabilidad de que determinada transición entre al estado j
= (probabilidad de que el periodo actual comience en k j)
k
Es aceptable la ecuación (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sería mayor que el lado izquierdo. Esto ocasionaría una probabilidad de “acumulación” en el
estado j y no existiría una distribución de estado estable. Se puede considerar que la ecuación (12) dice que
en el estado estable, el “flujo” de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qué las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.
Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas = 1 año). Suponga que hay 100 millones de clientes de cola. La
producción de una unidad de venta de cola cuesta 1 dólar y se vende a 2 dólares. Una
empresa de publicidad garantiza, por 500 millones de dólares al año, un decremento del 10%
al 5% de la fracción de consumidores de cola 1, que se cambian a cola 2 después de una
compra. ¿Debe contratar a la empresa de publicidad la compañía que fabrica la cola 1?
Solución En la actualidad, una fracción 1 = 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dólar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada año, las ganancias actuales del fabricante de cola 1, al año, son
2/3(5200000000) = 3466666667 dólares
Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transición
directamente al estado j, con probabilidad pij, o que pase a cualquier estado k j, con probabilidad pik. En este último
caso, se necesitará un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de pensar indica que
mij p ij (1) [ p ik (1 m kj )] para j = 1, 2, , s
k j
Como
p ij p ik 1 ,
k j
Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
1
mii
i
18
Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces
1 1
m11 2 1.5 y m22 1 3
3 3
Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir que, por ejemplo, una
persona que había tomado cola 1 tomará un promedio de diez botellas de refresco antes de cambiar a cola
2.
PROBLEMAS
GRUPOA estable.
1. Determine las probabilidades de estado estable 6. Este problema mostrará por qué las probabilidades
para el Prob. 1 de la Secc. 1.3. de estado estable se llaman a veces
2. En el problema de la ruina del jugador (Ejem. 3), probabilidades estacionarias. Sean 1, 2,..., s las
¿por qué no es razonable hablar de probabilidades probabilidades de estado estable para una cadena
de estado estable? ergódica con matriz P de transición. Suponga
también que la cadena de Markov comienza en el
3. Para cada una de las siguientes cadenas de estado i con probabilidad i.
Markov, determine la fracción de las veces, a largo (a) ¿Cuál es la probabilidad que después de una
plazo, que se ocupará cada estado. transición el sistema se encuentre en el estado
.8 .2 0 i? Sugerencia: Usar la Ecc. 8.
2 1 (b) Para cualquier valor de n (n = 1, 2,...), ¿cuál es
(a) 13 13 (b) 0 .2 .8
2 2 .8 .2 0 la probabilidad de que una cadena de Markov
se encuentre en el estado i después de n
(c) Determine todos los tiempos promedio de transiciones?
primer pasaje del inciso (b). (c) Por qué a las probabilidades de estado estable
4. Al principio de cada año, mi automóvil está en se les llama a veces probabilidades
estacionarias?
buen, regular o mal estado. Un buen automóvil
será bueno al principio del año siguiente, con 7. Se tienen dos acciones. Las acciones 1 siempre se
probabilidad .85, regular con probabilidad .10 y mal venden a 10 dólares o 20 dólares. Si hoy las
con probabilidad .05. Un automóvil regular estará acciones 1 se venden a 10 dólares, hay una
regular al principio del año siguiente con probabilidad 0.80 de que mañana se vendan a 10
probabilidad 0.70 y mal con probabilidad 0.30. dólares. Si las acciones 1 se venden hoy a 20
Cuesta 6000 dólares comprar un buen automóvil, dólares, hay una probabilidad 0.90 de que mañana
uno regular se puede conseguir por 2000 dólares; se vendan a 20 dólares. Las acciones 2 siempre
uno malo no tiene valor de venta, y se debe se venden a 10 dólares o a 25 dólares. Si se
reemplazar de inmediato por uno bueno. Cuesta venden hoy a 10 dólares, hay una probabilidad 0.90
1000 dólares al año el funcionamiento de un buen de que se vendan mañana a 10 dólares. Si se
automóvil, y 1500 dólares el de uno regular. ¿Debo venden hoy a 25 dólares, hay una probabilidad 0.85
reemplazar mi automóvil tan pronto como se vuelve de que mañana se vendan a 25 dólares. En
regular, o debo esperar hasta que se promedio, ¿qué acciones se venden a mayor
descomponga? Suponga que el costo de precio? Determine e interprete todos los tiempos
funcionamiento de un automóvil durante un año promedio de primer pasaje.
depende del tipo de vehículo que se tiene a la
mano al principio del año (después de llegar GRUPO B
cualquier auto nuevo, si es el caso). 8. La compañía de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. Un
5. Se dice que una matriz cuadrada es doblemente
cliente que no haya tenido accidentes durante los
estocástica si todos sus elementos son no últimos dos años paga 100 dólares de prima anual.
negativos y los elementos de cada renglón y cada
Quien haya tenido un accidente en cada uno de los
columna suman 1. Para cualquier matriz ergódica y
dos últimos años paga una prima anual de 400
doblemente estocástica, demuestre que todos los
dólares. A los que hayan tenido un accidente
estados tienen la misma probabilidad de estado
19
durante sólo uno de los últimos dos años se les cadena. Sugerencia: Determine si es cierta la
cobra una prima anual de 300 dólares. Un cliente siguiente ecuación:
que tuvo un accidente durante el último año tiene lim p12 (n) lim p32 (n)
n n
una probabilidad de 10% de accidentarse durante
este año. Si un cliente no ha tenido un accidente (c) A pesar del hecho que falla el teorema 1,
durante el último año, tiene una probabilidad de 3% determine
de sufrir un accidente durante este año. Durante un lim p13(n), lim p21(n),
N n
año dado, ¿cuál es la prima que paga en promedio lim p43(n), lim p41(n)
un cliente de Payoff? (Sugerencia: En caso de n n
Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov 6. Suponga que una empresa supone que
una cuenta es incobrable si han pasado más de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados específicos:
Supongamos que los últimos datos indican que la siguiente cadena de Markov describe
cómo cambia el estado de una cuenta de un mes al siguiente:
6
Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
20
Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.
Para simplificar el ejemplo, supondremos que después de tres meses, la cuenta o se cobra o
se considera incobrable. Una vez que una deuda se paga o se considera incobrable, se
cierra y no se tienen más transiciones. Por lo tanto, Pagada e Incobrable son estados
absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las cuentas
Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria 2 meses pagada, pero no hay regreso posible de
Pagada a 2 meses.
Una cuenta nueva normal será absorbida ya sea como pagada o como incobrable. Una
pregunta de mayor interés es: ¿cuál es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar? Más adelante en esta sección se encontrará la respuesta.
Ejemplo 6.2 Planificación de personal La empresa de abogados Mason y Burger emplea a tres
categorías de abogados: principiantes, con experiencia y socios. Durante un año
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. También, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. También hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo, ¿cuál
es la probabilidad que un abogado principiante recién contratado se vaya antes de ser
socio? En promedio, ¿cuánto tiempo permanece un abogado principiante recién contratado
con la empresa? Las respuestas se deducirán después en esta sección.
Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, ¿cuál el número esperado de veces que se llegará a
otro estado transitorio?, o dicho de otra manera, ¿cuántos periodos esperamos pasar por un determinado
estado transitorio antes que se efectúe la absorción, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, ¿cuál es la probabilidad terminar en cada uno de los estados
absorbentes?
Para contestar estas preguntes necesitamos formular la matriz de transición con los estados en una lista con
el siguiente orden: primero los estados transitorios y después los absorbentes. Para precisar, se supondrá
que hay s m estados transitorios (t1, t2, . . ., ts-m) y m estados absorbentes (a1, a2, . . . , am). Entonces la matriz
de transición para la cadena de absorción puede escribirse como sigue:
s -m m
21
Columnas columnas
P= s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t2,, ..., ts-m, a1, a2,
..., am. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s — m) x (s — m) que representa las transiciones entre los estados
transitorios; R es una matriz (s — m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s — m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.
Entonces s = 6, m = 2 y
0 0.6 0 0 0.4 0
0 0 0.5 0 0.5 0
Q R
0 0 0 0.4 0.6 0
0 0 0 0 4 4 0.7 0.3 42
Para el Ejem. 6.2, sean
t1 = Principiante
t2 = Experimentado
t3= Socio
a1 = Sale sin ser socio
a2 = Sale siendo socio
y podemos escribir la matriz de probabilidad de transición como
Entonces s = 3, m = 2, y
0.80 0.15 0 0.05 0
Q 0 0.70 0.20 R 0.10 0
0 0 0.95 33 0 0.05 32
Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):
(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
¿cuál es entonces el número esperado de veces en las que el sistema entrará en cada estado
transitorio? ¿Cuántos períodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorción?
Respuesta: Si en este momento estamos en el estado transitorio ti, el número esperado de periodos que
pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matriz (I — Q)-1.
Para una demostración vea el Prob. 8 al final de esta sección.
(2) Si una cadena inicia en un estado transitorio dado, ¿qué probabilidad hay de terminar en cada uno de
los estados absorbentes?
Respuesta: Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es el ij-ésimo elemento de la matriz (I — Q)-1R. Para una
demostración vea el Prob. 9 al final de esta sección.
La matriz (I — Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorción debe consultar Kemeny y Snell (1960).
t3 0 0 20
Entonces,
a1 a2
t1 0.50 0.50
(I Q) 1 R t 2 1 2
3 3
t3 0 1
Por lo tanto,
3. Como t3 = Socio, buscamos el número esperado de años que pasa en t3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I — Q)-1R = 20 años. Es
razonable, porque durante cada año hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 años en dejar la empresa.
PROBLEMAS
GRUPO A los que se han suscrito por más de dos años, el 4%
cancelan durante cualquier año dado. En
1. El departamento de admisión del colegio estatal ha promedio, ¿cuánto tiempo se suscribe una persona
modelado la trayectoria de un estudiante en esa al Herald Tribble?
institución como cadena de Markov:
3. Un bosque consta de dos tipos de árboles: los que
tienen de 0 a 1.50 m de alto, y los que son más
altos. Cada año, muere el 40% de los árboles que
tienen menos de 1.50 m, el 10% se venden a 20
dólares cada uno, 30% permanecen entre 0 y 1.50
1er 2o 3er 4o Sal Ter m, y el 20% crecen más de 1.50 m. Cada año, el
50% de los árboles de más de 1.50 m se venden a
1er año .10 .80 0 0 .10 0
50 dólares, el 20% se venden a 30 dólares, y el 30%
2o año 0 .10 .85 0 .05 0 permanecen en el bosque.
3er año 0 0 .15 .80 .05 0 (a) ¿Cuál es la probabilidad de que muera un
árbol de 0 a 1.50 m antes de venderse?
4o año 0 0 0 .10 .05 .85
(b) Si se planta un árbol de menos de 1.50 m,
Sale 0 0 0 0 1 0 ¿cuál es el ingreso esperado que se va a tener
Termina 0 0 0 0 0 1 con ese árbol?
Se observa el estado de cada estudiante al 4. Las cadenas absorbentes de Markov se usan en
principio de cada semestre de otoño. Por ejemplo, ventas para modelar la probabilidad de que un
si un estudiante es de 3er año al principio de este cliente que se localiza por teléfono compre
semestre de otoño, habrá 80% de probabilidades finalmente algún producto. Considere un cliente
de que al principio del siguiente semestre de otoño posible a quien nunca le ha llamado acerca de
sea de cuarto año, 15% de probabilidad de que aún comprar un producto. Después de una llamada,
sea de 3er año y 5% de que salga. Suponemos que hay una probabilidad de 60% de que tenga poco
una vez que sale un estudiante ya nunca vuelve a interés en el producto, de 30% que muestre un gran
inscribirse. interés en el producto, y 10% de que sea borrado
(a) Sí un estudiante entra al colegio a primer año, de la lista de los posibles clientes de la compañía.
¿cuántos años se espera que pasen siendo Se tiene un cliente que actualmente tiene poco
estudiante? interés en el producto. Después de otra llamada,
(b) ¿Cuál es la probabilidad de que se gradúe un hay 30% de probabilidades de que compre el
estudiante de nuevo ingreso? producto, 20% de probabilidades de que sea
2. El Herald Tribble obtuvo la siguiente información borrado de la lista, 30% de que el cliente aún tenga
acerca de sus suscriptores: durante el primer año poco interés y 20% de que exprese un interés alto.
como suscriptores, el 20% cancelan sus Para un cliente que actualmente expresa alto
suscripciones. De los que se han suscrito por un interés, después de otra llamada hay 50% de
año, el 10% cancelan durante el segundo año. De probabilidades de que compre el producto, 40% de
25
probabilidades de que siga teniendo gran interés y (b) Bajo el sistema anterior y bajo el GRP, calcule
10% de probabilidades que tenga poco interés. el número esperado de meses que pasa un
(a) ¿Cuál es la probabilidad de que un nuevo paciente en el hospital.
posible cliente al final compre el producto?
(b) ¿Cuál es la probabilidad de que un posible 7. Freezco, Inc., vende refrigeradores. La fábrica
cliente con poco interés sea borrado de la lista otorga una garantía en todos los refrigeradores que
finalmente? especifica de cambio gratis de cualquier unidad
(c) En promedio, ¿cuántas veces habrá que que se descomponga antes de tres años. Se nos
da la siguiente información: (1) el 3% de todos los
llamar por teléfono a un nuevo posible cliente
para que compre el producto, o para que sea refrigeradores nuevos falla durante su primer año
de funcionamiento; (2) el 5% de todos los
borrado de la lista?
refrigeradores con 1 año de funcionamiento falla
GRUPO B durante el segundo año de trabajo, y (3) el 7% de
5. En el problema de la ruina del jugador (Ejem. 1), todos los refrigeradores con dos años de
suponga que p = 0.60. funcionamiento falla durante su tercer año. La
(a) ¿Qué probabilidad hay de que alcance a ganar garantía no vale para el refrigerador de repuesto.
4 dólares? (a) Use la teoría de cadenas de Markov para
(b) ¿Cuál es la probabilidad de que salga sin predecir la fracción de todos los refrigeradores
dinero? que deberá cambiar Freezco.
(c) ¿Cuál es la duración esperada del juego? (b) Suponga que a Freezco le cuesta 500 dólares
cambiar un refrigerador y que vende 10,000
6. En el cuidado de pacientes ancianos en un hospital refrigeradores al año. Si la fábrica redujera el
psiquiátrico, una meta principal es la colocación plazo de garantía a dos años, ¿cuánto dinero
correcta de los pacientes en pensiones u se ahorraría en costos de reemplazo?
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y 8. Para una matriz Q que represente las transiciones
el estado absorbente (la muerte) se puede describir entre estados transitorios en una cadena
mediante la siguiente cadena de Markov. La unidad absorbente de Markov, se puede demostrar que
de tiempo es un mes: (I — Q)-1 = I + Q + Q2 + ... + Qn + ...
Hosp Hog Muer (a) Explique por qué es posible esta expresión de
(I — Q)-1.
Hospital.991 .003 .006 (b) Defina a mij = número esperado de períodos
pasados en el estado transitorio tj antes de la
Hogares .025 .969 .006
M uerte 0 0 1 absorción, si se sabe que iniciamos en el
estado ti. Suponga que el periodo inicial se
Cada mes que pasa un paciente en el hospital pasa en el estado ti. Explicar por qué mij =
cuesta 655 dólares al estado, y cada mes que pasa (probabilidad de que estemos al principio en el
en una pensión le cuesta 226 dólares, también al estado ti) + (probabilidad que estemos en el
estado. Para mejorar la frecuencia de éxitos de estado tj después de la primera transición) +
colocación de pacientes, el estado recientemente (probabilidad que estemos en el estado tj
comenzó un "programa de resocialización después de la segunda transición) + ... +
geriátrica" (GRP) para preparar a los pacientes a (probabilidad que estemos en el estado tj
desempeñarse en las pensiones. Algunos después de la n-ésima transición) + .
pacientes se colocan en el GRP y a continuación (c) Explique por qué la probabilidad de que
pasan a pensiones. Es menos probable que estos estemos inicialmente en el estado tj =
pacientes no se puedan ajustar a sus pensiones. elemento ij-ésimo de la matriz identidad (s — m)
Otros pacientes continúan pasando en forma x (s — m). Explique por qué la probabilidad de
directa del hospital a las pensiones sin haber que estemos en el estado ti después de la n-
tomado parte en el (GRP). El estado paga 680 ésima transición = elemento ij-ésimo de Qn.
dólares cada mes lo que cuesta el paciente en el (d) Ahora explique por qué mij = elemento ij de (I
GRP. El movimiento de los pacientes está — Q)-1.
gobernado por la siguiente cadena de Markov:
GRP Hosp Pen.GRP Pensi Muer 9. Defina
bij = probabilidad de terminar en un estado
GRP .854 .028 .112 0 .006 absorbente aj dado que iniciamos en un
Hosp .013 .978 0 .003 .006 estado transitorio tj.
Pen.GRP .025 0 .969 0 .006 rij = ij-ésimo elemento de R
qik = ik-ésimo elemento de Q.
Pensi 0 .025 0 .969 .006
B = matriz (s — m) x m cuyo ij-ésimo elemento es bij.
M uerte 0 0 0 0 1 Suponga que iniciamos en el estado ti. En nuestra
(a) El GRP, ¿ahorra fondos al estado? primera transición, pueden suceder tres tipos de
eventos:
26
Evento 1 Pasamos al estado absorbente aj, con contabilidad y consultoría se asigna como se ve en
probabilidad rij. la Tabla 4.
Evento 2 Pasamos al estado absorbente que no es Por ejemplo, contabilidad emplea el 10% de su
aj, con probabilidad k j qik bkj . tiempo en problemas generados por el
departamento de contabilidad, 20% en trabajos
Evento 3 Pasamos al estado transitorio tk, con generados por la división 3, etc. Cada año, cuesta
probabilidad qik. 63 millones de dólares la operación del
(a) Explique por qué departamento de contabilidad, y 210 millones de
k sm
bij rij q
k 1
b
ik kj
dólares la del departamento de consultoría de
administración. ¿Qué fracción de esos costos se
(b) Ahora demuestre que bij = ij-ésimo elemento debe asignar a cada división automotriz? Imaginar
de (R + QB) y que B = R + QB. 1 dólar en costos incurridos en trabajos de
(c) Demuestre que B = (I —Q)-1R y que bij = ij- contabilidad. Hay una probabilidad 0.20 de que
ésimo elemento de B = (I — Q)-1R. estos costos se asignen a cada división automotriz,
probabilidad 0.30 de que se asigne a consultoría y
GRUPO C probabilidad 0.10 que se asigne a contabilidad. Si el
9. General Motors tiene tres divisiones automotrices dólar se asigna a una división automotriz, sabemos
(división 1, división 2 y división 3). También tiene a qué división se debe cargar ese dólar. Por
una división de contabilidad y una de consultoría ejemplo, si el dólar se carga a consultoría,
de administración. La pregunta es: ¿Qué fracción repetimos el proceso hasta que, por último, el dólar
del costo de las divisiones de contabilidad y de se cargue a una división automotriz. Use el
consultoría de administración se debe cargar a conocimiento de cadenas de Markov para
cada división automotriz? Suponemos que el costo establecer como asignar los costos de
total de los departamentos de contabilidad y funcionamiento de los departamentos de
consultoría se deben repartir entre las tres contabilidad y asesoría entre las tres divisiones
divisiones automotrices. Durante un año automotrices.
determinado, el trabajo de las divisiones de
Tabla 4
CONTABILIDAD CONSULTORIA DIVISION 2 DIVISION 3
DE ADMON
Contabilidad 10% 30% 20% 20% 20%
Administración 30% 20% 30% 0% 20%
Más formalmente, se tiene una organización cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fracción pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. También, durante cada periodo,
una fracción pis+1 de todos los miembros del grupo i dejan la organización. Sea P la matriz s x (s + 1) cuyo
elemento ij es pij. Al principio de cada periodo, la organización contrata Hi miembros del grupo i. Sea Ni(t) el
número de miembros del grupo i al principio del periodo t. Una pregunta de interés natural es si Ni(t) tiende a
un límite a medida que crece t, o no. Si existe el límite, lo llamaremos Ni. Si cada Ni(t) tiende a un límite,
llamamos a N = (N1, N2, ... ,Ns) el censo de estado estable de la organización.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan sólo nótese que para que exista ese estado, debe ser válido que, para i = 1, 2, ..., s
Número de personas que entran al grupo i durante cada periodo
= número de personas que salen del grupo i durante cada periodo (14)
27
Después de todo, si la ecuación (14) no fuera válida para todos los grupos, entonces el número de personas
en al menos un grupo se acumularía a medida que pasara el tiempo. Nótese que
Número de personas que entran al estadoi durante
H i N k p ki
cada período k i
Dados los valores de las pij y de las Hi, se puede usar la ecuación (14’) para despejar el censo de estado
estable. A la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuación (14’)
para determinar una política de contratación, especificada por los valores de H1, H2, ... ,Hs, que logre el censo
deseado de estado estable. Podrá ser imposible mantener algunos censos de estado estable a menos que
algunas Hi sean negativas, lo que equivale a despedir empleados.
Los dos ejemplos que siguen muestran el uso de la ecuación de censo de estado estable.
Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: niños,
adultos que trabajan, o retirados. Durante un periodo de un año, 0.959 de los niños aún son
niños, 0.04 de los niños pasan a ser adultos que trabajan y 0.001 de los niños mueren.
Durante cualquier año, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. También, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil niños cada año.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensión de 5000 dólares por año. El fondo de pensión
se sufraga con pagos de los adultos que trabajan. ¿Cuánto dinero debe aportar cada
adulto que trabaja, al año, para el fondo de pensión?
Solución 1.Sea
Grupo 1 = niños
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos
2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dólares al año. Por lo tanto, cada adulto que trabaja debe pagar
14634 .14 5000
3000 dolares por año
24390 .24
Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparación con los retirados.
Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, ¿cuántos abogados de cada tipo deben
contratar cada año?
Solución Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Mason y Burger desean obtener N1 = 50, N2 = 30 y N3 = 10. Recuérdese que en el Ejem. 6.2
0.80 0.15 0 0.05
P 0 0.70 0.20 0.10
0 0 0.95 0.05
La solución única de este sistema de ecuaciones es H1 = 10, H2 = 1.5, H3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada año. Esto es razonable, porque cada año hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 años. Esto muestra que para mantener el número de asociados en 10,
deben despedirse algunos de ellos. Otra solución podría ser reducir, a menos de su valor
actual de 0.20, la fracción de abogados con experiencia que pasan a ser socios cada año.
Para mayor información acerca de los modelos de planeación de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).
PROBLEMAS
GRUPO A de retirados de 5% a 3%. ¿Cuánto aumenta la
1. Este problema es acerca del Prob. 1 de la Secc. contribución anual para pensiones, debido a esto,
19.6. Supongamos que cada año el colegio estatal que pagan los adultos que trabajan?
admite 7,000 estudiantes de nuevo ingreso, 500 de 3. La ciudad de Nueva York produce 1,000 ton de
segundo año y 500 de tercer año. A largo plazo, contaminación al día, Jersey City 100, y Newark 50.
¿cuál será la composición del estudiantado en ese Cada día 1/3 de la contaminación de Nueva York
colegio? es llevada por el viento a Newark, 1/3 se disipa y
2. En el Ejem. 9, suponga que el progreso de la 1/3 permanece en Nueva York. También
medicina ha reducido la tasa anual de mortalidad diariamente, 1/3 de la contaminación de Jersey City
es llevada por el viento a Nueva York, 1/3
29
En la Fig. 2 se muestra la función de densidad para la distribución exponencial. Aquí se observa que f(t)
disminuye rápidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
P0 T t Pt T t t
30
Figura 9
Función de densidad
para una variable
aleatoria X con
distribución
exponencial
Se puede demostrar que la función de densidad acumulada para una variable X que tenga distribución de
probabilidad exponencial esta dada por
0 si x 0
F ( X ) P( X x) x
. (16)
1 e si x 0
Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribución exponencial, E(X), está dado por
1
E( X ) . (17)
t
PT t e x dx e x
t e t (20)
Entonces
PT t s T s
PT t s | T s
PT s
De la Ecc. (20),
PT t s T s e (t s ) y PT s e s
Así,
e (t s )
PT t s | T s e t PT t
e s
Se puede demostrar que no hay otra función de densidad que satisfaga la Ecc. (19) (véase Feller (1957)).
Por razones que se hacen evidentes, se dice que una función de densidad que satisfaga la Ecc. (1 9) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las últimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cuál es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
31
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribución del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
PT 4 5 | T 5 PT 4 3 | T 3 PT 4 2 | T 2 PT 4 0 | T 0 PT 4
TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parámetro
si y sólo si el número de eventos que suceden en un intervalo t sigue una distribución
de Poisson con parámetro t.
Una variable aleatoria discreta N tiene una distribución de Poisson con parámetro si, para n = 0, 1, 2, ,
e n
P( N n) (n 0, 1, 2, ) (21)
n!
Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que Nt sea
el número de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
e t (t ) n
P( N t n) (n 0, 1, 2, )
n!
Como Nt, es de Poisson con parámetro t, E(Nt) = Varna = t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el número promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.
¿Qué hipótesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, más adelante, nos da una respuesta parcial. Veamos las dos hipótesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el número de llegadas que se tiene entre los tiempos 1 y 10 no nos da
información alguna acerca del número de llegadas entre los tiempos 30 y 50).
2. Para t pequeño, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
32
(t )
lim 0
t 0 t
TEOREMA 2 Si son válidas las hipótesis 1 y 2, entonces N, sigue una distribución de Poisson con
parámetro t, y los tiempos entre llegadas son exponenciales con parámetro . Esto es,
f(t) = e-t.
EJEMPLO 8.1 El número de tarros de cerveza pedidos en el Dick’s Pub sigue una distribución de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviación estándar del número de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.
Solución 1. El número de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribución de Poisson con parámetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
e 60 60 60
60!
PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una distribución exponencial con promedio de 60
33
Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. Comenzando en el tiempo 0 y dejando que el parámetro t’ corra continuamente, para t’ 0 sea la
variable aleatoria X(t’) el estado del sistema en el tiempo t’. Entonces X(t’) tomará uno de sus s valores
posibles en un intervalo 0 t’ < t1, después saltará a otro valor en el siguiente intervalo t1 t’ < t2 y así
sucesivamente, donde los puntos de tránsito t1, t2, … son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.
Figura 10
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua
Por lo tanto, el estado del sistema se ha observado en los tiempos t’ = s y t’ = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).
Dada esta información, el paso natural es buscar la distribución de probabilidad del estado del sistema en el
tiempo t’ = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.
Con frecuencia es muy difícil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocástico involucrado posee la siguiente propiedad clave.
34
PROPIEDAD MARKOVIANA
Un proceso estocástico de tiempo continuo {X(t’); t’> 0} tiene la propiedad markoviana si
P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,, s y para toda r > 0, s > r y t>0.
Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transición, igual a las probabilidades de transición
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la única
diferencia es que ahora no es necesario que t sea entero.
DEFINICIÓN
Si las probabilidades de transición son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s > 0, se dice que las probabilidades de transición son estacionarias.
Así, un proceso estocástico de tiempo continuo {X(t’); t’> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.
Aquí se restringirá el estudio a las cadenas de Markov de tiempo continuo a aquellas con un número finito de
estados y el donde las probabilidades de transición sean estacionarias.
Suponga que el proceso entra en el estado i en el tiempo t’ = s. Entonces, para cualquier cantidad de
tiempo fija t > 0, observe que Ti > t si y sólo si X(t’) = i para toda t’ en el intervalo s t’ s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transición estacionarias) implica que
Ésta no es más que la propiedad de amnesia exhibida por la distribución de probabilidad exponencial, la cual
significa que la distribución de probabilidad del tiempo que falta para que el proceso haga una transición
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.
Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:
35
p
j 0
ij 1 para toda i.
3. El siguiente estado que se visita después del estado i es independiente del tiempo que pasó en el
estado i.
Igual que las probabilidades de transición de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel análogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transición.
La interpretación intuitiva de i y ij es que son tasas de transición. En particular, i es la tasa de transición
hacia afuera del estado i en el sentido de que i es el número esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. Así, i es el recíproco del tiempo esperado de
permanencia en el estado i cada vez que este estado es visitado; es decir,
1
i . (22)
E (Ti )
De manera similar, ij es la tasa de transición del estado i al estado j en el sentido de que ij es el número
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. Así,
i ij (23)
j i
Igual que i es el parámetro de la distribución exponencial para Ti, cada ij es el parámetro de una
distribución exponencial para una variable aleatoria relacionada que se describe en seguida.
Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasará en el estado i antes de que
ocurra una transición directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j i. Las Tij, son
variables aleatorias independientes, donde cada Tij tiene una distribución exponencial con parámetro ij, de
manera que
1
E (Tij ) . (24)
ij
El tiempo que pasa en el estado i hasta que ocurre una transición (Ti) es el mínimo (sobre j i) de las Tij.
Cuando ocurre la transición, la probabilidad de que sea al estado j es
36
ij
p ij . (25)
i
Se dice que un par de estados i y j se comunican si existen tiempos t1 y t2 tales que pij(t1) > 0 y pij(t2) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondrá de aquí en adelante),
entonces, pij(t)> 0, para toda t > 0 y todos los estados i y j. Más aún,
lim pij (t ) j
t
siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. , s. Estas
probabilidades se conocen comúnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.
Dividiendo cada término de la anterior igualdad por t y calculando el límite cuando t tiende a cero se obtiene:
1 p (t ) p kj (t )
j lim k lim
jj
t 0 t t 0 t
k j
j j k kj , para j 1, 2, , s (28)
k j
Este nuevo conjunto de s ecuaciones es más útil para el cálculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por
k 0
j 1. (29)
El conjunto de Eccs. 28 tiene una interpretación intuitiva. El lado izquierdo (j j) es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable) de que el proceso esté en el estado
j y j es la tasa de transición hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada término de lado derecho (k kj) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que kj es la tasa de transición del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuación global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.
Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estén
37
EJEMPLO 9.1 Un taller tiene dos máquinas idénticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con más alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una máquina tiene distribución exponencial
con media de 12 día. Una vez que se termina la reparación, el tiempo que transcurre hasta
la siguiente descompostura tiene distribución exponencial con media de 1 día. Estas
distribuciones son independientes.
Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo
Se pueden usar estas tasas para calcular la tasa de transición total hacia afuera de
cada estado (Ecc. 20), así:
0 01 02 2
1 10 12 3
2 20 21 2
Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se
obtiene
Ecuación de balance para el estado 0: 20 = 21
38
El siguiente capítulo (sobre teoría de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos básicos de la teoría de colas caen dentro de esta
categoría. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variación de
fuente de entrada finita al modelo M/M/s).
PROBEMAS
GRUPO A
1. Reconsidere el ejemplo presentado al final de esta trabajos. Los trabajos llegan individualmente.
sección. Suponga que ahora se agrega al taller una Siempre que hay menos de tres trabajos, el tiempo
tercera máquina, idéntica a las dos primeras. La que transcurre hasta la siguiente llegada tiene
persona de mantenimiento debe atender a todas distribución exponencial con media de de ½ día.
las máquinas. Los trabajos se procesan uno a la vez y dejan el
a) Desarrolle un diagrama de tasas para esta centro de inmediato. Los tiempos de procesado
cadena de Markov. tienen una distribución exponencial con media de ¼
b) Construya las ecuaciones de estado estable. de día.
c) Resuelva estas ecuaciones para obtener las a) Construya el diagrama de tasas para esta
probabilidades de estado estable. cadena de Markov.
2. El estado de una cadena de Markov de tiempo b) Escriba las ecuaciones de estado estable.
continuo está definido como el número de trabajos c) Resuelva estas ecuaciones para obtener las
que hay en el momento actual en cierto centro de probabilidades de estado estable.
trabajo, donde se permite un máximo de tres