Cadenas de Markov

4. Cadenas de Markov
Algunas veces nos interesa saber cmo cambia una variable aleatoria a travs del
tiempo. Por ejemplo, desearamos conocer cmo evoluciona el precio de las
acciones de una empresa en el mercado a travs del tiempo. El estudio de cmo
evoluciona una variable aleatoria incluye el concepto de procesos estocsticos. En
este captulo explicaremos esos procesos, en especial uno que se conoce como
cadena de ar!ov. "as cadenas de ar!ov se #an aplicado en reas tales como
educacin, mercadotecnia, servicios de salud, contabilidad y produccin.
Qu es un Proceso Estocstico?
$upngase que observamos alguna caracterstica de un sistema en puntos discretos
en el tiempo %que llamamos &,',(,...). $ea *
t
el valor de la caracterstica del sistema
en el tiempo t. En la mayor parte de los casos no se conoce *
t
con certe+a antes del
tiempo t y se puede considerar como variable aleatoria. ,n proceso estocstico de
tiempo discreto es simplemente una descripcin de la relacin entre las variables
aleatorias *
&
, *
'
, *
(
,... A continuacin daremos algunos ejemplos de procesos
estocsticos de tiempo discreto.
Ejemplo 1 La ruina del jugador En el tiempo & tengo ( dlares. En los tiempos
',(,-... participo en un juego en el que apuesto ' dlar. .ano el juego con
probabilidad p, y lo pierdo con probabilidad '/p. i meta es aumentar mi capital a 0
dlares, y tan pronto como lo logre se suspende el juego. El juego tambin se
suspende si mi capital se reduce a & dlares. $i de1inimos que *
t
es mi capital
despus del juego cuando el tiempo es t, si es que lo #ay, entonces se puede
considerar que *
&
, *
'
, ..., *
t
son procesos estocsticos de tiempo discreto. 2tese
que *
&
3( es una constante conocida, pero que *
'
y las dems *
t
son aleatorias. Por
ejemplo *
'
3- con probabilidad p y *
'
3' con probabilidad '/p. 2tese que si *
t
30,
entonces *
t4'
y todas las dems *
t
tambin sern igual a 0. 5gualmente, si *
t
3&,
entonces *
t4'
y todas las dems *
t
sern & tambin.
Ejemplo ! $ea *
&
el precio de una accin de computadoras 6$" al principio de este
da #bil. 7ambin sea *
t
el precio de esa accin al principio del t/simo da #bil en
el 1uturo. Es claro que si se conocen los valores de *
&
, *
'
, ..., *
t
nos dicen algo de la
distribucin de probabilidad de *
t4'
8 el asunto es9 :;u nos dice el pasado %los
precios de las acciones #asta el tiempo t) acerca de *
t4'
< "a respuesta de esta
pregunta es de importancia crtica en 1inan+as.
"n proceso estocstico de tiempo continuo es simplemente un proceso
estocstico en el que el estado del tiempo se puede examinar en cualquier tiempo y
no slo en instantes discretos. Por ejemplo, se puede considerar que el n=mero de
personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. As tambin, el precio de una accin se puede
observar en cualquier tiempo, y no slo al abrir la bolsa, por lo que se puede
considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se #a
podido a importantes resultados en la teora de 1inan+as, incluyendo la 1amosa
1rmula de >lac!/$c#oles para opcin de precio.
1
Cadenas de Markov
#e$inici%n de Cadena de Markov
Cadenas de Markov es un modelo matemtico que se basa en dos conceptos9
estado y transici%n. El sistema ocupa un estado i con probabilidad p
i
y, despus de
un periodo, procede a una transicin para el estado j con probabilidad de transicin
t
ij
. $ean 2 los estados del sistema, entonces, para cualquier estado i9

=
=
N
1 j
ij ij 1 t 0 con , 1 t
En los modelos ms simples de cadenas de ar!ov, los valores de las
probabilidades de transicin t
ij
no dependen ni de cmo el sistema lleg al estado i,
ni del periodo n. "as probabilidades de ocupar un estado i dependen del n=mero de
periodos o de transiciones e1ectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de
Markov si9
a) El resultado del m/simo intento depende slo del resultado del intento %m/')/
simo y no de los resultados en los intentos anteriores, y
b) "a probabilidad de pasar del estado i al estado j en dos intentos sucesivos del
experimento permanece constante.
&plicaci%n 1
Participaciones de mercado
,na investigacin de mercados sobre el consumo de - marcas de cerve+a9 A, > y 6
por '&&& personas dar al inicio %n3&) y despus de un periodo %n3') los siguientes
resultados9
$e desea saber9
a) El porcentaje de los clientes que consumen cada marca de cerve+a despus
de un periodo.
2
Cadenas de Markov
b) El porcentaje de los clientes que consumen cada marca de cerve+a despus
de ( periodos.
c) A la larga cmo se reparte el mercado de bebedores de cerve+a entre las tres
marcas<
.r1icamente se tiene9

?bservamos que estamos delante de un 1enmeno dinmico, en el cual A aument
su participacin en el mercado de (&@ a (A@.
$iendo p la probabilidad de que un consumidor est demostrando pre1erencia por
uno de los tres productos %osea la participacin de cada producto en el mercado) y
observando que cada producto %o el #ec#o de estar consumiendo un determinado
producto) corresponde a un estado, resulta9
*o 3 Bp
A
%&) p
>
%&) p
6
%&)C 3 B&,( &,- &,DC
Eonde *
&
es el vector de distribucin de estados al inicio. y
*
'
3 B&,(A &,(F &,00C
Eonde *
'
es el vector de distribucin de estados despus de un periodo %n3').
"as probabilidades del vector *
'
nos indican que despus de un periodo, el
comportamiento del mercado ser9 (A@ consume el producto A, (F@ el > y 00@ el
producto 6.
Eeseando anali+ar como ocurren estas alteraciones, y utili+ando el cuadro
correspondiente a las transiciones, se tiene que9
"a probabilidad de que un consumidor de A %o en A) permanece con A es9
t
AA
3
. 7 , 0
200
140
=
"a probabilidad de que un consumidor en A pase a 6 es t
A6
3
. 1 , 0
200
20
=
Entonces las probabilidades de transicin resultan9
A > 6
7 3

6 , 0 16 , 0 24 , 0
4 , 0 5 , 0 1 , 0
1 , 0 2 , 0 7 , 0
C
B
A
Eonde observamos que la suma de los elementos de cada 1ila siempre es '.
Para visuali+ar mejor el 1enmeno, diseGamos la siguiente cadena9
3
Cadenas de Markov
"a probabilidad de ocupar estado j despus de un periodo es9
p
j
%')3

=
N
1 i
ij i t ). 0 (
o en 1orma matricial9 *
'
3 *
&
7
Eespus de la segunda transicin %n3(), resulta9
*
(
3 *
'
7
*
(
3 B&,-0 &,(H &,0&C
"o que signi1ica que despus de ( periodos, el comportamiento del mercado ser9
-0@ consume el producto A, (H@ el > y 0&@ el producto 6.
'am(in *
(
3 *
&
7 7 3 *
&
7
(
Eespus de la tercera transicin %n3-), resulta9
*
-
3 *
(
7 3 *
&
7
(
7 3 *
&
7
-
Eespus de n transiciones se tiene9
*
n
3*
n/'
7 3*
&
7
n/'
7 3*
&
7
n

Eonde *
n
es el vector de distribucin de probabilidad de estados en el periodo n.
Eespus de muc#as transiciones, se llega a una situacin estacionaria o de rgimen
de equilibrio dinmico %osea, lo contrario de transitoria) en la cual las participaciones
de mercado no se alteran ms. En este caso9
*
n
3 *
n/'
3
donde 9 Iector de distribucin de estado estable).
4
[ ]

=
0.6 0.16 0.24
0.4 0.5 0.1
0.1 0.2 0.7
44 . 0 27 . 0 2! . 0 "2
Cadenas de Markov
Por lo tanto9 3 .7
Eeseando calcular los elementos de 3B
A

>

6
C, tenemos9
B
A

>

6
C 3 B
A

>

6
C

6 , 0 16 , 0 24 , 0
4 , 0 5 , 0 1 , 0
1 , 0 2 , 0 7 , 0
adems de9

A
4
>
4
6
3'
El sistema de ecuaciones sera9

A
4
>
4
6
3'
&,F
A
4 &,'
>
4 &,(0
6
3
A
&,(
A
4 &,D
>
4 &,'H
6
3
>
&,'
A
4 &,0
>
4 &,H
6
3
6
Este sistema es redundante y, para resolverlo, eliminamos una de las tres =ltimas
ecuaciones %por ejemplo la =ltima).

A
4
>
4
6
3'
/&,-
A
4 &,'
>
4 &,(0
6
3 &
&,(
A
/ &,D
>
4 &,'H
6
3 &
y la solucin es9 3 B &,-FH &,(HD &,-DAC
?bservamos el aumento en la participacin de A, que pasa de (&@ a -F.H@8
principalmente a costa de 6, que cae de D&@ a -D,A@. Entonces si 6 quiere
promover una campaGa publicitaria para quebrar el proceso, debera,
principalmente, dirigirla #acia los actuales consumidores de A, ya que t
A6
3&,' %muy
pequeGo). $e observa que t
>6
es bastante grande.
"a siguiente tabla muestra las distribuciones de estado para di1erentes periodos de
transicin9
5
Cadenas de Markov
$e observa que a partir del periodo F, las variaciones en los tres estados son casi
despreciables.
&)*L+,+, EC-)-M+C- $i la marca A, por cada cliente ganado aumenta sus
ventas en J0& :por cuntos perodos se debe reali+ar la campaGa publicitaria,
sabiendo que esta cuesta JD&& por semana<
Para dar respuesta a esta inquietud reali+amos el siguiente cuadro9
En consecuencia se deber reali+ar la campaGa durante - semanas, luego cambiar.
)-'&./ Para que exista un =nico vector de distribucin estacionaria , se requiere
que 7 sea regular.
7 3 Bt
ij
C es regular si t
ij
K & en al menos una de sus potencias 7
m
Ejemplos
a) 73

3 # 2 3 # 1
2 # 1 2 # 1
es regular ya que t
ij
K &
6
Participaci%n n.mero de incremento +ngresos Costo
Periodo de mercado clientes de clientes adicionales pu(licidad "tilidad
& &.( (&&
' &.(A (A& A& J-H&& JD&& J -'&&
( &.--DH --H 0H 'L0& D&& -0&
- &.-DFD -DL (( LL& D&& -L&
0 &.-HFH -HL '& 0&& D&& /'&&
Cadenas de Markov
b) 73

1 0
2 # 1 2 # 1
, 7
(
3

1 0
4 # 3 4 # 1
,
7
-
3

1 0
$ # 7 $ # 1
,
entnces cualquier 7
m
no cumplir la condicin t
ij
K & ya que siempre existir el
elemento t
('
3 &, por lo tanto 7 no es regular.
c) 73

0 2 # 1 2 # 1
2 # 1 0 2 # 1
2 # 1 2 # 1 0
, 7
(
3

2 # 1 4 # 1 4 # 1
4 # 1 2 # 1 4 # 1
4 # 1 4 # 1 2 # 1
,
por lo tanto 7 es regular.
$i 7 es matri+ regular existe un vector =nico de tal 1orma que 7 3 donde es
llamado a menudo vector de distri(uci%n de estado esta(le compuesto por
probabilidades de estar en cada estado a largo pla+o.
&plicaci%n !
Pron%stico del clima
"as probabilidades del estado del tiempo para la ciudad de Arequipa el mes de
enero del presente aGo 1ueron extradas de la base de datos de $E2AM5 Arequipa.
Eic#os valores #an sido tomados de un dia anterior al dia que iran a ser puestos a
conocimiento de la poblacin arequipeGa. Estos datos se pueden expresar mediante
la siguiente matri+ de transicin9
"a matri+ P representa el modelo del clima, en donde dice que un dia es soleado es
A&@ posible de que sea seguido por otro dia soleado y un dia lluvioso es D&@
posible de que sea seguido por otro dia lluvioso. "as columnas pueden ser
nombradas como NsoleadoO y NlluviosoO respectivamente y las 1ilas pueden ser
nombradas en el mismo orden.
%P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i.
2tese que las columnas de P suman ', es as porque P es una matri+ estocstica.
Pronosticando el clima.-
El clima en el dia & es conocido como soleado. Esto es representado por el vector en
donde la entrada de NsoleadoO es '&&@ y la de NlluviosoO es &@
7
Cadenas de Markov
El clima en el da ' puede ser pronosticado de la siguiente manera
Por eso, #ay un A&@ de posibilidad de que el dia 'sea tambien soleado
El clima para el da ( puede ser pronosticado de la siguiente manera9
"as reglas generales para el da n son9
Estado estacional del clima./
Para este caso, las predicciones para el clima en das mas distantes son
incrementalmente imprecisos y tienden a tornarse en un vector de estado estacional.
Este vector representa las probabilidades de condiciones soleadas y lluviosas para
todos los das y son independientes del clima inicial.
El vector del estado estacional se de1ine como9
pero solo converge si P es una matri+ de transicin regular.
Eesde que q es independiente desde condiciones iniciales, no debe ser alterada
cuando trans1ormada por P. Esto genera un eigenvector %vocablo aleman que
signi1ica vector propio) y signi1ica que puede ser derivado de P.
Par el caso que se venia tratando:
$
Cadenas de Markov
Asi que;
q
'
P Dq
(
3 &
Estableciendo s = q2 asi que s = q1. $e require s + 5s = 1 para lo cual s= 0.167. El
vector estacional seria el siguiente9
0epuesta./ En conclusi%n1 a $inal de cuentas1 234 de los d5as $ueron soleados
en la cuidad de &re6uipa para el mes de Enero del presente a7o.
C&#E)&, #E M&08-9 &:,-0:E)'E,
uc#as aplicaciones interesantes de las cadenas de ar!ov incluyen cadenas en
las que algunos de los estados son absorbentes y el resto son transitorios. A esas
cadenas se les llaman cadenas absorbentes.
,n estado i de una cadena de ar!ov se dice que es absorbente si, una ve+
alcan+ado el estado i en alg=n intento, el sistema permanece en el estado i en todos
los intentos 1uturos.
,na cadena de ar!ov es absorbente si tiene uno o ms estados absorbentes y es
posible llegar a un estado absorbente a partir de cualquiera de los estados no
absorbentes o transitorios.
2ota./ Puede ser necesario pasar por varios estados transitorios para llegar a un
estado absorbente.
$i el estado i es absorbente, la probabilidad de transicin de i a j es de '. En otras
palabras, el estado i es absorbente s y slo s t
ij
3'. El n=mero de estados
absorbentes de una cadena de ar!ov es igual al n=mero de unos en la
!
Cadenas de Markov
diagonal de su matri+ de transicin. "a probabilidad de que el sistema est
en un estado transitorio disminuye al aumentar el n=mero de intentos
&plicaci%n 3
Plani$icaci%n de Personal
"a empresa de abogados N"os QusticierosO emplea a tres categoras de abogados9
principiantes, con experiencia y socios. Eurante un aGo determinado #ay una
probabilidad 'D@ que un abogado principiante sea ascendido a abogado con
experiencia y una probabilidad D@ que deje la empresa. 7ambin #ay una
probabilidad (&@ que un abogado con experiencia sea ascendido a socio y una
probabilidad '&@ que deje la empresa. 7ambin #ay una probabilidad D@ que un
socio deje la empresa. "a empresa nunca degrada a un abogado.
$urgen muc#as preguntas interesantes que la empresa podra contestar. Por
ejemplo9
1. :6ul es la duracin promedio de un abogado joven recin contratado en la
empresa<.
!. :6ul es la probabilidad de que un abogado joven llegue a ser socio<.
3. :6ul es la duracin promedio que pasa un socio en el bu1ete< entre muc#as
otras.
odelaremos la trayectoria de un abogado en N"os QusticierosO como cadena
absorbente con la siguiente matri+ de probabilidad de transicin9
10
s%& &
co'(&nas co'(&nas
) *
ren+'ones &
ren+'ones & s

, 0
- .
Cadenas de Markov
"os dos =ltimos estados son estados absorbentes y los dems son transitorios. Por
ejemplo, Experimentado es estado transitorio, por que #ay una trayectoria de
Experimentado a $ale sin ser socio, pero no #ay trayectoria que regrese de $ale sin
ser socio a Experimentado. $uponemos que una ve+ que un abogado sale de la
empresa nunca regresa.
Para toda la cadena absorbente se desea conocer9 %') $i la cadena comien+a en un
determinado estado transitorio, y antes de alcan+ar un estado absorbente, :cul es
el n=mero esperado de veces que se entrar en cada estado< :6untos periodos
esperamos pasar en un estado transitorio dado antes que se e1ect=e la absorcin<.
%() $i una cadena inicia en un estado transitorio dado, :cul es la probabilidad de
terminar en cada uno de los estados absorbentes<.
Para contestar estas preguntas necesitamos 1ormular la matri+ de transicin con los
estados en una lista con el siguiente orden9 primero los estados transitorios y
despus los absorbentes. Para precisar, se supondr que #ay s/m estados
transitorios %t
'
, t
(
, ..., t
s/m
) y m estados absorbentes %a
'
, a
(
, ..., a
m
). Entonces la matri+
de transicin para la cadena de absorcin puede escribirse como sigue9
En este caso, 5 es una matri+ identidad mxm, que re1leja el #ec#o de que nunca
podemos dejar un estado absorbente8 ; es una matri+ %s/m)x%s/m) que representa
las transiciones entre los estados transitorios8 R es una matri+ %s/m)xm que
representa las transiciones desde los estados transitorios a los estados absorbentes8
& es una matri+ mx%s/m) que consta de ceros. Esto re1leja de que es imposible ir de
un estado absorbente a uno transitorio.
Aplicando esta notacin a la aplicacin, tenemos que9
t
'
3 Principiante,
t
(
3 Experimentado,
t
-
3 $ocio,
a
'
3 $ale sin ser socio y
a
(
3 $ale siendo socio.
y podemos escribir la matri+ de probabilidad de transicin como9
Entonces s3D, m3(, y
11
Cadenas de Markov
; 3
3 / 3 !5 , 0 0 0
20 , 0 70 , 0 0
0 15 , 0 $0 , 0

R 3
2 / 3 05 , 0 0
0 10 , 0
0 05 , 0

Para dar respuesta a las preguntas 1ormuladas anteriormente, es necesario obtener

las matrices9 %5/;)
/'
y %5/;)
/'
R, la in1ormacin contenida en estas matrices
debidamente interpretadas, permite tomar decisiones.
Entonces,
5/; 3

1 0 0
0 1 0
0 0 1
/

!5 , 0 0 0
20 , 0 70 , 0 0
0 15 , 0 $0 , 0
3

05 , 0 0 0
20 , 0 30 , 0 0
0 15 , 0 20 , 0
6on el mtodo .auss/Qordan o el mtodo de la matri+ adjunta, se encuentra que9
t
1
t
!
t
3
%5/;)
/'
3

20 0 0
3 # 40 3 # 10 0
10 5 , 2 5
t
t
t
3
2
1
Entonces,

a
'
a
(
%5/;)
/'
R 3

1 0
3 # 2 3 # 1
50 , 0 50 , 0
t
t
t
3
2
1
+nterpretaci%n9 %') $i en este momento estamos en el estado transitorio t
i
, el n=mero
esperado de periodos que pasarn en un estado transitorio t
j
antes de la absorcin
es el ij/simo elemento de la matri+ %5/;)
/'
. %() $i en este momento estamos es un
estado transitorio t
i
, la probabilidad de ser absorbidos 1inalmente por un estado
absorbente a
j
es el ij/simo elemento de la matri+ %5/;)
/'
R.
Por lo tanto,
12
Cadenas de Markov
1. El tiempo esperado que un abogado principiante permanece en la empresa 3
%duracin esperada del abogado principiante en la empresa como principiante) 4
%tiempo esperado que el abogado principiante permanece en la empresa como
abogado con experiencia) 4 %tiempo esperado que el abogado principiante
permanece en la empresa como socio). Entonces
/ 7iempo esperado como principiante 3 %5/;)
/'
''
3D
/ 7iempo esperado como con experiencia 3 %5/;)
/'
'(
3(,D
/ 7iempo esperado como socio 3 %5/;)
/'
'-
3'&
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es D 4 (,D 4 '& 3 'F,D aGos.
!. "a probabilidad de que un abogado principiante recin ingresado llegue a ser
socio es tan slo la probabilidad de que salga de la empresa siendo socio. 6omo t
'
3 Principiante y a
(
3 $ale siendo socio, la respuesta es el elemento '( de %5/;)
/'
R 3
D&.
3. 6omo t
-
3 $ocio, buscamos el n=mero esperado de aGos que pasa en t
-
, dado
que comen+amos en t
-
. Este es justamente el elemento -- de %5/;)
/'
3 (& aGos. Es
ra+onable, por que durante cada aGo #ay una probabilidad de &,&D %' en (&) que
un socio deje el bu1ete y, por lo tanto, debe tardar un promedio de (& aGos en dejar
la empresa.
Aplicacin 09
?EE"?$ EE P"A2EA65?2 EE PER$?2A"
uc#as empresas, como por ejemplo N"os QusticierosO del ejemplo de plani1icacin
de personal, emplean varias categoras de personal. 6on 1ines de planeacin a largo
pla+o, a menudo es =til poder predecir el n=mero de empleados de cada categora
que, si las tendencias actuales contin=an, estarn disponibles en el estado estable.
$i existe censo de estado estable podemos encontrarlo al resolver un sistema de s
ecuaciones que se plantea como sigue9 tan slo ntese que para que exista ese
estado, debe ser vlido que, para i3', (, ..., $,
2=mero de personas que entran al grupo i durante cada periodo 3 2=mero de
personas que salen del grupo i durante cada periodo
Ejemplo9 Regresemos al bu1ete de abogados N"os QusticierosO %Ejemplo anterior)
$upongamos que la meta a largo pla+o de ese bu1ete es tener D& abogados
principiantes, -& con experiencia y '& socios. Para alcan+ar este censo de estado
estable, :cuntos abogados de cada tipo deben contratar cada aGo<.
$olucin9 $ean
.rupo ' 3 abogados principiantes
.rupo ( 3 abogados con experiencia
.rupo - 3 socios
.rupo 0 3 abogados que salen del bu1ete
13
Cadenas de Markov
6enso de estado estable9 2
'
3D&, 2
(
3-& y 2
-
3'&
Adems9
H
1
= nmero de aogados !rinci!iantes a contratar
H
2
= nmero de aogados con e"!eriencia a contratar
H
#
= nmero de aogados asociados a contratar
Entonces9
2=mero que ingresa al grupo i 3 n=mero que sale del grupo i
M
'
3 %&,'D 4 &,&D)D& %abogados principiantes)
%&,'D)D& 4 M
(
3 %&,(& 4 &,'&)-& %abogados con experiencia)
%&,(&)-& 4 M
-
3 %&,&D)'& %abogados asociados)
"a solucin =nica de este sistema de ecuaciones es M
'
3'&, M
(
3',D, M
-
3/D,D. Estos
signi1ica que para mantener el censo deseado de estado estable, N"os QusticierosO
deben despedir D,D socios cada aGo. Esto es ra+onable, por que cada aGo #ay
&,(&%-&) 3 H abogados con experiencia que pasan a ser socios, y una ve+ que lo
#acen, permanecen en ese puesto un promedio de (& aGos. Esto muestra que para
mantener el n=mero de asociados en '&, deben despedirse algunos de ellos. ?tra
solucin podra ser reducir, a menos de su valor actual de &,(&, la 1raccin de
abogados con experiencia que pasan a ser socios cada aGo.
M&, &PL+C&C+-)E,
&PL+C&C+;) 1./ ,na empresa necesita contratar copiadoras en renta, escogiendo
entre dos mquinas. "as dos mquinas #acen copias que no se pueden distinguir.
6ada mquina 1unciona o no 1unciona. $eg=n los registros anteriores, se #a
determinado que si la mquina 5 trabaja un da determinado, la probabilidad es de
&,AD que trabaje el da siguiente. $i no trabaja un cierto da, la probabilidad es de
&,FD que 1uncione el siguiente da. $i la mquina 55 trabaja #oy, la probabilidad es de
&,A que trabaje maGana. $i no 1unciona #oy, la probabilidad es de &,L que trabaje
maGana. :;u mquina debe rentar la empresa<.
$?",65S29
$iendo los estados9 T %1unciona) y 2T %no 1unciona), elaboramos las matrices de
transicin de estados respectivas.
atri+ de transicin de estados %7) para la quina '
atri+ de transicin de estados para la quina (
14
Cadenas de Markov
"uego #allamos los vectores de estado estable para ambas mquinas aplicando la
relacin9
3 .7
$iendo 3 B x' x( C
Eonde 9
x'9 probabilidad de estado estable de que la mquina Tuncione
x(9 probabilidad de estado estable de que la mquina 2o Tuncione
Adems x'4x(3'
Para la mquina ' tenemos9
B x' x( C 3 B x' x( CU7
x'4x(3'
Reempla+ando los datos de matri+ de 7ransicin de estados de la mquina ' y
resolviendo el sistema de ecuaciones tenemos9
x'3 &.A-FD y x(3&.&H(D
entonces ' 3 B &.A-FD &.&H(D C
Para la mquina ( tenemos
( 3 B &.LLLA &.'''' C
Por lo tanto se observa que la mquina ' tiene mayor probabilidad de
1uncionamiento %A-.FD@) 1rente a LL.LA@ de la mquina (, en consecuencia la
empresa debe rentar la mquina '.
&PL+C&C+;) !./ ,na pequeGa tienda de videos lleva un control del n=mero de
veces por semana que es rentado un video y estima las siguientes probabilidades de
transicin %ver matri+ siguiente).
15
Cadenas de Markov
Eonde9 los estados en orden son9 D veces, 0 veces, - veces, ( veces, ' ve+ y &
veces
Por ejemplo, si un video se rent D veces esta semana, entonces #ay una
probabilidad de L&@ de que sea rentado D veces la siguiente semana, '&@ de
probabilidades de que sea rentado 0 veces y '&@ de probabilidades de que sea
rentado - veces. 6uando un video es rentado & veces, este se desec#a.
"a siguiente matri+ 1ue calculada utili+ando el las 1unciones de Excel9
a) $uponga que un video 1ue rentado D veces esta semana. :6ul es la
probabilidad de que sea rentado 0 veces durante la siguiente semana<.
Entonces se tiene que9
*o 3 B ' & & & & & C
Mallamos *'
*' 3 *o7
16
Cadenas de Markov
*' 3 B &.L <.1 &.' &.& &.& &.& C
Entonces la probabilidad de que sea rentado 0 veces la prxima semana es
'&@.
b) $uponga que un video 1ue rentado - veces esta semana. :6ul es la
probabilidad de que sea rentado ( veces durante la segunda semana<.
Entonces se tiene que9
*o 3 B & & ' & & & C
Mallamos *(
*' 3 *o7
*' 3 B &.& &.& &.H &.- &.' &.& C
*( 3 *'7
*( 3 B &.& &.& &.D' <.3< &.'D &.&&0 C
Entonces la probabilidad de que sea rentado ( veces la segunda semana es
-&@.
c) $uponga que un video 1ue rentado D veces esta semana. En promedio, :cuntas
veces ms ser rentado antes de que se desec#e<.
Para responder esta pregunta usamos la in1ormacin de la matri+ %5/;)
/'
%primera
1ila)
=>=?@ 1.AAB>4? @ A.421>3? @ 3.=1C>!? @ !.=>1? D A1 veces
d) $uponga que esta semana se rent D veces. En promedio, :cuntas semanas
ser rentado por lo menos ( veces<.
Para responder esta pregunta usamos la in1ormacin de la matri+ %5/;)
/'
%primera
1ila)
3.=1C semanas ser rentado ! veces
A.421 semanas ser rentado 3 veces
1.AAB semanas ser rentado 4 veces
=.<<< semanas ser rentado = veces
Entonces ser rentado por lo menos ( veces
3.=1C @ A.421 @ 1.AAB @ = D 1A.B semanas.
17
Cadenas de Markov
e) $uponga que un video 1ue rentado - veces esta semana. En promedio, :cuntas
veces ms ser rentado<.
Para responder esta pregunta usamos la in1ormacin de la matri+ %5/;)
/'
%tercera
1ila)
<>=?@ <>4? @ A.AAB>3? @ 3.333>!? @ !.=>1? D !C veces.

1) $uponga que un video 1ue rentado 0 veces esta semana. :6ul es la
probabilidad de que sea desec#ado<.
Mallamos la matri+ %5/;)
/'
UR 3

1
1
1
1
1
1
,samos la in1ormacin de la segunda 1ila9 "a probabilidad de que sea desec#ado
es '&&@
&PL+C&C+;) 3./ Quan es propietario de un terreno con D&&& pinos. 6ada aGo Quan
permite a los detallistas de rboles de navidad seleccionar y cortar rboles para la
venta a clientes individuales. Quan protege los rboles pequeGos %por lo general de
menos de '(& cm. de alto) de manera que estn disponibles para la venta en aGos
1uturos. Actualmente estn clasi1icados 'D&& rboles como protegidos, en tanto que
los -D&& restantes estn disponibles para corte. $in embargo, aunque en un aGo
dado un rbol est disponible para corte, qui+s no sea seleccionado sino #asta en
aGos 1uturos. Aunque la mayora de los rboles que no se cortan en un aGo dado
viven #asta el siguiente, todos los aGos se pierden algunos pinos en1ermos.
Al estudiar la operacin de los rboles de navidad de Quan como un proceso de
ar!ov con periodos anuales, de1inimos los cuatro estados siguientes9
Estado '. 6ortado y vendido.
Estado(. Perdido por en1ermedad.
Estado-. PequeGo para cortarse
Estado0. Eisponible para cortar, pero no cortado ni vendido
"a siguiente matri+ de transicin es apropiada
1$
Cadenas de Markov
Aplicando el Excel #allamos las siguientes matrices9
a) :6untos de los D&&& rboles se vendern y cuntos se perdern<.
1=<<E<.=! @ 3=<<E<.2 D 3=2< r(oles se vendern
1=<<E<.42 @ 3=<<E<.! D 14!< r(oles se perdern
b) :6untos aGos se espera que pase un rbol pequeGo en el vivero antes de ser
cortado y vendido o perdido por en1ermedad<.
! @ <.2 D !.2 a7os
c) :6ul es la probabilidad de que un rbol disponible para cortar sea cortado y
vendido<. :y cul es la probabilidad de que se pierda por en1ermedad<.
2<4 de pro(a(ilidad de 6ue un r(ol disponi(le
para cortar sea cortado F vendido F
!<4 de pro(a(ilidad de 6ue un r(ol
disponi(le para cortar se pierda por
en$ermedad.
&PL+C&C+-)E, P0-P"E,'&,
&PL+C&C+;) 1./ ,na mquina puede estar en dos estados9 T N1uncionaO o ;
NaveriadaO, con t
TT
3

&.L, t
;;
3

&.0, t
;T
3 &.H, t
T;
3 &.(. 6uando 1unciona da una
utilidad de 0L& por periodo y, cuando est averiada, los gastos son de 'H& por
periodo, considerando la situacin de rgimen estable9
a) 6alcule la ganancia media por periodo.
1!
Cadenas de Markov
b) Ieri1ique si un plan de mantenimiento preventivo que cuesta JD& por periodo,
alterando9 t
TT
a &.A y t
;;
a &.- vale la pena<.
&PL+C&C+;) !./ 6alcule la situacin de rgimen para el modelo cuyas
probabilidades de transicin son las siguientes9
t
''
3 &.0 t
((
3&.- t
-'
3&.D
t
'(
3 &.- t
(-
3&.F t
--
3&.D
t
'-
3 &.-
Repita en el caso de t
(-
3&,0 en ve+ de &,F.
&PL+C&C+;) 3./ ,n asaltante notorio puede estar en uno de tres estados9
i) $uelto, practicando asaltos.
ii) Preso en la delegacin de polica, esperando su trans1erencia.
iii) Preso en la crcel.
6onsiderando las siguientes probabilidades de transicin9
t
aa
3 &.H8 Permanecer suelto.
t
ab
3 &.08 $er preso y llevado para la delegacin.
t
ba
3 &.(8 Tugar de la delegacin.
t
bb
3 &.(8 6ontinuar en la delegacin.
t
bc
3 &.H8 $er llevado a prisin.
t
cc
3 &.L8 6ontinuar en la prisin.
t
ca
3 &.(8 Tugar de la prisin.
a) Maga un diagrama de la situacin.
b) 6alcule la probabilidad de que un asaltante, inicialmente suelto, siga suelto
%practicando asaltos) despus de dos periodos.
&PL+C&C+;) 4./ $e usa una mquina para producir #erramientas de precisin. $i la
mquina est #oy en buenas condiciones, entonces estar bien maGana con A&@ de
probabilidad. $i la mquina est en mal estado #oy, entonces estar en mal estado
maGana con L&@ de probabilidad. $5 la mquina est en buen estado, produce '&&
#erramientas por da, y si est en mal estado, H& #erramientas por da. En promedio,
:cuntas #erramientas por da se producen<.
&PL+C&C+;) =./ "a Vep#yr Electronics 6o. Tabrica tocacintas porttiles. Antes de
mandar a ventas un casete o portacintas, se anali+a el lote. "as categoras de
inspeccin son9 no 1unciona %2T), regular, bueno y excelente. "os portacintas 2T se
desec#an, mientras que los lotes excelentes se envan inmediatamente a ventas.
"os lotes regulares y buenos se regresan para ajustes y se vuelven a probar. "as
proporciones de lotes regulares y buenos que cambian de categora se dan en la
tabla siguiente9
20
Cadenas de Markov
a) Eescrbase este proceso de prueba como una cadena de ar!ov absorbente
y calc=lese la matri+ de transicin.
b) 6untas veces, en promedio, se volver a inspeccionar un lote que ya se
#aba probado y #aba resultado regular en la prueba anterior<
c) 6untas veces, en promedio, se inspeccionar de nuevo un lote que ya se
#aba probado y dio por resultado ser bueno<
d) 6ul es la probabilidad de que se desec#e un lote regular<
e) 6ul es la probabilidad de que un lote regular llegue a ventas<
1) Ee -& &&& lotes probados como buenos originalmente. 6untos llegarn a
ventas<
&PL+C&C+;) A./ Tree+co, 5nc., vende re1rigeradores. "a 1abrica otorga una garanta
en todos los re1rigeradores que especi1ica cambio gratis de cualquier unidad que se
descomponga antes de tres aGos. $e nos da la siguiente in1ormacin9 %') el -@ de
todos los re1rigeradores nuevos 1alla durante su primer aGo de 1uncionamiento8 %() el
D@ de todos los re1rigeradores con ' aGo de 1uncionamiento 1alla durante el segundo
aGo de trabajo, y %-) el F@ de todos los re1rigeradores con dos aGos de
1uncionamiento 1alla durante su tercer aGo. "a garanta no vale para el re1rigerador
de repuesto.
a) ,se la teora de cadenas de ar!ov para predecir la 1raccin de todos los
re1rigeradores que deber cambiar Tree+co.
b) $uponga que a Tree+co le cuesta D&& dlares cambiar un re1rigerador y que
vende '&&&& re1rigeradores al aGo. $i la 1abrica redujera el pla+o de garanta
a dos aGos, :cunto dinero se a#orrara en costos de reempla+o<.
&PL+C&C+;) B./ El Programa Pro1esional de 5ngeniera 5ndustrial, despus de
#aber recogido datos durante varios aGos, puede predecir las proporciones de los
estudiantes que pasarn de una categora a otra en un aGo dado. Estos datos se
dan en la tabla siguiente.
$e observa el estado de cada estudiante al principio de cada aGo. Por ejemplo, si un
estudiante es del -er aGo al principio de este aGo, #abr HD@ de probabilidades de
21
Cadenas de Markov
que al principio del aGo siguiente sea del 0to aGo, 'D@ de probabilidad de que a=n
sea del tercer aGo y (&@ de que se retire. $uponemos que una ve+ de que se retire
un estudiante ya nunca vuelve a inscribirse.
a) $i un estudiante entra al Programa a primer aGo, :6untos aGos se espera
que pasen siendo estudiante<.
b) :6ul es la probabilidad de que egrese un estudiante de nuevo ingreso<.
c) $i #ay (D& estudiantes de primer aGo, 'D& estudiantes de segundo aGo, '(&
de tercer aGo, L& de cuarto aGo y D& de quinto aGo. :6untos de stos
estudiantes culminarn la carrera<.
&PL+C&C+;) 2./ El equipo de 1=tbol del T>6 elgar consta de ( estrellas, A
novatos y '' sustitutos. Para 1ines de impuestos, los accionistas deben evaluar a
los jugadores. $e de1ine el valor de cada jugador como el valor total del sueldo que
gana #asta su retiro. Al inicio de cada temporada, se clasi1ican los jugadores en
cuatro categoras9
Categor5a 1 Estrella %.ana ' milln de dlares al aGo).
Categor5a ! 2ovato %.ana 0&& mil dlares al aGo).
Categor5a 3 Reserva %.ana '&& mil dlares al aGo).
Categor5a 4 Retirado %2o gana salario).
$i un jugador es estrella, novato o reserva el principio de sta temporada, las
probabilidades de que pase a ser estrella, novato, reserva o retirado al principio de
la siguiente temporada son como sigue9

Eetermine el valor de los jugadores del equipo.
&PL+C&C+;) C./ En un proceso productivo las pie+as una ve+ procesadas son
inspeccionadas para determinar si son rec#a+adas, reprocesadas o aceptadas para
su posterior venta. Estadsticamente el L&@ de las pie+as son aceptadas y el D@
son rec#a+adas.
a) $i el costo de proceso es de J'D por pie+a y el de reproceso JD. :6ul seria
el costo de un item que termine en ventas<.
b) En un lote de '&&&& pie+as :cuntas sern rec#a+adas<
&PL+C&C+;) 1<./ ,na 1brica de jabn se especiali+a en jabn de tocador de lujo.
"as ventas de este jabn 1luct=an entre dos niveles Wbajo y alto/ y dependen de dos
1actores9 ') si #acen o no publicidad y () si los competidores anuncian y
comerciali+an nuevos productos. El segundo 1actor est 1uera de control de la
compaGa, pero quieren determinar cul debe ser su propia poltica publicitaria. Por
22
Cadenas de Markov
ejemplo, el gerente de comerciali+acin propone #acer publicidad cuando las ventas
estn bajas y no #acerla cuando estn altas. "a publicidad que se #ace en un
trimestre dado del aGo tiene su impacto el siguiente trimestre. Ee cualquier manera,
al principio de cada trimestre se dispone de la in1ormacin necesaria para
pronosticar con exactitud si las ventas sern altas o bajas ese trimestre y decidir si
#acer publicidad o no.
El costo de publicidad es de J' milln de dlares cada trimestre del aGo que se
#aga. 6uando se #ace publicidad en un trimestre, la probabilidad de tener ventas
altas el siguiente trimestre es X o Y seg=n si en el trimestre actual se tiene ventas
bajas o altas. Estas probabilidades bajan a Z y X cuando no se #ace publicidad en
el trimestre actual. "as ganancias trimestrales de la compaGa %sin incluir los costos
de publicidad) son de J0 millones cuando las ventas son altas pero slo J( millones
cuando son bajas. %Ee aqu en adelante utilice ci1ras en millones de dlares).
a) 6onstruya la matri+ de transicin %de un paso) para cada una de las
siguientes estrategias de publicidad9 i) nunca #acer publicidad, ii) siempre
#acer publicidad, iii) seguir la propuesta del gerente de comerciali+acin.
b) Eetermine las probabilidades de estado estable para los tres casos del inciso
a).
c) Encuentre la ganancia promedio a la larga %incluyendo una deduccin por los
costos de publicidad) por trimestre para cada una de las estrategias del inciso
a). :6ul de estas estrategias es la mejor seg=n esta medida de
desempeGo<.
&PL+C&C+;) 11./ El estado de las cuentas por cobrar en una empresa se modela
con 1recuencia como una cadena absorbente de ar!ov. $uponga que una empresa
supone que una cuenta es incobrable si #an pasado ms de tres meses de su 1ec#a
de vencimiento. Entonces, al principio de cada mes, se puede clasi1icar cada cuenta
en uno de los siguientes estados espec1icos9
Estado ' 6uenta nueva.
Estado ( "os pagos de la cuenta estn retrasados un mes.
Estado - "os pagos de la cuenta estn retrasados dos meses.
Estado 0 "os pagos de la cuenta estn retrasados tres meses.
Estado D $e #a saldado una cuenta.
Estado H $e #a cancelado la cuenta por ser mal pagador.
$upongamos que los =ltimos datos indican que la siguiente cadena de ar!ov
describe cmo cambia el estado de una cuenta de un mes al siguiente9
23
Cadenas de Markov
Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, #ay
0&@ de probabilidades de que no se pague al principio del mes siguiente y, por lo
tanto, que tenga tres meses de retraso y una probabilidad de H&@ de que se pague.
$uponga ademn que despus de tres meses, la cuenta o se cobra o se considera
incobrable.
,na ve+ que una deuda se paga o se considera incobrable, se cierra y no se tiene
ms transiciones.
a) :6ul es la probabilidad que una cuenta nueva sea cobrada alguna ve+<.
b) :6ul es la probabilidad que una cuenta atrasada un mes se vuelva
1inalmente incobrable<
c) $i las ventas de la empresa son '&& &&& dlares en promedio mensual,
:cunto dinero ser incobrable cada aGo<.
&PL+C&C+;) 1!./ En la siguiente matri+ de probabilidad de transicin se resume la
in1ormacin del progreso de los estudiantes universitarios en una universidad en
particular.

=
05 . 0 00 . 0 00 . 0 00 . 0 05 . 0 !0 . 0
$5 . 0 05 . 0 00 . 0 00 . 0 10 . 0 00 . 0
00 . 0 75 . 0 10 . 0 00 . 0 15 . 0 00 . 0
00 . 0 00 . 0 65 . 0 15 . 0 20 . 0 00 . 0
00 . 0 00 . 0 00 . 0 00 . 0 00 . 1 00 . 0
00 . 0 00 . 0 00 . 0 00 . 0 00 . 0 00 . 1
T
Eonde los estados son9
Estado '9 .raduado, Estado (9 Abandona, Estado -9 Ee primer aGo, Estado 09 Ee
segundo aGo, Estado D9 Ee tercer aGo y Estado H9 Ee cuarto aGo
a) :;u estados son absorbentes<.
b) :6ul es la probabilidad de que un estudiante de segundo aGo se grad=e,
:cul la probabilidad de que abandone<.
c) En un discurso de bienvenida a H&& alumnos de nuevo ingreso, el rector les
pide que se den cuenta de que aproximadamente D&@ de los presentes no
llegar al da de graduacin. :,n anlisis de los procesos de ar!ov apoya la
declaracin del rector<. Explique.
d) :6untos aGos se espera que pase en la universidad un estudiante de nuevo
24
Cadenas de Markov
ingreso antes de que se grad=e<
e) Moy, la universidad tiene H&& estudiantes nuevos8 D(& de segundo aGo8 0H&
de tercero y 0(& de cuarto. :;u porcentaje se graduar de los (&&&
estudiantes de la universidad<.
1) Eentro de D aGos, :cul ser la distribucin de los (&&& estudiantes<
&PL+C&C+;) 13./ El ' de enero %de este aGo), las panaderas [losman controlaban
el 0&@ de su mercado local, mientras que las otras dos panaderas, A y >, tenan 0&
y (& por ciento, respectivamente, del mercado. >asndose en un estudio de una
empresa de investigacin de mercado, se compilaron los siguientes datos9 la
panadera [losman retiene el A&@ de sus clientes, y gana el D@ de los clientes de A
y el '&@ de los de >. "a panadera A retiene el LD@ de sus clientes y gana D@ de
los clientes de [losman y F@ de los de >. "a panadera > retiene L-@ de sus
clientes y gana D@ de los clientes de [losman y '&@ de los de A.
a) :6ul ser la participacin de cada empresa en '\ de enero del aGo
siguiente.
b) [losman decide #acer una campaGa publicitaria a e1ectos de ganar clientes,
dic#a campaGa altera las probabilidades de transicin de estados de la
siguiente manera9 la panadera [losman retiene el A&@ de sus clientes, y
gana el 'D@ de los clientes de A y el (&@ de los de >. "a panadera A retiene
el FD@ de sus clientes y gana D@ de los clientes de [losman y F@ de los de
>. "a panadera > retiene F-@ de sus clientes y gana D@ de los clientes de
[losman y '&@ de los de A. $i a [losman le cuesta -D& dlares por mes una
campaGa publicitaria y por cada cliente ganado obtiene un ingreso igual a '&
dlares mensuales, :por cuntos periodos debe mantener su campaGa
publicitaria, sabiendo que se compite en un mercado de '&&& clientes<.
25