UNIVERSIDAD NACIONAL DEL SANTA

Escuela Acadmico Profesional de Ingeniera de

Sistemas e Informtica

CURSO:
INVESTIGACIN DE PERACIONES II
TERCERA UNIDAD

M0DULO:

CADENAS DE MARKOV

Dr. Juan Pablo Snchez Chvez

Modulo Cadenas de Markov Tercera Unidad

UNS

OBJETIVOS DE APRENDIZAJE
1. Cmo reconocer una cadena de Harkov
2. Cmo describir una cadena de Harkov usando una matriz de transicin o un
diagrama de estados
3. Cmo calcular las probabilidades de estado transitorio
4. Cmo calcular la probabilidades de estado estable usando el mtodo de la suma de
flujos o el mtodo de las ecuaciones matriciales
5. Cmo aplicar anlisis de Harkov a comercializacin, a contabilidad y a planeacin
de personal

SEMANA 12
INTRODUCCIN, CADENAS DE MARKOV, PROBABILIDADES DE TRANSICIN,
DIAGRAMA DE ESTADOS

Introduccin

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, se podra decir que, las cadenas
de este tipo tienen memoria, es decir Recuerdan el ultimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las
cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire
o un dado, es decir, el resultado del ltimo evento no influye en el resultado de un nuevo
evento.

El juego de blackjack es un ejemplo en el que el pasado condiciona al futuro. Conforme se

van jugando las cartas, las probabilidades en las siguientes manos se van modificando. Las
posibilidades en el juego dependen del estado o las condiciones en que se encuentre el
manojo de cartas. Lo mismo es cierto para el pcker, cuando se juegan abiertas algunas
cartas. Nadie apostara a una carta cuando otro jugador la tiene.
Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los consumidores, para pronosticar las concesiones por deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo. Aunque no es
una herramienta que se use mucho, el anlisis de Markov puede proporcionar informacin
importante cuando es aplicable a una de las situaciones antes mencionada..

El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el

mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Ms importante an, permite encontrar el
promedio a la larga o las probabilidades de estado estable para cada estado. Con esta
informacin se puede predecir el comportamiento del sistema a travs del tiempo.

Es importante indicar que se analizara por separado la teora y las aplicaciones, pues estas
ltimas son muy variadas. En este sentido, el anlisis de Markov es similar a la
programacin lineal (PL), aunque no se usa tanto. La tarea ms difcil es reconocer cundo
puede aplicarse. La caracterstica ms importante que hay que buscar es la memoria de un
evento a otro.

DESCRIPCIN DE UNA CADENA DE MARKOV

Estado
Generador:
Si

Movimiento

Evento generado
E7

E1

E4

E6

Ei

t1

t2

t3

t4

t5

Tiempo

Figura 1
Generador de Markov

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

En la figura 1 se muestra el proceso para generar una cadena de Markov. El generador de

Markov produce uno de n eventos posibles,

Ei, donde i = 1, 2, . . . , n, a intervalos

discretos de tiempo (que no tienen que ser iguales). Las probabilidades de ocurrencia para
cada uno de estos eventos dependen del estado del generador. Este estado se describe por el
ltimo evento generado. En la figura 1, el ltimo evento generado fue Ei, de manera que el
generador se encuentra en el estado Si.

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad

condicional: P(Ek / Si). Esto se llama probabilidad de transicin del estado Si al estado Ek.
Para describir completamente una cadena de Markov es necesario saber el estado actual y
todas las probabilidades de transicin.

En esta seccin se presentan dos formas fciles de exponer las probabilidades de transicin.

DIAGRAMA DE ESTADOS: PROBABILIDADES DE TRANSICION

p31

p33

S3

S1
p13

p12

p43

p21

p34

p42
S2

S4

P44

p24
Figura 2
Un diagrama de estados

Una forma para describir una cadena de Markov es con un diagrama de estados, como el
que se muestra en la figura 2. En sta se ilustra un sistema de Markov con cuatro estados
posibles: S1, S2, S3 y S4. La probabilidad condicional o de transicin de moverse de un
estado a otro se indica en el diagrama. Para simplificar la notacin se usan subndices para
Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

el estado actual y el siguiente. Es decir, p14 = P( S4 / S1). Las flechas muestran las
trayectorias de transicin que son posibles. Ntese que no aparecen algunas trayectorias
como la de S2 a S3. Su ausencia significa que esas trayectorias tienen probabilidad de
ocurrencia igual a cero.

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin.
La matriz de transicin para el ejemplo del diagrama de estados se muestra en la tabla 1.
Ntese que, como existen cuatro estados posibles, se necesitan 4 x 4 = 16 probabilidades.
Tambin ntese que cada rengln de la matriz suma 1. Esto se debe a que el sistema debe
hacer una transicin.

A:

S1
De:

S1

S2
p12

S3
p13

S4

Total

S2

p21

p24

S3

p31

p33

p34

S4

p42

p43

p44

Tabla 1
Una matriz de Transicin

Las probabilidades de transicin son datos para el anlisis. Se deben conocer, no existe
manera de derivarlas. En algunas aplicaciones esto puede ser una limitacin.

CALCULO DE LAS PROBABILIDADES DE TRANSICIN

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

Ahora que se sabe cmo presentar los datos, qu puede hacerse? Un anlisis til es
pronosticar el estado del sistema despus de 1, 2, 3 o ms periodos. Esto se llama anlisis
de transicin, debido a que es a corto plazo y est enfocado a periodos cortos.

0.75

A:
S1

S2

S1

0.75

0.25

S2

0.25

0.75

S1
De:
0.25

0.25

S2
0.75

Figura 3
Un ejemplo de dos estados

Considrese la cadena de Markov que se describe en la figura 3. Esta podra representar el

sistema de una copiadora de oficina, poco segura. Si est funcionando un da, existe un 75
% de posibilidades de que al da siguiente funcione y un 25% de posibilidades de que no
funcione. Pero si no est funcionando, hay 75% de posibilidades de que tampoco funcione
al da siguiente y slo un 25 % de que si lo haga (se lleva mucho tiempo la reparacin).

Para comenzar un anlisis de transicin, se deben conocer el estado actual. Supngase que
se est comenzando y que hay 75 % de posibilidades de estar en el estado 1 y 25 % de estar
en el estado 2. Esto define el estado actual en forma probabilista. Cul es la probabilidad
de estar en el estado 1 al da siguiente? Si se comienza en el estado 1 hay 75 % de
posibilidades de seguir ah. Si se comienza en el estado 2, slo hay 25 % de cambiar el
estado 1. As:

P ( S1) = P ( comiencese S1) p11 P ( comiencese S2)p21

Significa P(S1/S2)

= (0.75) (0.75) + (0.25) (0.25)

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

= 0.625
Como solo hay dos estados, entonces P ( S2) = 0.375 o sea 1-P(S1) 1-0625 = 0.375
Despus de dos das:

P ( S1) = 0.625 p11 + 0.375 p21

= 0.625 (0.75) + 0.375 (0.25)
= 0.5625

Este mtodo para hacer clculos puede representarse por un diagrama de rbol, como se
muestra en la figura 4. Como puede observarse, la copiadora no es muy segura. Los
resultados de los primeros cuatro das son:

P( S1)

P( S2 )

Inicio

0.75

0.25

0.625

0.375

0.5625

0.53125

0.515625

0.4375
0.46875
0.484375

Tabla N 02

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

Figura 4
Diagrama de rbol

En los sistemas con ms estados, los clculos se vuelven mas largos, pero el procedimiento
es el mismo. Considrese el sistema de tres estados que se muestra en la figura 5.
Supngase que el sistema se encuentra en el estado S1. En el diagrama puede observarse
que para el siguiente ciclo:

P(S1) = p11 = 0.4

P(S2) = p12 = 0.3
P(S3) = p13 = 0.3

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

Figura 5
Un ejemplo de tres estados

Para el segundo ciclo:

P ( S1) = 0.4 p11 + 0.3 p21 + 0.3 p31

= 0.4 (0.4) + 0.3 (0.1) + 0.3 (0.1)
= 0.22

P ( S2) = 0.4 p12 + 0.3 p22 + 0.3 p32

= 0.4 (0.3) + 0.3 (0.8) + 0.3 (0.3)
= 0.45

P ( S3) = 0.4 p13 + 0.3 p23 + 0.3 p33

= 0.4 (0.3) + 0.3 (0.1) + 0.3 (0.6)
= 0.33

Ing Juan Pablo Snchez Chvez

Pag.

Modulo Cadenas de Markov Tercera Unidad

UNS

Por supuesto, como el sistema se debe encontrar en algn estado, solo es necesario calcular
dos de estas probabilidades y la tercera puede encontrarse con la siguiente relacin:

P( S1) + P( S2) + P( S3) = 1

Ejemplo
P( S1) + P( S2) + P( S3) = 1
0.22 + 0.45 + P( S3) = 1 despejando P( S3) = 1 0.22 - 0.45 = 0.33
Los resultados para los primeros cuatro ciclos son:

Inicio

P( S1)

P( S2 )

P( S3 )

0.4

0.3

0.3

0.22

0.45

0.33

0.166

0.53

0.304

0.15

0.565

0.285

0.145

0.58

0.275

Tabla N 03

Con este anlisis puede encontrarse la probabilidad de que el sistema se encuentre en un

estado determinado en cualquier periodo futuro.

Ejercicio de Prctica 01
Dada la cadena de Harkov siguiente:
A

De

S1

S2

S1

0.6

0.4

S2

0.2

0.8

a. Dibjese el diagrama de estados

b. Si el sistema se encuentra en el estado 1, encuntrese las probabilidades de
transicin para los cuatro ciclos siguientes

Ing Juan Pablo Snchez Chvez

Pag.

10

Modulo Cadenas de Markov Tercera Unidad

UNS

SEMANA 13

PREDICCION DE PORCENTAJE DE PARTICIPACION PARA PERIODOS

FUTUROS, MTODO MATRICIAL.

El proceso de Markov tiene varios rdenes, y el primero depende de los resultados del
ltimo acontecimiento (selecciones de marcas por los clientes en ese perodo), y no de
cualquier comportamiento previo de compras para la probabilidad del acontecimiento
siguiente (selecciones de los clientes para el prximo perodo). Un anlisis de Markov de
segundo orden supone que las selecciones de marcas especficas para el prximo perodo
dependern de las selecciones de marcas hechas por los clientes durante los dos perodos
anteriores. De modo semejante, un proceso de Markov de tercer orden, estudia las
preferencias de los clientes durante los tres ltimos perodos, a fin de pronosticar su
comportamiento durante el perodo siguiente hacia determinadas marcas.

Muchos estudios de investigacin de mercados han demostrado que es vlido utilizar

las suposiciones de primer orden para fines de pronstico. Los datos indican que las
preferencias de los clientes por determinadas marcas, siguen un patrn bastante estable. En
realidad, la matriz de probabilidades de transicin permanece estable o casi estable durante
cierto perodo. Como el anlisis de Markov de primer orden no es muy difcil y ha
resultado un mtodo confiable para pronosticar las futuras preferencias de los clientes
hacia ciertas marcas, slo nos ocuparemos detalladamente del primer orden, y estudiaremos
brevemente el segundo y tercero.

PARTICIPACIONES DE MARCAS EN EL MERCADO PARA PERIODOS

FUTUROS ( PRIMER ORDEN)

Revisando un ejemplo cualquiera, supnga que las participaciones del mercado de las
marcas , B, C y D, son ahora de 22, 30, 25 y 23 por ciento, respectivamente, para el

Ing Juan Pablo Snchez Chvez

Pag.

11

Modulo Cadenas de Markov Tercera Unidad

UNS

primer perodo. La administracin se beneficiara si supiera cules sern las participaciones

de mercado en un perodo futuro. El clculo de las probables participaciones de mercado
para las marcas A, B, C y D durante el segundo perodo es cuestin de multiplicar la matriz
de probabilidades de transicin por las participaciones de mercado del primer perodo:

Probabilidades de

Primer Periodo

Transicin

Particip. De Mercado

.133 .000 .040

B .091

.767 .109 .060

.017 .891 .040

D .0.067 .083 .000 .860

1.0

1.0

1.0

Particip. Probables de Mercado

A .796

C .046

Segundo Periodo

1.0

.22
.30
X

.2242
=

.2912

.25

.2472

.23

.2374

1.0

1.0

Los clculos para la marca A (Primer Rengln x Primera Columna) son :

1. Capacidad de A para detener sus propios clientes, multiplicada por su participacin
en el Mercado :

.796 X .22 = .1751

2. Capacidad de A para detener Clientes de B, multiplicada por su participacin de B

en el Mercado :

.133 x .30 = .0399

3. Capacidad de A para detener Clientes de C, multiplicada por la participacin de C

en el Mercado :

0 x .25 = 0

Ing Juan Pablo Snchez Chvez

Pag.

12

Modulo Cadenas de Markov Tercera Unidad

UNS

4. Capacidad de A para detener clientes de D , multiplicada por la participacin de D

en el Mercado :

Marca A, participacin .040 x .23 = .0092

Participacin de A en el Mercado en el Segundo Periodo : .2242

Se efecta los mismos clculos con respecto a las marcas B, C y D.

Los clculos de la marca B ( Segundo Rengln x Primera Columna) son :

.091 x .22 = .0200

.767 x .30 = .2301
.109 x .25 = .0273
Marca B, participacin

.060 x .23 = .0138

en el Mercado en el 2do. Periodo :

.2912

Los clculos de la marca C ( Tercer Rengln x Primera Columna) son :

.046 x .22 = .0101

.017 x .30 = .0051
.891 x .25 = .2228
Marca C, participacin

.040 x .23 = .0092

en el Mercado en el 2do. Periodo :

.2472

Los clculos de la marca D ( Primer Rengln x Primera Columna) son :

.067 x .22 = .0147

.083 x .30 = .0249
0 x .25 =
Marca D, participacin

.860 x .23 = .1978

en el Mercado en el 2do. Periodo :

Ing Juan Pablo Snchez Chvez

.2374

Pag.

13

Modulo Cadenas de Markov Tercera Unidad

UNS

Despus de obtener la solucin para el segundo perodo, lo que requiere que se tengan en
cuenta las participaciones iniciales del mercado y las probabilidades de transicin, la
determinacin del tercer perodo puede hacerse de dos modos. El primer mtodo es una
continuacin del enfoque que ya hemos expresado, o sea la multiplicacin de la matriz
original de probabilidades de transicin por las participaciones de las marcas en el segundo
perodo, lo que da los resultados del tercer perodo. Esas dos matrices, y la de las
participaciones de mercado para el tercer perodo, son las siguientes:

Probabilidades de

Segundo Periodo

Transicin

Particip. De Mercado =

.133 .000 .040

B .091

.767 .109 .060

.017 .891 .040

.2224
.2912
X

D .0.067 .083 .000 .860

1.0

1.0

1.0

Particip. Probables de Mercado

A .796

C .046

Tercer Periodo

1.0

.2267
=

.2472

.2849
.2450

.2374

.2434

1.0

1.0

Primer mtodo

De nuevo se emplea la multiplicacin de matrices para obtener la solucin de las

participaciones de mercado de cada marca. Slo se muestran los clculos detallados del
primer rengln y de la primera columna.
Clculos de la marca A (Primer Rrengln x Primera Columna):
.796 x .2242 = 0.1785
.133 x .2912 = 0.0387
0 x .2472 =
0.0
.040 x .2374 = 0.0095
0.2267
Clculos de la marca B (segundo rengln X primera columna): 0.2849
Ing Juan Pablo Snchez Chvez

Pag.

14

Modulo Cadenas de Markov Tercera Unidad

UNS

Clculos de la marca C (tercer rengln x primera columna)

: 0.2450

Clculos de la marca D (cuarto rengln x primera columna)

: 0.2434

Este mtodo tiene la ventaja de que pueden observarse los cambios que ocurren de un
perodo a otro. Sin embargo, la administracin puede necesitar las participaciones de
mercado de su propia marca para ciertos perodos especficos en el futuro, y en ese caso
ser preferible el segundo mtodo. Bsicamente este mtodo eleva la matriz de
probabilidades de transicin a una potencia que representa el nmero de perodos futuros.
Por ejemplo, en el problema, las participaciones probables de mercado para el tercer
perodo, se calculan como sigue:

Probabilidades de

Primer Periodo

Transicin al cuadrado x Particip. De Mercado

A .796

.133 .000 .040

B .091

.767 .109 .060

C .046

.017 .891 .040

1.0

1.0

= Particip. Probables de Mercado

D .0.067 .083 .000 .860

1.0

Tercer Periodo

1.0

.22
.30
X

.25

.2267
=

.2850
.2449

.23

.2434

1.0

1.0

Segundo mtodo
Se utiliza de nuevo la multiplicacin de matrices. La elevacin al cuadrado de la matriz
de probabilidades de transicin significa que habr que calcular nuevas probabilidades de
retencin, ganancia y prdida. La matriz de probabilidades de transicin elevada al
cuadrado se multiplica por las participaciones originales de mercado. Como explicacin,
los diversos renglones de la matriz de probabilidades de transicin, se multiplican por sus
columnas correspondientes para formar una matriz de probabilidades de transicin
elevada al cuadrado:

Ing Juan Pablo Snchez Chvez

Pag.

15

Modulo Cadenas de Markov Tercera Unidad

A

UNS
B

A .796

.133 .000 .040

.796

.133 .000 .040

B .091

.767 .109 .060

.091

.767 .109 .060

C .046

.017 .891 .040

.046

.017 .891 .040

D .067

.083 .000 .860

.067

.083 .000 .860

.6484 .2112

.0145

.0742

.1513 .6072

.1808

.1056

.0818 .0376

.7957

.0729

.1185 .1440

.0090

.7473

Para calcular la participaciones de mercado de su propia marca para ciertos perodos

especficos en el futuro
Calculo de la Marca A (Primer Rengln x Primera Columna):

Capacidad de A para
conservar sus propios
clientes

Capacidad de A para
conservar sus propios
clientes

. 796

Capacidad de A para
ganar clientes a B

.796

Capacidad de B para
ganar clientes a A

. 133

Capacidad de A para
ganar clientes a C

.6336

.091

Capacidad de C para
ganar clientes a A

Ing Juan Pablo Snchez Chvez

.046

Capacidad de A para conservar

sus propios clientes originales
despus de 2 periodos

Capacidad de A para
reconquistar sus propios clientes
de B
.0121

Capacidad de A para
reconquistar sus propios clientes
de C
0

Pag.

16

Modulo Cadenas de Markov Tercera Unidad

Capacidad de A para
ganar clientes a D

UNS

Capacidad de D para
ganar clientes a A

. 040

Capacidad de A para
reconquistar sus propios clientes
de D
.0027

.067

La porcin de los clientes originales de A que sta retiene (la suma de los clculos
originales de la marca A) = .6484

Los 15 trminos restantes se calculan en forma semejante. La matriz de probabilidades de

transicin elevada al cuadrado que resulta se multiplica luego por las participaciones
originales de mercado. Los resultados son los siguientes:

Matriz de
Probabilidades de
Transicin elevada al
cuadrado
A

Participaciones
originales de
Mercado para cada
Periodo
D

A .6484 .2112 .0145 .0742

.22

B .1513 .6072 .1808 .1056

.30

C .0818 .0376 .7957 .0729

D ..1185 .1440 .0090 .7473
1.0

1.0

1.0

Tercer Periodo,
Participaciones
probables de
Mercado

1.0

.2267
=

.2849

.25

.2450

.23

.2434

1.0

1.0

La elevacin de una matriz a una potencia mucho ms alta no es tarea fcil. Sin embargo,
hay programas de computadoras para efectuar esos clculos con rapidez y precisin.

Trabajo: Construir un programa de computadora para elevar una matriz a una potencia n.

Ing Juan Pablo Snchez Chvez

Pag.

17

Modulo Cadenas de Markov Tercera Unidad

UNS

SEMANA 14
PROBABILIDADES DE ESTADO ESTABLE, CONDICIONES DE EQUILIBRIO
P( S1)

P( S2 )

Inicio

0.75

0.25

0.625

0.375

0.5625

0.4375

0.53125

0.46875

0.515625

0.484375

Tabla N 02 pgina 07

Consideremos el resultado de la tabla N 02 de la pagina 07 para P(S1) y de la tabla N 03

pgina 10 para P(S2)

Se sabe que, las cadenas de Markov poseen una propiedad notable en cuanto a que tienden
a aproximarse a lo que se llama estado estable. Considrense los dos ejemplos anteriores
de anlisis de transicin. En el sistema de dos estados, P(S1) result ser 0.75 al principio y
despus 0.625, 0.567, 0.531 y 0.516. Estas probabilidades se mueven hacia un lmite. En
forma anloga, en el sistema de tres estados puede observarse que P(S 2), por ejemplo,
adquiere los valores 0.3, 0.45, 0.53, 0.565 y 0.58. Despus de unos cuantos ciclos nada
ms, las probabilidades de estado comienzan a asentarse o estabilizarse. Cuando una cadena
de Markov ha llegado lo suficientemente lejos como para estar cerca de estos lmites, se
dice que ha alcanzado un estado estable. Adems, estos lmites son los mismos,
independientemente del punto de partida del sistema.

Es importante hacer notar que la existencia de una condicin de estado estable es una
propiedad adicional de las cadenas de Markov. De ninguna manera afecta las
probabilidades de transicin o la dependencia de cada estado en el estado anterior. Los

Ing Juan Pablo Snchez Chvez

Pag.

18

Modulo Cadenas de Markov Tercera Unidad

UNS

lmites de estado estable se refieren slo al porcentaje de tiempo a largo plazo que el
sistema se encontrar en cada estado particular.

En la mayora de las aplicaciones el estado estable tiene una gran importancia, esto puede
apreciarse ms adelante. En esta seccin se describen dos mtodos para determinar estos
lmites y se presenta una aplicacin a comercializacin.

Mtodo de la suma de flujos

Este mtodo est basado en el concepto de que todo lo que entra debe salir. El diagrama de
estados se usa para presentar los flujos. En la figura 6 se muestra de nuevo el ejemplo
anterior de dos estados. Para cada estado puede escribirse una ecuacin tal que para el
estado k se cumpla:

P( S ) pik P( S k )

ik
i
toda _ i k

toda _ i k

Esta ecuacin se ve peor de lo que en realidad es. Observando el estado S, en la figura 6,

pngase atencin slo en las flechas entre los estados. Para los flujos que llegan, se tiene

0.75

S1

0.25

0.25

Figura 6
Un ejemplo de dos estados

S2
0.75
Ing Juan Pablo Snchez Chvez

Pag.

19

Modulo Cadenas de Markov Tercera Unidad

UNS

P( S ) p21P( S2 ) 0.25P( S2 )

ik
i
toda _ i k

toda _ i k

Para los flujos que salen, se suman las probabilidades de transicin a todos los otros
estados. En este caso slo hay una, 0.25. As, la ecuacin para S 1 es
0.25 P(S2) = 0.25 P(S1)

De igual manera, el flujo hacia adentro para el estado S2 es 0.25 P(S1) y el flujo hacia
afuera es 0.25P(S2). Esto da para S2

0.25 P(S1) = 0.25P(S2)

El hecho de que estas dos ecuaciones sean iguales es una coincidencia. Pero no son
independientes; as, se necesita una relacin ms:

P(Sl) = P(S2) = 1
Esto proporciona tres ecuaciones con dos incgnitas que pueden resolverse por eliminacin.
El resultado es

P(S1) = P(S2) = 0.5

El procedimiento no cambia en los sistemas con ms estados. Considrese el ejemplo de
tres estados que se dio antes y que se muestra en la figura 7.

Ing Juan Pablo Snchez Chvez

Pag.

20

Modulo Cadenas de Markov Tercera Unidad

UNS

Figura N 07
Ejemplo con tres estados

Para el estado S1 se tiene

0.1P(S2) + 0.1P(S3) = (0.3 + 0.3)P(S1)

Para el estado S2, se tiene

0.3P(S1) + 0.3P(S3) = (0.1 + 0.1)P(S2)

y para el estado S3 se tiene

0.3P(S1) + 0.1P(S2) = (0.1 + 0.3)P(S3)

Agregamos la ecuacin general P(S1) + P(S2) + (S3) = 1

Ing Juan Pablo Snchez Chvez

Pag.

21

Modulo Cadenas de Markov Tercera Unidad

UNS

Ordenando las ecuaciones, para poner todo junto se tienen cuatro ecuaciones:

-0.6P(S1) + 0.1P(S2) + 0.1 P(S3) = 0

0.3P(S1) - 0.2P(S2) + 0.3 P(S3) = 0
0.3 P(S1) + 0.1P(S2) - 0.4 P(S3) = 0
P(S1) + P(S2) + P(S3) = 1
Cuando se resuelve un conjunto de ecuaciones como ste, la ltima ecuacin no puede
eliminarse. Si se usan slo las primeras tres, al final se tendr una identidad ya que no son
independientes. Una manera de resolverlas es por eliminacin. Se despeja P(S1) en la primera
ecuacin y despus se sustituye el resultado en las ltimas dos:

P(S1) = I/6P(S2) + 1/6P(S3)

0.3[1/6P(S2) + 1/6P(S3)] + 0.1P(S2)-0.4P(S3) = 0
[1/6P(S2) + 1/6P(S3)] + P(S2)+ P(S3) = 1

Sumando trminos semejantes, resultan dos ecuaciones con dos incgnitas:

0.15P(S2) - 0.35P(S3) = 0
1.17P(S2) + 1.17P(S3) = 1
Despus puede eliminarse P(S3) multiplicando la primera ecuacin por 1.17/0.35 y
sumando las dos ecuaciones:
(1.17 / 0.35) (0.15)P(S2) - 1.17P(S3) = 0
1.17P(S2) - 1.17P(S3) = 1
1.67P(S2) = 1
P(S2) = 0.5988 = 0.6

Ing Juan Pablo Snchez Chvez

Pag.

22

Modulo Cadenas de Markov Tercera Unidad

UNS

Con este resultado se encuentra P(S3):

1.17(0.6) + 1.17P(S3) = 1
P(S3) = 0.26

Por ltimo, se sustituyen los valores en la ecuacin de P(S1):

P(S1) = 1/6 (0.6) + 1/6 (0.26) = 0.14

Segn los resultados obtenidos en el anlisis de transicin, puede observarse que el sistema
estaba cerca de estos lmites despus de slo cinco ciclos.

Aplicacin a la administracin: cambio de marca

Las compras de los consumidores estn influidas por la publicidad, el precio y muchos
otros factores. Con frecuencia un factor clave es la ltima compra del consumidor. Si, por
ejemplo, alguien compra un refrigerador marca Y, y le da buen servicio, quedar
predispuesto a comprar otro refrigerador marca Y. De hecho, una investigacin de mercado
puede determinar el grado de lealtad a la marca encuestando a los consumidores. En
trminos de una cadena de Markov, los resultados de la investigacin son las
probabilidades de transicin de seguir con la marca o de cambiar.

En la figura 8 se muestra un ejemplo de cadenas de Markov para el cambio de marca. En

este ejemplo, la marca A es la marca de inters y la marca B representa todas las dems
marcas. Los clientes son bastante leales, el 80 % de ellos son clientes que repiten. La
oposicin conserva el 70 % de sus clientes.

Ing Juan Pablo Snchez Chvez

Pag.

23

Modulo Cadenas de Markov Tercera Unidad

UNS

Qu informacin puede obtenerse con el anlisis de Markov? Con el anlisis de transicin

puede descubrirse qu tan probable es que un cliente cambie despus de cierto nmero de
ciclos. Pero el anlisis de estado estable es el ms til. Qu interpretacin se dara al
promedio a largo plazo de estar en cualquiera de los estados? La de porcentajes de mercado! El promedio a la larga del estado A es el porcentaje de mercado que puede esperar
recibir la marca A. As, conociendo el grado de lealtad a la marca entre los clientes puede
predecirse el porcentaje de mercado para el producto o servicio.

Las ecuaciones de estado estable para el ejemplo de la figura 8 son :

P(A) = 0.8 P(A) + 0.3 P(B)

P(B) = 0.2 P(A) + 0.7 P(B)
P(A) + P(B) = 1

La solucin de este sistema es:

P(A) = 0.6
P(B) = 0.4

0.8

A:
Marca A

0.3

0.2

Marca B

De: Marca A

0.8

0.2

Marca B

0.3

0.7

B
0.7

Ing Juan Pablo Snchez Chvez

Figura 8
Cambio de Marca
Pag.

24

Modulo Cadenas de Markov Tercera Unidad

UNS

La marca A capturar a la larga el 60 % del mercado y las otras marcas tendrn el 40%.

Esta informacin puede ser til en muchas formas. Una de ellas es al evaluar las diferentes
estrategias de publicidad. Esta publicidad puede estar dirigida a los clientes actuales en un
esfuerzo para incrementar la lealtad a la marca. De otra manera, puede dirigirse a los
compradores de otras marcas con el fin de persuadirlos para cambiar. Cmo debe
asignarse un presupuesto de publicidad entre estas dos alternativas? El anlisis de Markov
puede proporcionar una respuesta si se dispone de cierta informacin adicional. Por
ejemplo, si cada incremento se un punto porcentual en el mercado aumenta las ganancias en
S/. 50 000 nuevos soles, el presupuesto de publicidad es S/. 100 000 y esto podra aumentar
la lealtad a la marca a 85% o incrementar el cambio a la marca a un 35%; el problema
puede resolverse de la siguiente manera, teniendo en cuenta la siguiente informacin en la
tabla N 04: La Publicidad altera la Matriz
a) Anuncios dirigidos a los clientes de la
A:
Marca A
De: Marca A

0.8

0.2

Marca B

0.3

0.7

b) Anuncios dirigidos a otros compradores

A:
Marca A
De:
Marca A

0.8

0.2

Marca B

0.3

0.7

Tabla N 04 La Publicidad altera la Matriz

Ing Juan Pablo Snchez Chvez

Pag.

25

Modulo Cadenas de Markov Tercera Unidad

UNS

Si se dirige a los clientes de la marca A (Ver tabla N 04 parte a)

P(A) = 0.85 P(A) + 0.3 P(B)

P(B) = 0.15 P(A) + 0.7 P(B)
P(A) + P(B) = 1

La solucin de este sistema es:

P(A) = 0.75

P(B) = 0.25

Si se dirige a los otros compradores (Ver tabla N 04 parte b)

P(A) = 0.8 P(A) + 0.35 P(B)

P(B) = 0.2 P(A) + 0.65 P(B)
P(A) + P(B) = 1

La solucin de este sistema es:

P(A) = 0.64
P(B) = 0.36

Respuesta: el dirigir la publicidad a los clientes actuales traer el mayor incremento en el

porcentaje de mercado, 15 puntos (P(A) = 0.60 en el estado estable y nueva P(A) = 0.75 lo
que nos da un incremento de 15 puntos), por lo que la ganancia sera 15 x 50 000 = S/.
750000 nuevos soles con un gasto de S/. 100000.

Ing Juan Pablo Snchez Chvez

Pag.

26

Modulo Cadenas de Markov Tercera Unidad

UNS

CONDICIONES DE EQUILIBRIO

Solo puede haber una condicin de equilibrio si ninguno de los competidores altera la
matriz de probabilidades de transicin. Es razonable suponer que podra llegarse en el
futuro a un estado de equilibrio, con respecto a las participaciones de mercado. El
intercambio de clientes en trminos de retencin, ganancias o prdidas, seria esttico en el
momento en que se lograra el equilibrio. En trminos de mercadotecnia, cuales son las
participaciones de mercado finales o de equilibrio?

Pueden emplearse varias matrices de probabilidades de transicin para demostrar las

condiciones de equilibrio. La matriz de probabilidades de transicin de A no gana clientes
sino que los pierde a favor de B y de C, es

.85

.10

.80

.25

.05

.20

.75

Es evidente que al final, B y C se apoderaran de todos los clientes de A, porque A pierde

.10 a favor de B y .05 a favor de C. Sin embargo, lo que es mas importante, A no gana
clientes de B o de C. Otro tipo de equilibrio que puede ocurrir es la condicin en que A
nunca pierde ninguno de sus clientes.

1.0

.10

.05

.80

.05

.10

.90

Ing Juan Pablo Snchez Chvez

Pag.

27

Modulo Cadenas de Markov Tercera Unidad

UNS

Como A no sufre perdidas de Mercado, solo es cuestin de tiempo para que tenga todos los
clientes de B y C, a lo que se llama sumidero o Cuenca de un Estado, porque al final una
empresa obtiene toda la clientela. En el primer ejemplo esto se llama sumidero o Cuenca de
dos Estados, porque al final, dos empresas comparten toda la clientela del Mercado.

El ejemplo mas comn es aquel en que ninguna empresa obtiene toda la clientela, sea que
en un total de tres empresas, ni una ni dos de ellas se apoderara de todo el Mercado. Hay
cierta condicin final de equilibrio que se desarrolla y continua basndose en una matriz
estable de probabilidades de transicin.

PRCTICA DE LABORATORIO
CONSTRUIR UN PROGRAMA PARA ELEVAR UNA MATRIZ A UNA POTENICA n
PARA SER PRESENTADO EL DA DEL EXAMEN DE LA UNIDAD III. EL
PROGRAMA DEBE TENER UN EJECUTABLE QUE DEBE CORRER EN
CUALQUIER SISTEMA OPERATIVO Y SU MANUAL DE USUARIO

SEMANA 15
TEORA DE JUEGOS.

Ing Juan Pablo Snchez Chvez

Pag.

28