Vous êtes sur la page 1sur 19

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 1

CADENAS DE MARKOV
Nociones preliminares 1)

Vector de probabilidad.
t Un vector fila u = ( u1 , u2 , u3 , .......... , un ) se llama vector de probabilidad ssi : a) b) t u i 0 , a i , i = 1, 2, .........., n ! u i = 1. t
n

i=1

Ejemplo 1.a) t u=( 3 ,0,4 u3<0


3 t u=( 4 ,0, 3 1 4 + 0 + 4 + 1 4

" #

), no es un vector de probabilidad pues

b)

1 4 " #

) , no es vector de probabilidad pues 1

" #

c)

t u = ( 1 , 0 , 1 , " ) es vector de probabilidad pues u i 0,a i 4 4 # y 1 +0+ 1 + " =1 4 4 # t u = ( 2, 3, 5, 0, 1 ) no es vector de probabilidad pues 2 + 3 + 5 + 0 + 1 = 11, sin embargo el vector t u 2 3 5 1 11 = ( 11 , 11 , 11 , 0, 11 ) es vector de probabilidad Recuerde que el concepto de probabilidad de ocurrencia de un evento es = casos favorables ( dar ejemplo de monedas, casos posibles fichas en una bolsa, etc.) t Si u = ( u1 , u2 , u3 , .......... , un ) es un vector de probabilidad, entonces u1 + u2 + u3 + .......... + un = 1 u n = 1- u1 - u2 - u3 - ........ - u n - 1 , de modo que el vector se puede escribir t u = ( u1 , u2 , u3 , .......... ,1- u1 - u2 - u3 - ........ - u n - 1 ) En particular, un vector de probabilidad de 2 componentes se puede representar en la forma ( x, 1 - x ), y uno de 3 componentes ( x, y, 1 - x - y )

d)

Observacines : 1)

2)

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


2)

Pg . 2

Matriz estocstica.

Una matriz cuadrada A = [ a i j ] es estocstica, si cada una de sus filas es un vector de probabilidad, es decir, si cada elemento de A es no negativo y la suma de los elementos de cada fila es 1. Ejemplo 2 .- : 3 A=3
1 4 3

0
1 2 1 3

1
1 3

2 3 1 4 1 3

no es una matriz estocstica pues a 23 < 0

A=4 1

3 4 1 3

no es una matriz estocstica pues la segunda fila no es vector de probabilidad

0 A=1 probabilidad. 1 3
2

1
1 6 2 3

0 1 0
3

es una matriz estocstica pues cada fila es un vector de

Observacin : Si A y B son matrices estocsticas entonces : a) b) 3) A B es una matriz estocstica. A n es una matriz estocstica, a n , n

Matriz estocstica regular


Definicin :

Una matriz estocstica A es regular, si b n tal que An es una matriz con todas sus componentes positivas.

Ejemplo 3 .0 A = 1
2

1
1 2

A# = 2 1
1 4

1 2 3 4

A es regular pues b n = 2

Ejemplo 4 .-

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 3

1 A = 1
2

0
1 2

; 1 A$ = 7
8

A# =

1
3 4

0
1 4

0
1 8

1 A% = 15
16

0
1 16

en general no es regular .

1 n A = 2n - 1 n
2

0
1 n 2

, luego no existe n y por tanto la matriz

Definicin : t Un vector fila no nulo u = ( u1 , u2 , u3 , .......... , un ) es un punto fijo de una matriz t cuadrada A, si u permanece fijo cuando se multiplica por A, es decir, t t u [A] = u

Ejemplo 5 .a) 2 Sea [A] = 2 2 2 1 3 t y sea u = a2 , -1 b

t u [A] = a2 , -1 b

1 = a2 , -1 b 3

t u es un punto fijo de la matriz [A] Sea A = 2 2 2 2 1 3 t y sea u = a2 - , -- b , - d 1 = - a2 , -1 b = a2 - , -- b 3

b)

t u [A] = a2 -, -- b

1 2 = - a2 , -1 b 3 2

t u es un punto fijo de la matriz [A]

Teorema : t Si u es un vector fijo de una matriz A, entonces a - *

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 4

t ( - 0 ), el mltiplo del escalar - u es tambin un punto fijo de [A] .

Relacin entre matrices estocsticas regulares y puntos fijos.

Teorema : Sea P una matriz estocstica regular, entonces : a) P tiene un vector de probabilidad fijo nico t, y las componentes de t son todas positivas. La sucesin P , P# , P$ , P% , .............. de potencias de P se aproxima a la matriz T , cuyas filas son cada una el punto fijo t. Si p es cualquier vector de probabilidad, entonces la sucesin de vectores p P , p P# , p P$ , .....................se aproxima al punto fijo t.

b)

c)

Observacin : Pn p P n Ejemplo 7 .a) Sea 0 P = "


#

T t

1
" #

probabilidad t = ( x, 1 - x ) tal que t P = t t t t 0 ( x, 1 - x ) "


#

una matriz estocstica regular, buscaremos un vector de

1
" #

= ( x, 1 - x )
1 3 " # " # x - 2 =x x + 2 =1-x

" #

x 2

" #

x 2

) = ( x, 1 - x )

resolviendo el sistema se obtiene x =

t=(

1 3

2 3

).

que es el vector de probabilidad fijo nico.

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


1 t Consideremos ahora T = = 3 1 t 3 2 3 2 3

Pg . 5

0.33333 = 0.33333

0.66666 0.66666 0.75 0.625

0 P="
#

1
" #

P# =

0.5 0.25 ,

0.5 0.75

P$ =

0.25 0.375

0.375 P% = 0.3125 P6 = 0.3437 0.3281

0.625 0.6875 0.6562 0.6718 0.6664 0.6679

0.3125 P5 = 0.3437 0.3281 P7 = 0.3359 0.3320 p9 = 0.3339

0.6875 0.6562 0.6718 0.6664 0.6679 0.6660

0.3359 P8 = 0.3320

En la secuencia se observa claramente que Pn T

b)

0 Sea P = 0 "
#

1 0
" #

0 1 una matriz estocstica regular. 0

Buscaremos el vector de probabilidad fijo nico t en que t, t = ( x , y , 1 - x - y ) y tal que t P = t t t t. 0 0 "


#

(x,y,1-x-y)

1 0
" #

0 1 =(x,y,1-x-y) 0

y x - 2 - 2 =x y x x+ 1 - 2 - 2 =y 2 y = 1 - x - y " #

3x + y = 1 x - 3y = -1 x + 2y = 1 ,
2 5

x = y =

1 5 2 5

luego t = ( 1 , t 5 probabilidad

2 5

) = ( 0.2 ; 0.4 ; 0.4 ) es el vector fijo de 0.4 0.4 .04

t 0.2 Consideremos ahora T = t = 0.2 t 0.2

0.4 0.4 0.4

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


0 P= 0 "
#

Pg . 6

1 0
" #

0 1 0 0.5 0.5 0.25 0 0.5 0.5 0.5 0.25 0.5 0.5 0.375 0.375 0.375 0.4375 0.375 0.4003 0.4003 0.3994 P10 = P6 =

0 p = 0.5 0
#

0 0.5 0.5

1 0 0.5

P$ =

0.5 0 0.25 0.25 0.25 0.125

P4 =

0 0.25 0.25 0.5 0.375 0.375

0.5 0.5 0.25 0.5 0.5 0.25 0.25 0.5 0.375 0.375 0.4375 0.375 0.375 0.375 0.4375

P5 =

0.25 0.5 0.375

0.25 0.125 0.25


8

0.125 0.25 P = 0.1875


7

0.375 0.375 0.4375 0.4375 0.375 0.4062

0.25 P = 0.1875 0.1875 0.1875 0.2187 0.1875 0.1999 0.2 0.1999 0.375 0.4062 0.4062

P9 =

0.1875 0.1875 0.2187 0.1992 0.2001 0.2001

0.4375 0.375 0.4062 0.4 0.3999 0.4

p20 =

0.4003 0.3994 0.4003

P50 =

0.3999 0.4 0.4

CADENAS DE MARKOV

Consideremos una sucesin de experimentos cuyos resultados x1 , x2 , ..... satisfacen las siguientes condiciones : a) Cada resultado peretenece a un conjunto finito de resultados a1 , a2 , a3 , ..............., am , llamado el espacio de estados del sistema.

Si el resultado de la n-sima prueba es ai , entonces decimos que el sistema est en el estado ai en el tiempo n , o en el n-simo paso. b) El resultado de cualquier experimento depende a lo sumo del resultado del experimento inmediatamente anterior y no de cualquier otro resultado previo. A cada par de

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 7

estados ai , aj se asocia la probabilidad dada pi j de que aj ocurra inmediatamente despues de la ocurrencia de ai .

Observaciones : 1) Un proceso de este tipo recibe el nombre de Cadena de Markov ( finita ). Los nmeros pi j se llaman probabilidades de transicin y se pueden organizar en

2) forma de matriz :

p 11 p 21 P = ... ... p n1

p 12 p 22 ... ... p n2

... ... ... ... ... ... ... ... ... ...

p 1n p 2n ... llamada matriz de transicin. ... p


nn

3) Para cada estado ai corresponde la fila i de la matriz P. Si el sistema est en estado ai , entonces el vector fila representa las probabilidades de todos los resultados posibles del experimento siguiente.

4)

La matriz de transicin P de una cadena de Markov es una matriz estocstica.

Ejemplo 8 .Una persona puede escoger entre conducir un automovil o tomar el tren para ir a su trabajo cada da. Supongamos que la persona nunca toma el tren dos das seguidos; pero si conduce hasta su trabajo, entonces al da siguiente puede manejar de nuevo o tomar el tren. El espacio de estados del sistema es : a1 = tomar tren , a2 = conducir su automovil

Este proceso es una cadena de Markov, puesto que el resultado de cualquier da depende unicamente de lo que ha sucedido el da anterior

La matriz de transicin de la cadena de Markov es :

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 8

0 P="
#

1
" #

p11 = 0 ;

p12 = 1

p21 =

" #

p22 =

" #

p i j = ocurre aJ dado que ocurri ai Ejemplo 9 .Tres nios A, B y C juegan con una pelota. A siempre pasa la pelota a B, B siempre pasa la pelota a C, pero C puede de igual manera pasar la pelota a A o a B. El espacio de estados del sistema es : A= tiene la pelota A, B = tiene la pelota B, C = tiene la pelota C

Este proceso es una cadena de Markov, puesto que cada nio que no est influido por quin tenga la pelota anteriormente. La matriz de transicin es : 0 P= 0 "
#

1 0
" #

0 1 0

Definicin : Si en la matriz de transicin P de una cadena de Markov, pi j es la probabilidad de que el sistema cambie del estado ai al estado aj en un paso : ai aj , entonces denotaremos por p(n) ij es la probabilidad de que el sistema cambie del estado ai al estado aj en exactamente n pasos. ai ak1 ak2 ......................... akn - 1 aj , y adems p(n) es una componente de la ij matriz P(n) , llamada matriz de transicin del paso n.

Teorema :

Si P es la matriz de transicin de un proceso de cadena de markov, entonces la matriz de transicin del paso n es igual a la n-sima potencia de la matriz P, es decir p(n) = Pn

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 9

Notacin : Si p = ( p1 , p2 , p3 , ...................... , pm ) es la distribucin de probabilidad de un sistema en un tiempo tomado arbitrariamente, entonces denotaremos por : (0) (0) (0) (0) (0) p = p1 , p2 , p3 , ...................... , pm , la distribucin inicial de probabilidad,

es decir, la distribucin cuando el proceso comienza, y denotamos por (n) (n) (n) (n) (n) p = p1 , p2 , p3 , ...................... , pm , la distribucin de probabilidad del paso n, es decir la distribucin despues de los primeros n pasos.

Teorema : Sea P la matriz de transicin de un proceso de cadena de Markov. Si p = (pi ) es la distribucin de probabilidad del sistema para algn tiempo arbitrario, entonces p * P es la distribucin de probabilidad del sistema un paso ms tarde y n p * P es la distribucin de probabilidad del sistema, n pasos ms tarde. p =p P p =p P = p P
(3) (2) (1) 2 (2) (1) (0) 2 (1) (0)

p =p P =p P = p P
(4) (3) (2) 2 (1)

(0)

p =p P =p P = p P = p P .... p = p
(n) (n - 1)

(0)

P= p

(n - 2)

P= p

(n - 3)

P =........................... = p P

(0)

Ejemplo 11.Consideremos la cadena de Markov del ejemplo 8, cuya matriz de transicin es 0 1 P = " " , en que los estados del sistema son
# #

a1 = tomar tren , a2 = conducir su automovil,entonces : Primer caso : Si

p = a1 , 0b , es decir . fu al trabajo en trn, entonces,


(0)

el paso siguiente ,

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


0 = a1 , 0b "
#

Pg . 10

(1)

1
" #

= a0 , 1b, es , conduce su automovil 1


" # " # 3 4 " " = # , # " " = # , # 1 3 = 4 , 4 1 3 = 4 , 4 1 3 = 4 , 4

0 (2) (1) p = p P = a0 , 1b "


# # p = p p = a1 , 0b 1
(2) (0) 2

"

0 (3) (2) p = p P = " , " " # #


# # p = p p = a0 , 1b 1
(3) (1) 2

1
" # " # 3 4 3 4 5 8

"

p = p p = a1 , 0b 4 3
(3) (0) 3

1 8

......

.......... ........... ............

............ = (

p = p p = a1 , 0b
(8) (0) 7 (0)

21 64 43 128

43 64 85 128

21 64

43 64

luego, si p = a1 , 0b es decir, fu en trn, la probabilidad de que al tercer da ( paso 3 ) tome trn es 1 ( 25 % ) , y que conduzca su auto es 3 (75 %), y la probabilidad de que al octavo da ( paso 4 4 8 ) tome trn es 21 ( 32.81 % ) , y que conduzca su auto es 43 ( 67.19 % ) 64 64

Segundo caso : Si p = a0 , 1b , es decir . fu al trabajo en auto, entonces,


(0)

el paso siguiente p
(1)

0 = a0 , 1b "
#

1
" #

1 1 = 2 , 2 , es toma el trn o

conduce su auto. 0 (2) (1) p = p P = 1 , 1 " 2 2


#

1
" #

1 3 = 4 , 4

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


# p = p p = a0 , 1b 1
(2) (0) 2

Pg . 11

"

" # 3 4

1 3 = 4 , 4 3 5 = 8 , 8 3 5 = 8 , 8 3 5 = 8 , 8

0 (3) (2) p = p P = 1 , 3 " 4 4


#
(3) (1) 2 # p = p p = 1 , 1 1 2 2

1
" # " # 3 4 3 4 5 8

"

p = p p = a0 , 1b 4 3
(3) (0) 3

1 8

......

.......... ........... ............

............ = (

p = p p = ( 0, 1)
(8) (0) 7 (0)

21 64 43 128

43 64 85 128

43 128

85 128

luego, si p = a0 , 1b es decir, condujo su auto, la probabilidad de que al tercer da ( paso 3 ) tome el trn es 1 ( 25 % ) , y que conduzca su auto es 3 (75 %); la probabilidad de que al 4 4 43 octavo da ( paso 8 ) tome trn es 128 (33.59 % ) y que 85 conduzca su auto es 128 ( 66.41 % ) Observemos ahora en la matriz P =
7

21 64 43 128

43 64 85 128

a11 = 21 = 0.32.81 representa la probabilidad de que el sistema cambie del estado a1 64 al estado a1 en siete pasos. ( 32.81 % ) a12 = 43 = 0.6719 representa la probabilidad de que el sistema cambie del estado a1 64 al estado a2 en siete pasos. ( 67.19 % )
43 a21 = 128 = 0.3359 representa la probabilidad de que el sistema cambie del estado a2 al estado a1 en siete pasos. ( 33.59 % ) 85 a22 = 128 = 0.6641 representa la probabilidad de que el sistema cambie del estado a2 al estado a2 en siete pasos. ( 66.41 % )

Supongamos ahora , que el primer da lanz un dado , y cunduce su automovil si y slo si aparece un seis. En este caso, la distribucin inicial ser p =( ser :
(0)

5 6

1 6

en este caso la distribucin de probabilidad despus de 4 das

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


) )
3 8 5 16 5 8 11 16

Pg . 12

p P = (

(0)

5 6

1 6

=(

35 96

61 96

, y despues de 7 das ser

p P = (

(0)

5 6

1 6

21 64 43 128

43 64 85 128

=(

253 768

515 768

) = ( 32.94 % ; 67.06 % )

Ejemplo 12.Consideremos la matriz de transicin del ejemplo 9 , en donde los estados son : A= tiene la pelota A, B = tiene la pelota B, C = tiene la pelota C y la matriz de transicin es : 0 P= 0 "
#

1 0
" #

0 1 0

Supongamos que C es el primer nio que tiene la pelota, cuando se inicia el juego, en este caso la distribucin inicial de la probabilidad es : p = ( 0, 0, 1 )
(1) (0) (0)

p P = ( 0, 0, 1 )

0 (1) p P = ( 1 . 1 , 0 ) 0 2 2 1 2 (2) p = 0 (0) 2 p P = ( 0, 0, 1 ) 1 2 0

0 0 "
#

1 0
" #

0 1 = ( 0

1 2

1 2

,0)

1 0
1 2

0
1 2 1 2

0 1 = (0, 1 , 1 ) 2 2 0 1 0 = ( 0 , 1 , 1 ) 2 2 1 2

(2) 0 1 0 p P = ( 0 , 1 , 1 ) 0 0 1 = ( 1 , 1 , 1 ) 2 2 4 4 2 " " 0 # # 0 0 1 (1) 2 1 1 (3) 1 1 0 = ( 1 , 1 , 1 ) 2 2 p = p P=( 2 , 2 ,0) 4 4 2 0 1 1 2 2 1 1 2 2 0 (0) 3 p P = ( 0, 0, 1 ) 0 1 1 = ( 1 , 1 , 1 ) 4 4 2 2 2 1 1 1 4 4 2

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 13

pelota es

1 4

despus de tres pases,si inicialmente la tena C, la probabilidad de que A tenga la , que la tenga B es 1 , y que la tenga C es " . 4 # Teorema :

Dada la matrz de transicin P de una cadena de Markov, tal que sea una matrz regular, entonces, a la larga, ( despues de n pasos ) , la probabilidad de que cualquier estado aj ocurra es aproximadamente igual a la componente t j del vector de probabilidad fijo nico t de P, llamado distribucin estacionaria de la cadena de Markov. Observacin : El vector de probabilidad fijo, representa los estados de equilibrio del proceso. Ejemplos 13.Consideremos el proceso de la cadena de Markov del ejemplo 8, cuya matrz de transicin es : 0 P="
#

1
" #

El vector fijo de probabilidad de la matrz P es t = 1 , 2 , entonces, a la larga, la t 3 3 persona tomar el trn para ir al trabajo 1 del tiempo y conducir su automovil los 2 restantes del 3 3 tiempo. Ejemplo 14.Consideremos el proceso de la cadena de Markov del ejemplo 9 , cuya matrz de transicin es 0 1 . El vector fijo de probabilidad de la matrz P es " 0 # # t z = ( 1 , 2 , 2 ), lo que indica que a la larga A tendr la pelota el 20 5 5 5 % del tiempo, B y C la tendrn el 40 % del tiempo. P= 1 0 0 0 "

Ejercicios :

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 14

Los hbitos de estudio de un estudiante son como sigue : Si estudia una noche, est seguro en un 70 % de que no estudiar la noche siguiente. Por otra parte, la probabilidad de que no estudie dos noches seguidas es 0.6. A la larga, con qu frecuencia estudia ? Solucin : El espacio de estados del sistema es a1 = estudia ; a2 = no estudia La matriz de transicin es obtiene de (x,1-x) 0.3 0.4 0.3 P= 0.4 0.7 , y el vector fijo de probabilidad se 0.6

1)

0.7 = (x,1-x) 0.6 x=


4 11 4 11

0.3x + 0.4(1 - x) = x 0.7x + 0.6(1 - x) = 1 - x a la larga el estudiante estudia

z=(

4 11

7 11

de su tiempo.

2) El territorio de un vendedor consta de tres ciudades A, B y C. Nunca vende en la misma ciudad en dos das sucesivos. Si el vendedor trabaja en la ciudad A entonces al da siguiente trabajar en la ciudad B, sin embargo, si trabaja en B o en C , la probabilidad de que trabaje en la ciudad A es el doble de la probabilidad de que lo haga en cualquiera de las otras dos ciudades. A la larga, con qu frecuencia trabaja el vendedor en cada una de las dos ciudades.? Solucin : El espacio de estados del sistema es A, B, C 0 1 0 La matriz de transicin es P = 2 0 1 3 3 2 1 0 3 3 El vector fijo nico de probabilidad se obtiene de : 0 ( x, y, 1 - x - y ) 2 2 3
3

1 0
1 3

2 y + 2 (1 - x - y ) = x 3 3 x + 1 (1 - x - y ) = y 3 1 3y = 1 - x - y

0 1 = ( x, y, 1 - x - y ) 3 0 2x - 4y = -1 3x + 4y = 3 2y - 5x = 0

Resolviendo el sistema se obtiene :

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 15

x=

2 5

y= t z=(
2 5

9 20

z=1-x-y=

3 20

de modo que

9 20

3 20

) = ( 0.4 ; 0.45 ; 0.15 )

a la larga : trabaja en la ciudad A el 40 % del tiempo. trabaja en la ciudad B el 45 % del tiempo. trabaja en la ciudad C el 15 % del tiempo.

3) En la ciudad de Buenas Peras hay 3 canales de televisin, A, B y C. Un telespectador selecciona un canal cada da. Si sintoniza el canal A un da, al da siguiente puede igualmente sintonizar cualquiera de los otros dos canales. Si sintoniza el canal B, al da siguiente tiene un 40 % de probabilidad de volver a sintonizar el mismo canal e igual probabilidad de sintonizar cada uno de los otros dos. Si sintoniza el canal C, al da siguiente tiene un 70 % de probabilidad de sintonizar el canal A, y la probabilidad de sintonizar el canal B es el doble de la de sintonizar C. a) Determine el vector de los estados, y la matriz de transicin. b) Si el primer da selecciona la seal B, Qu probabilidad hay de que selecciones la seal A al cuarto da ?. c) Si el canal C transmite futbol el da sbado y el da lunes seleccion el canal C, Qu probabilidad tiene de ver el futbol ? d) Con qu frecuencia sintoniza cada canal ?

Solucin : a) El vector de los estados es : A = sintoniza el canal A, B = sintoniza el canal B, C = sintoniza el canal C La matriz de transicin es 0 P = 0.3 0.7 0.5 0.3 0.1

0.5 0.4 0.2

b) Dado que el primer da selecciona el canal B, el cuarto da corresponde al paso tres de la cadena de Markov, luego p = (0,1,0)
(0)

luego p = p P#

(3)

(0)

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


0 ( 0 , 1 , 0 ) 0.3 0.7 0.5 0.3 = ( 0.33 , 0.37 , 0.3 ) 0.1
2

Pg . 16

p =

(3)

0.5 0.4 0.2

de modo que la seal A tendr un 33 % de probabilidad de ser sintonizada

c)

El evento corresponde al paso 5 de la cadena luego 0 (5) (0) 5 p = p P = ( 0 , 1 , 0 ) 0.3 0.7 (5) p = (0.3233; 0.372; 0.3046 ) 0.5 0.4 0.2 0.5 0.3 0.1
5

luego tiene un 30.46 % de probabilidad de ver el futbol.

d)

Para determinar la frecuencia con que se sintoniza cada canal se debe obtener el vector fijo de probabilidad de la matriz de transicin. t sea v = ( x, y, 1 - x - y ) el vector fijo, luego 0 0.3 0.7 0.5 0.4 0.2 0.5 0.3 = ( x, y, 1 - x - y ) 0.1

( x, y, 1 - x - y )

de donde resulta el sistema de ecuaciones : x = y= z =


12 37 55 148 45 148

1.7x + 0.4y = 0.7 0.3x - 0.8y = - 0.2 1.4x + 1.2y = 0.9

= 0.324324 = 0.371621 =0.304054

luego finalmente, a la larga sintonizar : el canal A un 32.43 % del tiempo el canal B un 37.16 % del tiempo el canal C un 30.40 % del tiempo

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


Diagramas de transicin.-

Pg . 17

Las probabilidades de transicin de una cadena de Markov pueden representarse mediante un diagrama, llamado diagrama de transicin, donde una probabilidad positiva p i j se representa con una flecha del estado ai al estado aj . Ejemplo 15.Encontrar la matriz de transicin de cada uno de los diagramas de transicin siguientes : 1)
a1 1 0.5 0.5

a2

0.5

a3 0.5

Solucin : 0 " " #


#

P=

0 0 0

1 "
# " #

2)
a1 0.5 0.5

0.5 a2 0.5 0.5

a3 0.5 1 a4

Solucin :

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA


0 0 " 0
# " # " #

Pg . 18

P=

0 0

0 0 0 1

" # " # " #

Ejercicios propuestos : 1) Indique sul o cules de los siguientes vectores, son vectores de probabilidad : t t v = ( 1, ", - 1, " ) ; t = ( 1, 1, 1, 1 ) t ; u = ( 0, 0, 2, -1 ) 4 # 4 # 3 3 6 6 Indique cul o cules de las siguientes matrices son estocsticas : 0 i) "
#

2)

1
1 4 1 3

0
1 4

ii)
1 3 1 4 1 4 1 5

1 0

0 1 0 - " # 0.3 0.6 0.1

iii)

0 "
#

1
1 4

" # 0 " #
1 4

0 " # iv) 1
8 2 5

0
3 8 2 5 " # " # 1 4

1 3 1 4 1 4

v)

1
2

vi)

0 0 0 "
#

1 0

0 " #
1 4

vii)

" # " # 1 4

viii)

0.5 0 0.5

0.2 0.4 0.4

ix)

0 " 0
#

0 0 1

1 0
" #

Cules de ellas son estocsticas regulares ? 3) Encontrar el vector fijo nico de probabilidad t de cada una de las siguientes matrices : t 0 A=1 0
3 " # 2 3

a)

1
1 2 1 4

0
1 2

0
" #

0 " b) B = # " # 0 1 4 1
1 2

1 0
1 4

0 "
# 1 4

c)

0 1 C=2 0 0

0
1 2

0 0 0

4)

i)

Si t = 1 , 0, 1 , 1 es un punto fijo de una matriz estocstica P. t 2 4 4 Es P regular ? justifique. Idem para t = 1 , 1 , 1 , 1 t 4 4 4 4

ii)

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .

UNIVERSIDAD TECNOLGICA METROPOLITANA DEPARTAMENTO DE MATEMTICA

Pg . 19

5) Hallar la matriz de transicin que corresponde a cada uno de los siguientes diagramas de transicin : i)
0.5 a1 a2 0.5 0.5 0.5

0.5 a3 1

ii)
0.5 0.25 a2

0.5 0.5 a1 1 0.5 a3 a4

0.5

6) :

Dibujar un diagrama de transicin para cada una de las siguientes matrices de transicin ! " "
$ '

a)

" # " $

" # # $

b)

" # " $ " '

" # " $ # $

c)

% ! "
"

" % " $

" %

!
$ (

" (

! ! !

!
" % # $ $ (

" Cadenas de markov " ; Autor : Prof Victor H. Henrquez Rojas .