Ejemplo 1.

Un jugador empedernido interviene en jun juego de azar. En el tiempo 0 tiene 2 dlares. En los tiempos 1,2,
Gana el juego con probabilidad p y lo pierde con probabilidad 1 p. la meta del jugador es aumentar su capita
esto suceda se sale del juego. Tambin se sale del juego si pierde todo su capital. Si se define a X como el capi
juego cuando el tiempo es t, entonces se puede considerar que X0, X1, X2...son procesos estocsticos de tiempo
es una constante conocida pero las dems variables aleatorias son desconocidas.
Disee este problema como una cadena de Markov.

X = Capital del jugador x = 0,1,2,3,4,

Una cadena de Markov puede estar en tres formas (analitica, grafica y numerica)

P P P

1 2 3 4
1

1-P 1-P 1-P

p(X1=3I Xo =2) = p Estados 0 1 2

p(X1=1I Xo =2) = 1-p 0 1 0 0
p(X2=4I X1 =3) = p 1 1-p 0 p
p(X2=2I X1 =3) = 1-p 2 0 1-p 0
p(X2=2I X1 =1) = p 3 0 0 1-p
p(X2= 0I X1 =1) = 1-p 4 0 0 0
p(X3=4I X2 =4) = 1
p(X3=0I X2=0) = 1
e 2 dlares. En los tiempos 1,2, participa apostando 1 dlar.
del jugador es aumentar su capital a 4 dlares y tan pronto
ital. Si se define a X como el capital de jugador despus del
n procesos estocsticos de tiempo discreto. Ntese que X0 = 2
das.

3 4
0 0
0 0
p 0
0 p
0 1
 Ejemplo 2.- Una urna contiene bolas habiendo dos de ellas sin pintar. Se selecciona una bola al azar y se lan
elegida no est pintada y la moneda sale guila, se pinta la bola de rojo pero si la moneda cae sol se pinta la b
extrada ya est pintada, entonces si es roja se pinta de negro y viceversa independientemente que haya salid
Se define a t como el tiempo despus que la moneda ha sido lanzada por tsima vez y se ha pintado la bola e
tiempo se puede representar el estado mediante el vector [u r b ], donde u es el nmero de bolas sin pintar en
bolas rojas y b el de bolas negras. Se dice que Xo = [2 0 0 ]. Despus del primer lanzamiento una bola ser pin
Disee este problema como una cadena de Markov.

T = Tiempo despues de lanzar la moneda t = rojo, negro

X = lanzar moneda x = aguila, sol
U = Numero de bolas sin pintar u =1,2

Estado actual (2, 0,0)

P = 1/2

Bola Bola
Aguila pintada pintada
Sol de Negro
de rojo

(1,1,0) (1,0,1)

(0,2,0)
(0,0,2)
lecciona una bola al azar y se lanza una moneda. Si la bola
si la moneda cae sol se pinta la bola de negro. Si la bola
ependientemente que haya salido guila o sol en la moneda.
sima vez y se ha pintado la bola escogida. En cualquier
s el nmero de bolas sin pintar en la urna, r el nmero de
er lanzamiento una bola ser pintada de rojo o de negro.

Bola
pintada
de Negro