RESUMEN

Un sistema de Markov (o proceso de Markov o cadena

de Markov) es un sistema que puede estar en uno de
algunos estados, y que puede pasar de un estado a
otro durante cada instante de acuerdo a
probabilidades determinadas.
Si un sistema de Markov est en estado i, hay una
determinada probabilidad, pij, de ir a estado j el
prximo paso, y pij es llamado la probabilidad de
transicin.
Un sistema de Markov puede ser ilustrado por
significados de un diagrama de transicion de estados,
que muestra todos los estados y las probabilidades de
transicin.
La matriz P cuya ijo entrada pij se llama la matriz de
transicin asociada con el sistema. Las entradas en
cada rengln suman en total 1.

INTRODUCCIN
En este trabajo se centrar en las Cadenas de Markov
y se analizar el tema para el provecho de nuestro
conocimiento. Una cadena de Markov es una serie de
eventos, en la cual la probabilidad de que ocurra un
evento depende del evento anterior. En efecto, las
cadenas de este tipo tienen memoria, recuerdan el
ltimo evento y esto condiciona las posibilidades de
los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una
moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los
patrones de compra, los deudores morosos, para
planear las necesidades de personal y para analizar el
reemplazo de equipo, lo cual es una aplicacin muy
interesante de este tema.

OBJETIVO DEL TEMA

El objetivo de Las Cadenas de Markov es que

describen la forma en que el proceso evolucionara en
el futuro dependen solo del estado actual en que se
encuentra el proceso y, por lo tanto, son
independientes de los eventos ocurridos en el pasado.
Muchos procesos se ajustan a esta descripcin por lo
que las cadenas de Markov constituyen una clase de
modelos probabilsticas de gran importancia.

DESARROLLO DEL TEMA

-INTRODUCCIN A LAS CADENAS DE MARKOV
Los procesos de paseo aleatorio en realidad son un
caso particular de procesos ms generales que son las
cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable
aleatoria Xn va cambiando con el paso del tiempo. Las
cadenas de Markov tienen la propiedad de que la
probabilidad de que Xn = j slo depende del estado
inmediatamente anterior del sistema: Xn1. Cuando
en una cadena dichas probabilidades no dependen del
tiempo en que se considere, n, P (Xn = j | Xn1 = i) se
denomina cadena homognea, esto es, las
probabilidades son las mismas en cada paso.
El anlisis de Markov, llamado as en honor de un
matemtico ruso que desarrollo el mtodo en 1907,
permite encontrar la probabilidad de que un sistema

se encuentre en un estado en particular en un

momento dado. Algo ms importante an, es que
permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado.
Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo. La
tarea ms difcil es reconocer cundo puede aplicarse.
La caracterstica ms importante que hay que buscar
en la memoria de un evento a otro.

-PROBABILIDAD DE TRANSICIONES ESTACIONARIAS

En una cadena homognea finita con m posibles
estados E1, E2,...,Em se puede introducir la notacin
pij = P (Xn = j | Xn1 = i), donde i, j = 1, 2, . . . , m. Si
pij > 0 entonces se dice que el estado Ei puede
comunicar con Ej . La comunicacin puede ser mutua
si tambin pji > 0. Para cada i fijo, la serie de valores
{pij} es una distribucin de probabilidad, ya que en
cualquier paso puede ocurrir alguno de los sucesos E1,
E2,...,Em y son mutuamente excluyentes. Los valores
pij se denominan probabilidades de transicin que
satisfacen la condicin pij > 0, Xm j=1 pij = 1, para
cada i = 1, 2, . . . , m. Todos estos valores se combinan
formando una matriz de transicin T de tamao m
m, donde T = [pij ] = p11 p12 p1m p21 p22
p2m . . . . . . ... . . . pm1 pm2 pmm Se
puede observar que cada fila de la matriz es una
distribucin de probabilidad, es decir, Pm j=1 pij = 1.

-PROBABILIDAD DE TRANSICIN EN N PASOS

Se define p (n) ij como la probabilidad de que la
cadena est en el estado Ej despus de n pasos, dado
que la cadena empez en el estado Ei. Se tiene que p
(n) ij = P (Xn = j | X0 = i) por la propiedad markoviana
se tiene que p (n) ij = Xm k=1 P (Xn = j, Xn1 = k |
X0 = i), para n 2, ya que la cadena debe haber
pasado por uno de los m posibles estados en la etapa
n 1.
NOTA: Se tiene la siguiente igualdad, para tres
posibles sucesos A, B y C : P (A B | C) = P (A | B C)
P (B | C) Si se sustituye A (Xn = j) B (Xn1 = k)
C (X0 = i) 4 entonces p (n) ij = Xm k=1 P (Xn = j,
Xn1 = k | X0 = i) = = Xm k=1 P (Xn = j | Xn1 = k,
X0 = i) P (Xn1 = k | X0 = i) = = Xm k=1 P (Xn = j |
Xn1 = k) P (Xn1 = k | X0 = i) = = Xm k=1 p (1) kj p
(n1) ik = Xm k=1 p (n1) ik p (1) kj usando la
propiedad markoviana nuevamente. La ecuacin
anterior se denomina de Chapman-Kolmogorov.
Haciendo n igual a 2, 3,... se obtiene que las matrices
con esos elementos son h p (2) ij i = h p (1) ik p (1) kj i
= T2 h p (3) ij i = h p (2) ik p (1) kj i = T3 ya que p (2)
ik son los elementos de T2 y as sucesivamente. As, h
p (n) ij i = T n.
Ejemplo. En una cierta regin el tiempo atmosfrico
sigue la siguiente secuencia: Un da se denomina
soleado (S) si el sol luce ms de la mitad del da, y se
denomina nublado (N), si lo hace menos. Por
experiencia, se sabe que, si hay un da nublado, es

igual de probable que el da siguiente sea tambin

nublado. Si el da es soleado hay una probabilidad de
2/3 de que sea tambin soleado. 1. Construye la
matriz de transicin T de este proceso.
2. Si hoy est nublado, cul es la probabilidad de que
dentro de tres das est tambin nublado? y de que
est soleado?
3. Calcula T5 y T10. Cul es el comportamiento de T
n cuando n ? Cmo se comporta p(n) cuando n
? Depende el lmite de p(0)? (1) Asumimos que el
proceso es markoviamo y que el tiempo slo depende
del da anterior. Se tiene una cadena de Markov con
dos estados: E1 Da nublado N, E2 Da soleado S.
La matriz de transicin es: N S N 1 2 1 2 S 1 3 2 3 es
decir, T = 1 2 1 2 1 3 2 3 . (2) Empezando los
pasos a partir del da actual, se tiene que p(0) = p
(0) 1 p (0) 2 = 1 0 De este modo, si hoy est
nublado, dentro de tres das, se tiene que p(3) =
p(0)T3 = 1 0 1 2 1 2 1 3 2 3 3 = = 1 0 29
72 43 72 43 108 65 108 = 29 72 43 72 = 0,403
0,597 As, la probabilidad de que haya un da
nublado en el tercer da es p (3) 1 = 29 72 y que sea
soleado es p (3) 2 = 43 72 .

-ESTADO ESTABLE
La existencia de condiciones de estado estable en una
cadena ergdica regular puede demostrarse de una manera
sencilla calculando P ^n para diversos valores de

n. A continuacin, se presentan los valores de P ^n del

ejemplo del comprador de autos para valores de n=1 hasta 8.
A medida que aumenta el valor de n, los
valores pij tienden hacia un lmite fijo y cada vector de
probabilidad Vi^n tiende a hacer igual para todos los
valores de i. Esto lleva a que:
1) Para un valor de n suficientemente grande, el
vector de probabilidad Vi^n se hace igual para todas
las i y no cambia para valores grandes de n.
2) Puesto que Vi^n+1= Vi^n
P y Vi^n+1=Vi^n, existe un vector V* tal que V*=V*P.
El vector V* contiene las probabilidades que existen
en condiciones de estado estable. Sea vj el jsimo elemento del vector probabilidad V*. Puesto
que V* todava es un vector probabilidad, aun debe
existir la siguiente condicin:

Si se expande este producto de matrices se

obtienen m ecuaciones, se agrega el requerimiento de
que la suma de las probabilidades es igual a 1, hay
entonces m+1 ecuaciones y m incgnitas. Estas
pueden resolverse para las m incgnitas quitando
cualquiera de las ecuaciones, excepto la ecuacin:

Puesto que las restantes m ecuaciones pueden

satisfacerse si todas las vj=0.

-CASOS ESPECIALES
Caso de autovalores complejos. En el caso de que los
autovalores de la matriz de transicin sean complejos,
el procedimiento es igual: Sea la matriz T = 1 2 1 8
3 8 100 1 4 1 2 1 4 los autovalores son 1 = 1 8
+ 3 8 i 2 = 1 8 3 8 i 3 = 1 y la matriz de
autovectores se obtiene como antes (con un poco ms
de esfuerzo, o bien usando MatLab) mediante (T
iIm) ri = 0 y se obtiene C = 1 8 + 3 8 i 1 8 3
8 i 1 1 11 1 2 3 4 i 1 2 + 3 4 i 1 y su inversa
es C1 = 4 15 8 15 i 2 5 + 2 15 i 2 15 + 2 5
i 4 15 + 8 15 i 2 5 2 15 i 2 15 2 5 i 8 15 1 5 4
15 14 Dn = 1 8 + 3 8 i n 0 0 0 1 8 3 8
i n 0 0 01 n 000 000 001 ya que
1 8 + 3 8 i = q10 8 < 1. Finalmente, T n n
8 15 1 5 4 15 8 15 1 5 4 15 8 15 1 5 4 15 = Q