CADENAS DE MARKOV

QUE SON?
Las cadenas de markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Una cadena de Markov es un proceso estocstico con un nmero finito de estados con probabilidades de trancisin estacionarias, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informacin relevante para describir en probabilidad su estado futuro.

PROCESO ESTOCSTICO
Es un conjunto o sucesin de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el ndice t representa un tiempo y X(t) el estado del proceso estocstico en el instante t. EJ: Serie mensual de ventas de un producto Estado de una mquina al final de cada semana

ELEMENTOS DE LAS CADENAS DE MARKOV

Toda cadena de Markov tiene los siguientes elementos: Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad) Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes) Probabilidades de transicin entre estados, en un ciclo (matriz P) Distribucin inicial del sistema entre los M estados posibles.

TIPOS DE CADENAS
Cadenas irreductibles: se dice que es que es irreductible si cumple cualquiera de las siguientes condiciones(equivalentes entre si): Desde cualquier estado E se puede acceder a cualquier otro. Todos los estados se comunican entre si C(x)=E para algun x E C(x)=E para todo x E El nico conjunto cerrado es el total

TIPOS DE CADENAS
Cadenas positivo- recurrentes: Se dice que es positivo recurrente si sus estados son positivos recurrentes. Si la cadena es adems irreducible es posible demostrar que existe un nico ventor de probabilidad invariante y esta dado por: = 1/

TIPOS DE CADENAS
Cadenas regulares (tambien primitiva o ergdica): si existe alguna potencia positiva de la matriz de transicin cuyas entradas sean todas estrictamente mayores de cero

TIPOS DE CADENAS
Cadenas regulares (tambien primitiva o ergdica): si existe alguna potencia positiva de la matriz de transicin cuyas entradas sean todas estrictamente mayores de cero Cadenas adsorventes Cadenas de MARKOV en tiempo continuo

Diagrama de transicin de Estado

Es un grafo dirigido cuyos nodos son los estados de la cadena de markov y cuyos arcos se etiquetan con las probabilidades de transicin entre los estados que unen. Si dicha probabilidad es nula, no se pone arcos

qij

Ejemplo: lnea telefnica (matriz transiciones)

Sea una lnea telefnica de estados ocupado=1 y desocupado=0. Si en el instante t est ocupada, en el instante t+1 estar ocupada con probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante t est desocupada, en el t+1 estar ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9. Espacio de Estados S={0,1} Espacio Paramtrico: T={0,1,2,}

 0,9 0,1 Qt 0,3 0,7

t+1

0,1 0,9

1 0,3

0,7