Cadenas de Markov

Proceso estocstico:
Un proceso estocstico sirve para caracterizar una sucesin de variables aleatorias (estocsticas) que evolucionan en funcin de otra variable, generalmente el tiempo. Cada una de las variables aleatorias del proceso tiene su propia funcin de distribucin de probabilidad y, entre ellas, pueden estar correlacionadas o no. Es un sistema en el que su evolucin en el tiempo se establece en trminos de probabilidades.

Cadena de Markov
Es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior

Una cadena de Markov representa un sistema que vara su estado a lo largo del tiempo, siendo cada cambio una transicin del sistema. Por lo tanto son utilizadas para analizar el comportamiento y el gobierno de determinados tipos de procesos estocsticos(procesos que evolucionan de forma no determinsticas a lo largo del tiempo en torno a un conjunto de estados).

Una cadena de Markov finita cuenta con los siguientes elementos:

Conjunto de estados del sistema. Definicin de transicin Una ley de probabilidad condicional, que

defina la probabilidad del nuevo estado en funcin de los anteriores.

Propiedad de Markov
Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, dado el presente, el futuro es independiente del pasado

Estados Absorbentes:
Un estado se llama absorbente si pik =1, es decir, si una vez que el estado llega a k, permanece ah para siempre. Si k es un estado absorbente y el proceso comienza en i, la probabilidad de llegar a k se llama probabilidad de absorcin de k (fik ).

Si se tienen 2 o ms estados absorbentes, el proceso ser absorbido por uno de stos. Para saber cul, hay que resolver el sistema de ecuaciones:

En las Cadenas de Markov si el sistema se encuentra en el estado i, entonces, en una sola transicin, o permanece en i, o se mueve a uno de los 2 estados inmediatamente adyacentes a i.

Ecuaciones de Chapman-Kolmogorov
Estas ecuaciones proporcionan un mtodo para determinar las probabilidades de que un proceso del estado i notada por pij ^(n).

Cada sumando representa la probabilidad de que partiendo del estado i se llegue al estado k transcurridos m perodos y posteriormente desde el estado k se llegue al estado j en n-m perodos.

Diagrama de transicin de estados:

El diagrama de transicin de estados de una cadena de Markov es un grafo dirigido cuyos nodos son los estados de la cadena y cuyos arcos se etiquetan con la probabilidad de transicin entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.
i

qij

Matrices de Transicin :

Probabilidad

de

Esta matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado prximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.

Como el sistema debe pasar a t a alguno de los n estados posibles, la probabilidades de transicin cumplirn la propiedad siguiente:

Fsica Las cadenas de Markov son usadas en muchos problemas de la termodinmica y la fsica estadstica. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusin de Laplace.

Internet El pagerank de una pgina web (usado por Google en sus motores de bsqueda) se define a travs de una cadena de Markov, donde la posicin que tendr una pgina en el buscador ser determinada por su peso en la distribucin estacionaria de la cadena.

Juegos de azar Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.

Msica Diversos algoritmos de composicin musical usan cadenas de Markov, por ejemplo el software Csound o Max

Problema 1
Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprndola la vez siguiente. Si una persona compr Pepsi, hay 80% de que repita la vez siguiente. Se pide:

Modelo
La situacin se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C,P}La matriz de transicin para el orden C,P, es: P= 0,9 0,1 0,2 0,8

Solucion
a) Si una persona actualmente es comprador de Pepsi. Cul es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy? Se pide la probabilidad de transicin en dos pasos, es decir que se pide el valor en fila 2, columna 1 para la matriz P^2 P^2= 0.83 0.34 0.17 0.22

obtenindose que este es : 0,34 R//se tiene un 34% de probabilidad que un comprador de pepsi en 2 compras prefiera coca-cola

Solucion
b) Si en la actualidad una persona es comprador de Coca Cola. Cul es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?

Al igual que en el apartado anterior se pide el valor de la probabilidad de transicin en fila 1y columna 1 para la matriz P^3, la matriz es:
P^3 = 0.781 0.438 0.219 0.562

esto quiere decir que la solucin al problema es 0.781 R// la probabilidad de que pasadas tres compras vuelva a comprar CocaCola es del 78.1%

Solucion
c) Determinar el estado estable. El estado estable se determina resolviendo el sistema de ecuaciones: Se agrega la ecuacion x+y=1 porque compre coca cola o pepsi ambos van a sumar 1 -x+2y = 0 x-2y = 0

x+y = 1
X = 2/3 y Y = 1/3

R// El estado estable se tiene con 66% comprando coca cola y 33% comprando pepsi