UNIVERSIDAD NACIONAL JORGE BASADRE GROHMANN

INVESTIGACIÓN OPERATIVA II
Cadenas de Markov

15/12/2018
 Contenido

I. Introducción .......................................................................................................................... 2
II. Historia .................................................................................................................................. 3
III. Cadenas de Markov ........................................................................................................... 4
a) Proceso de Markov ................................................................................................................ 4
b) Matriz de transición............................................................................................................... 5
IV. Ejemplo ............................................................................................................................. 5
V. Aplicación ............................................................................................................................. 7
VI. Conclusiones ..................................................................................................................... 7
VII. Bibliografía ....................................................................................................................... 7
I. Introducción

Se conoce como modelo de Markov o cadena de Markov a un tipo especial

de proceso estocástico discreto en el que la probabilidad de que ocurra un
evento depende del evento inmediatamente anterior. Podemos decir que esta
técnica posee numerosas aplicaciones en los negocios, entre ellas el análisis
de participación de mercados, pronósticos de deudas o también para
determinar si una máquina se descompondrá en un futuro no muy distante.

Una de las principales utilidades que tiene el modelo de Markov es

establecer las posibilidades de cualquier evento futuro conociendo los
eventos pasados. Esto puede y afecta las decisiones que podríamos tomar
basándonos en la incertidumbre que provocan poseer varios eventos futuros
y todos tienen su grado de probabilidad de que sucedan.

Otro de los factores que altera la toma de decisiones es cuando estos posibles
eventos futuros se ven alterados con el paso del tiempo, para evitar este
acontecimiento existe este modelo el cual tiene la propiedad particular de
que las probabilidades que describen la forma en que el proceso
evolucionara en el futuro solo dependerán del estado actual en que se
encuentra el proceso y por lo tanto son independientes de los eventos
ocurridos en el pasado.

Esta dependencia del evento anterior distingue a las cadenas de Markov de

las series de eventos independientes, como tirar una moneda al aire o un
dado. En los negocios, las cadenas de Markov se utilizan para analizar los
patrones de compra de los deudores morosos, para planear las necesidades
del personal y para analizar el reemplazo de equipo.
II. Historia

Esta teoría debe su nombre a Andrei Andreyevich Markov quien nació en

San Petersburgo, Rusia, el 14 de Junio de 1856. Estudió matemáticas en la
Universidad de San Petersburgo y se graduó en el año 1878. En sus inicios
como docente, alrededor del año 1886, focalizó su trabajo en análisis y teoría
del número, fracciones continuas, límite de integrales, teoría de
aproximación y la serie de convergencias. También estuvo interesado en la
poesía e hizo estudios de los diversos estilos poéticos.

Estudió, entre otros muchos aspectos, las construcciones lingüísticas a partir

del cálculo matemático (1913). Así, por ejemplo, analizó la producción
literaria del gran poeta ruso Puschkin, llamada “Eugene Onieguin”, y dedujo
que las letras del alfabeto cirílico, como las de cualquier otro alfabeto, iban
apareciendo relacionadas con las que las precedían en la escritura. La nueva
letra está determinada por la anterior, pero es independiente de la manera en
la que aparece respecto de las anteriores. Markov es recordado por su estudio
de cadenas secuenciales, que consisten en variables al azar, en las que la
variable futura es predeterminada por la preexistente, pero independiente de
la manera que ésta se generó de sus precursores. Es decir, se trata de un
sistema que sufre a lo largo del tiempo cambios de estado o transiciones
aleatorias y las probabilidades que describen la forma en que el proceso
evolucionará en el futuro, son independientes de los eventos ocurridos en el
pasado.

El sistema no está desprovisto de memoria en su totalidad, sólo guarda

información del recuerdo más reciente de su pasado. Es muy importante
comentar que su estudio no estuvo basado en un simple análisis estadístico,
sino que intentó aplicarlo a la generación de textos literarios. Las cadenas de
Markov se han aplicado en áreas diversas, como educación,
comercialización, servicios de salud, finanzas, contabilidad y producción.
III. Cadenas de Markov

Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos
discretos en el tiempo t = 1, 2… . La familia de variables aleatorias {Xi}
forma un proceso estocástico con una cantidad finita o infinita de estados.

a) Proceso de Markov

Un proceso estocástico es un proceso de Markov si un estado futuro

depende sólo del estado inmediatamente anterior. Esto significa que
dados los tiempos cronológicos t0, t1,…, tn, la familia de variables
aleatorias es un proceso de Markov si:

En un proceso Markoviano con n estados exhaustivos y mutuamente

excluyentes, las probabilidades en un punto específico del tiempo t =
0,1,2,… se definen como:

Esto se conoce como probabilidad de transición en un paso al ir del

estado i en el instante t - 1 al estado j en el instante t. Por definición,
tenemos:
 b) Matriz de transición

La notación utilizada en la matriz es una forma conveniente de resumir

las probabilidades de transición en un paso:

La matriz P define una cadena de Markov. Tiene la propiedad de que

todas sus probabilidades de transición pij son estacionarias e
independientes a lo largo del tiempo. Aunque una cadena de Markov
puede incluir un número infinito de estados, la presentación en este
capítulo se limita a sólo cadenas finitas, ya que es el único que se
necesita en el texto.

IV. Ejemplo

Problema del jardinero: Cada año, durante la temporada de siembra de

marzo a septiembre, un jardinero realiza una prueba química para verificar la
condición de la tierra. Según el resultado de la prueba, la productividad en la
nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3)
mala. A lo largo de los años, el jardinero ha observado que la condición de
la tierra del año anterior afecta la productividad del año actual y que la
situación se describe mediante la siguiente cadena de Markov:
Las probabilidades de transición muestran que la condición de la tierra
puede o deteriorarse o permanecer como está pero nunca mejorar. Por
ejemplo, si la condición de la tierra es buena en este año (estado 1) hay
20% de que no cambie el año siguiente, 50% de probabilidad de que sea
regular (estado 2), y 30% de probabilidad de que se deteriorará a una
condición mala (estado 3). El jardinero modifica las probabilidades de
transición P utilizando un fertilizante orgánico.
En este caso, la matriz de transición se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

V. Aplicación

El campo de aplicación de las cadenas de Markov es amplio, es utilizada en

el proceso industrial de fabricación de tejas, en los negocios para analizar los
patrones de compra de los deudores, para planear las necesidades de
personal, para analizar el reemplazo de equipo, entre otros.

En ocasiones resulta complicado determinar cuál va a ser la evolución de

ciertos aspectos empresariales sujetos a variaciones constantes. Esto puede
dificultar la adecuación de esfuerzos económicos y de personal, entre otros.
Una manera diferente de controlar ciertos factores de la gestión de un
negocio es realizar aproximaciones o previsiones en base a la utilización de
cadenas de Markov. No es un método totalmente exacto pero si útil para
previsiones a largo o muy largo plazo.

VI. Conclusiones

- Los estados de transición son aquellos estados por lo que se pasa, pero
no se regresa.
- Los estados recurrentes son aquellos que pueden repetirse
ilimitadamente.
- El Modelo de Markov nos permite determinar de forma secuencial las
probabilidades de ocurrencia de eventos.

VII. Bibliografía

 Hamdy A. Taha, Investigaciones de Operaciones, 2006

 Herbert Moskowitz., Investigaciones de Operaciones, 1982