UNIVERSIDAD TECNOLÓGICA DE PANAMÁ

CENTRO REGIONAL DE COCLÉ

FACULTAD DE INGENIERÍA INDUSTRIAL
LICENCIATURA EN INGENIERIA INDUSTRIAL

INVESTIGACIÓN DE OPERACIONES I
TEMA:CADENA DE MARKOV

ESTUDIANTES
CASTILLO, MARÍA
CASTRO, LUIS
TORRES, STEPHANIE
TUÑÓN, CARLOS

A CRITERIO DE LA PROFESORA: LESSLY MÁRQUEZ

AÑO 2019
 ÍNDICE
1. Definición
2. Campo de acción del problema de decisión de Markov
3. Modelo de programación dinámica de etapa finita
4. Modelo de etapa infinita
4.1 Método de enumeración exhaustiva
4.2 Método de iteración de política sin descuento
4.3 Método de iteración de política con descuento
5. Solución con programación lineal del problema de decisión de Markov
6. Aplicaciones
 INTRODUCCIÓN
En este trabajo se presentará una aplicación de la programación dinámica a la solución de
un proceso de decisión, que se puede describir a través de un número finito de estados.
Se planteó el objetivo de definir cada uno de los conceptos que integran el análisis de
Markov, comenzando desde los más básicos hasta los más complejos,
CONCLUSIÓN
En este trabajo hemos aprendido a aplicar las cadenas de markov en situaciones reales y a
interpretar sus resultados. Una de las grandes ventajas de este proceso es que se puede
utilizar en multitud de situaciones reales y muy variadas. Creemos que es una herramienta
muy útil puesto que la información que nos da nos ayuda a evitar posibles problemas y
mejorar resultados.
BIBLIOGRAFÍA
Taha, Hamdy, Investigación de Operaciones, 5°edición, pág 798-821
 1. Definición
Las Cadenas de Markov acen referencia a una herramienta para analizar el comportamiento
y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que
evolucionan de forma no determinística a lo largo del tiempo en torno a un conjunto de
estados.
Una cadena de Márkov, por tanto, representa un sistema que varía un estado a lo largo del
tiempo, siendo cada cambio una transición del sistema.
El análisis de Markov es una forma de analizar el movimiento actual de alguna variable, a
fin de pronosticar el movimiento futuro de la misma. Este método ha comenzado a usarse
en los últimos años como instrumento de investigaciones de mercadotecnia, para examinar
y pronosticar el comportamiento de los clientes desde el punto de vista de su lealtad a una
marca y de sus formas de cambio a otras marcas, la aplicación de esta técnica, ya no solo se
limita a la mercadotecnia sino que su campo de acción se ha podido aplicar en diversos
campos
Para el estudio de las cadenas de Márkov, deben tenerse en cuenta algunos conceptos claves
como los siguientes:
Estados
El estado de un sistema en un instante t es una variable cuyos valores solo pueden
pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo
tanto, es una variable que cambia con el valor del tiempo, cambio al que llamamos
transición.
Matriz de transición
Los elementos de matriz representan la probabilidad de que el estado próximo sea el
correspondiente a la columna si el estado actual es el correspondiente a la fila.
Posee 3 propiedades básicas:
1. La suma de las probabilidades de los estados debe ser igual a 1.
2. La matriz de transición debe ser cuadrada.
3. Las probabilidades de transición deben estar entre 0 y 1.

2. Campo de acción del problema de decisión de Markov

En esta sección presentaremos un ejemplo sencillo que se utilizará como media de
explicación en todo el trabajo. Hace énfasis en aplicaciones importantes en las áreas de
inventarios, reemplazo, manejo de la circulación de efectivo y regulación de la capacidad
de un depósito de agua.
Todos los años, al inicio de la estación de cultivo, una jardinera realiza pruebas químicas
para revisar la condición de la parcela. Dependiendo de los resultados de las pruebas, puede
clasificar la productividad del jardín para la nueva temporada como buena, regular o
deficiente.
Con el paso de los años, la mujer observó que la productividad del año en curso puede
suponerse dependiente sólo de la condición del terreno del año anterior. Por lo tanto, puede
representar las probabilidades de transición en un periodo de un año de un estado de
productividad a otro en términos de la siguiente cadena de Markov:
Estado del sistema para el próximo año

1 2 3
Estado del sistema de este año 1

2 0.2 0.5 0.3

0 0.5 0.5 = P1
3 0 0 1

La representación supone la siguiente correspondencia entre la productividad y los estados

de la cadena:
Productividad Estado del sistema
(Condición del terreno)
Buena 1
Regular 2
Deficiente 3

Las probabilidades de transición en P1 indican que la productividad de un año en curso

puede no ser mejor que la del año anterior. Por ejemplo, si la condición del terreno para este
año es regular, la productividad del año siguiente puede seguir siendo regular con
probabilidad 0.5 o volverse deficiente, también con probabilidad 0.5.
La mujer puede alterar las probabilidades de transición P 1 tomando otros cursos de acción
que tenga a su disposición. Comúnmente puede decidir fertilizar el jardín para mejorar la
condición del terreno., que producirá la siguiente matriz de transición P2.

1 1 2 3

2 0.3 0.6 0.1

2
P= 0.1 0.6 0.3
3
0.05 0.4 0.55
Al aplicar el fertilizante, es posible mejorar la condición del terreno con respecto a la del
año pasado.
Para poner en perspectiva el problema de decisión, la jardinera asocia una función de
rendimiento ( o estructura de recompensa ) con la transición de un estado a otro. La función
de rendimiento expresa la ganancia o pérdida durante un periodo de un año, dependiendo
de los estados entre los que se haga la transición. Como la mujer tiene las opciones de
utilizar o no fertilizante, se espera que su ganancia y pérdidas varíen según la decisión que
ella tome. Las matrices R1 y R2 resumen las funciones de rendimiento en cientos de
unidades monetarias asociadas con las matrices P1 Y P2, respectivamente. Por tanto, R1 se
aplica cuando no se usa fertilizantes; en caso contrario, se puede utilizar R 2 en la
representación de la función de rendimiento.

1 1 2 3

2 7 6 3
R1= ‖r1ij‖ 0 5 1
3
0 0 −1

1 1 2 3

26 5 −1
R2= ‖ r2ij ‖ 7 4 0
3
6 3 −2

Los elementos r2ij de R2 toman en cuenta el costo de aplicar el fertilizante. Si el sistema

estuviera en el estado 1 y se mantuviera en ese estado durante el año siguiente, su ganancia
sería r211= 6 en comparación con r111= 7 cuando no se emplea fertilizante.
¿Qué tipo de problema de decisión tiene la jardinera? Primero, debemos saber si la
actividad de cultivo seguirá realizándose un número de años limitado o, para todos los fines
prácticos, por tiempo indefinido. Estas situaciones se conocen como problemas de decisión
de etapa finita y de etapa infinita. En ambos casos, la jardinera necesitaría determinar el
mejor curso de acción que debe seguir (fertilizar o no fertilizar el terreno) dado el resultado
de las pruebas químicas ( estado del sistema). El proceso de optimización estará basado en
la maximización del ingreso esperado. Quizá la jardinera también esté interesada en evaluar
el ingreso esperado resultante de seguir un curso de acción especificado, siempre que
ocurra un estado dado del sistema. Por ejemplo, ella puede decidir fertilizar siempre que la
condición del terreno sea deficiente. El proceso de toma de decisión en este caso se dice
estar representado por una política estacionaria.
Debemos observar que cada política estacionaria, debe estar asociada con matrices de
transición y rendimiento diferentes que, en general, pueden construirse a partir de las
matrices P1, P2, R1,R2. Por ejemplo, para la política estacionaria que pide se aplique
fertilizante, sólo cuando la condición del terreno sea deficiente, las matrices de transición y
rendimiento resultantes, P y R, están dadas por
0.2 0.5 0.3 7 6 3
P= 0 0.5 0.5 , R= 0 5 1
0.05 0.4 0.55 6 3 −2

Estas matrices difieren de P1 Y R1 sólo en los renglones terceros, que se toman directamente
de P2 y R2. La razón es que P2 y R2 son las matrices que se generan cuando se aplica
fertilizantes en todos y cada uno de los estados.
3. Modelo de programación dinámica de etapa finita
Supóngase que la jardinera planea retirarse de su pasatiempo en N años. Por lo tanto, está
interesada en determinar su curso de acción óptimo para cada año (fertilizar o no fertilizar
el terreno) sobre un horizonte de planeación finito. Aquí, la optimidad se define de manera
que la jardinera acumulará el más alto ingreso esperado al cabo de N años.
Sean k= 1 y 2 los dos cursos de acción(opciones) disponibles para ella. Las matrices P K y
RK representan las probabilidades de transición y la función de remuneración para la
alternativa k
0.2 0.5 0.3 7 6 3
P1= ‖p1ij‖ 0 0.5 0.5 R1= ‖r1ij‖ 0 5 1
0 0 1 0 0 −1

0.3 0.6 0.1 6 5 −1

2 2 2 2
P =‖p ij‖ 0.1 0.6 0.3 R =‖r ij‖ 7 4 0
0.05 0.4 0.55 6 3 −2
El sistema tiene tres estados: bueno(estado 1), regular (estado 2) y malo o deficiente (estado
3).
Podemos expresar el problema del jardinero como un modelo de programación dinámica de
estado finito de la manera siguiente. Para hacer una generación, supóngase que el número
de estados para cada etapa (año) es m (=3 en el ejemplo del jardinero ) defínase.
fn(i)= ingreso esperado óptimo de las etapas n,n+1….,N dado que el estado del sistema
( condición de terreno) al inicio del año n es i
La ecuación recursiva hacia atrás que relaciona a fn y fn+1 puede escribirse como
 m
f n ( i )=máx k {∑ pk ij [ r k ij +fn+1 ( j ) } , n=1,2 … , N
j=1

Donde fN+1(j)=0 para toda j.

Una justificación para la ecuación es que el ingreso acumulado, rkij+fn+1(j) que resulta de
llegar al estado j en la etapa n+1 desde el estado i en la etapa n ocurre con la probabilidad
pkij. De hecho, si vki representa el rendimiento esperado resultante de una transición desde
el estado i dada la alternativa k, entonces vki puede experesarse como
m
v ki =∑ pkij r kij
j=1

La ecuación recursiva de la PD puede escribirse como

f N ( i )=máx {v ki }
m
f n ( i )=máx k {v + ∑ pijk fn +1( j)}, n=1,2 … , N−1
k
i
j=1

Antes de demostrar cómo se utiliza la ecuación recursiva para resolver el problema del
jardinero ilustramos el cálculo de vki que es parte de la ecuación recursiva. Por ejemplo,
supóngase que no se utiliza fertilizante (k=1); entonces
1
v 1=0.2 x 7+0.5 x 6+ 0.3 x 3=5.3
1
v 2=0 x 0+0.5 x 5+ 0.5 x 1=3
1
v 3=0 x 0+0 x 0+1 x −1=−1
1 2
i vi vi
1 5.3 4.7
2 3 3.1
3 -1 4

Etapa 3

v ki Solución óptima
i k=1 k=2 f 3 (i) k*
1 5.3 4.7 5.3 1
2 3 3.1 3.1 2
3 -1 0.4 0.4 2
Etapa 2
k k k k
v i + pi 1 f 3 ( 1 )+ p i 2 f 3 ( 2 ) + pi 3 f 3(3) Solución
óptima
i K=1 K=2 F2(i K*
)
1 5.3+0.2x5.3+0.5x3.1+0.3x0.4=8.3 4.7+0.3x5.3+0.6x3.1+0.1xo.4=8.1 8.19 2
9
2 3+0x5.3+0.5x3.1+0.5x0.4= 4.75 3.1+0.1x5.3+0.6x3.1+0.3x0.4=5.6 5.61 2
1
3 -1+0x5.3+0x3.1+1x0.4=-6 0.4+0.05x5.3+0.4x3.1+0.55x0.4=~ 2.13 2
2.13

Etapa 1
k k k k
v i + pi 1 f 2 (1 )+ pi 2 f 2 ( 2 ) + p i 3 f 2( 3) Solución
óptima
i K=1 K=2 F2(i) K*
1 5.3+ 0.2x8.19+ 0.5x5.61 4.7+ 0.3x8.19+0.6x5.61+0.1x2.13=~ 10.7 2
+0.3x2.13=~ 10.38 10.74 4
2 3 + 0x8.19 +0.5x5.61 +0.5x 3.1+ 7.92 2
2.13= 6.87 0.1x8.19+0.6x5.61+0.3x2.13=~7.92
3 -1+ 0x8.19 + 0x5.61 + 0.4+0.05x8.19+0.4x5.61+0.55x2.13= 2.13 2
1x2.13=1.13 ~ 4.23

La solución óptima indica que para los años 1 y 2, la jardinera debe fertilizar el terreno
(k*=2) sin importar el estado del sistema (condición del terreno revelada por las pruebas
químicas). Sin embargo, en el año 3 ella debe aplicar fertilizante sólo si el sistema se
encuentra en estado 2 o 3 (condición del terreno regular o deficiente). Los ingresos
esperados de los tres años son f1(1)=10.74 si el estado del sistema en el año 1 es bueno
f1(2)= 7.92 si es regular y f1(3)= 4.23 si es deficiente.
La solución de PD que se dio antes se conoce algunas veces como el enfoque de iteración
del valor, ya que por la naturaleza real de la ecuación recursiva, los valores de fn(i) se
determinan en forma iterativa.
 1. Aplicaciones
Meteorología
Si consideramos el tiempo atmosférico de una región a través de distintos días, es plausible
asumir que el estado actual sólo depende del último estado y no de toda la historia en sí, de
modo que se pueden usar cadenas de Márkov para formular modelos climatológicos
básicos. Por ejemplo, se han desarrollado modelos de recurrencia de las lluvias basados en
cadenas de Márkov.
Modelos epidemiológicos
Una importante aplicación de las cadenas de Márkov se encuentra en el proceso Galton-
Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias).
Internet
El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a
través de una cadena de Márkov, donde la posición que tendrá una página en el buscador
será determinada por su peso en la distribución estacionaria de la cadena.
Simulación
Las cadenas de Márkov son utilizadas para proveer una solución analítica a ciertos
problemas de simulación, por ejemplo en teoría de colas el Modelo M/M/1 es de hecho un
modelo de cadenas de Márkov.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a través de una cadena de Márkov.
El modelo de la ruina del jugador, (Gambler's ruin), que establece la probabilidad de que
una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las
aplicaciones de las cadenas de Márkov en este rubro.
Economía y finanzas
Las cadenas de Márkov se pueden utilizar en modelos simples de valuación de opciones
para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las
cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
Genética
Se emplean cadenas de Márkov en teoría de genética de poblaciones, para describir el
cambio de frecuencias génicas en una población pequeña con generaciones discretas,
sometida a deriva genética. Ha sido empleada en la construcción del modelo de difusión
de Motō Kimura.
Música
Diversos algoritmos de composición musical usan cadenas de Márkov, por ejemplo el
software Csound o Max. Uno de los compositores que usó esta técnica en sus
composiciones fue Iannis Xenakis con su obra Analoguique A et B (1958–59).
Operaciones
Se emplean cadenas de Márkov en inventarios, mantenimiento, flujo de proceso
Redes Neuronales
Se utilizan en las máquinas de Boltzmann (redes neuronales)