Programacin Dinmica 1

PROGRAMACION DINAMICA

DEFINICION: Tcnica matemtica que permite dar soluciones secunciales con las que mediante clculos
recursivos se obtiene la solucin ptima del problema.

ETAPAS
Clculos Recursivos

Solucin
X1 X2 X3 Xn-1 Xn Optima
Variables Optimizadoras

La programacin dinmica se basa en la nocin matemtica de recursin.

Ejemplo: Fraccin Continua

PRINCIPIO DE OPTIMALIDAD DE RICHARD BELLMAN (1957)

Dado el estado actual, la poltica ptima desde este estado es independiente de las polticas adoptadas en las
etapas anteriores. (La solucin depende nicamente del estado actual y no de cmo se lleg all)

Estructura de la programacin dinmica.

Programacin Dinmica 2

Ejemplo: Empresa comercializadora de alimentos (ECASA)

Funcin de Transformacin

[N de empleados en Tn] = [N de empleados en to] + [empleados contratados en tn-to] -

[empleados dados debajo en tn-to]

[trigo almacenado en Tn] = [trigo almacenado en To) + [recepcin trigo en tn to] [salida de trigo en tn to] -
[merma trigo en tn to]
 Programacin Dinmica 3

Problema de Decisin de n etapas (para 12 meses)

Entonces:

Xn = fn (Xn-1 )

Xn-1 = fn-1 (X)

X n = (f n-1 (X))

X X1 X2 Xn-2 Xn-1 Xn
1 2 n-1 n
f f f f
01/01/03 01/02/03 01/03/03 01/11/03 01/12/03 01/0/04

Funcin Generalizada:

Xn = fn (fn-1 (fn-2 (f2 (f1 (x)))))

Programacin Dinmica 4

APLICACIONES:
APLICACIN 1: Modelo de la Ruta ms Corta
En la ciudad 1 queda un aeropuerto internacional con afluencia de muchos turistas que desean conocer los
centros tursticos indicados en la red de la figura mostrada en la parte inferior.
La red muestra la distancia (en kilmetros) de un centro a otro, as mismo muestra las alternativas de traslado.
Una agencia de CityTour internacional desea determinar lo siguiente:
Para los turistas que desean conocer nicamente el centro turstico nmero 10 hallar la trayectoria de menor
distancia.

680 610
2 5 8
790
1050 790 1030
550
580
540
1 3 760 6 10
900
660 940

770 510 1390

790
700
4 7 9
830 270

Estructura:

K1 K2 K3 K4

X1 X2 X3 X4
1 2 3 4

r1 r2 r3 r4

Donde:
Xi: Estado actual en el que se encuentra el turista en la etapa i
X1={1}
X2={2, 3, 4}
X3={5, 6, 7}
X4={8, 9}
Ki: Estado al que dirige en la etapa i
K1={2, 3, 4}
K2={5, 6, 7}
K3={8, 9}
K4={10}
fi (Xi) : Valor acumulado de la funcin objetivo (menor distancia) para el estado Xi desde la etapa i hasta el
destino final (nodo 10)
ri : Distancia recorrida en la etapa i
Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra en la etapa i
Programacin Dinmica 5

A continuacin se muestran las iteraciones recursivas del problema aplicando el METODO DE RETROCESO:

Etapa 4 r4(k4) Solucin Optima

x4 k4=10 f4(x4) k4*
8 1030 1030 10
9 1390 1390 10

Etapa 3 r3(k3)+f4(k3) Solucin Optima

x3 k3=8 k3=9 f3(x3) k3*
5 610+1030=1640 790+1390=2180 1640 8
6 540+1030=1570 940+1390=2330 1570 8
7 790+1030=1820 270+1390=1660 1660 9
Por ejemplo para la celda correspondiente a X3 y K3 se cuantifica aplicando la ecuacin recursiva r3(k3)+f4(k3).
Entonces r3(k3=8) es la distancia desde el nodo actual 5 hasta el nodo 8, osea 610.
f4(K3=8) es la menor distancia que hay desde el nodo al que se dirige 8 hasta el nodo final 10 en la etapa
anterior, osea 1030.

Etapa 2 r2(k2)+f3(k2) Solucin Optima

x2 k2=5 k2=6 k2=7 f2(x2) k2*
2 680+1640=2320 790+1570=2360 1050+1660=2710 2320 5
3 580+1640=2220 760+1570=2330 660+1660=2320 2220 5
4 510+1640=2150 700+1570=2270 830+1660=2490 2150 5

Etapa 1 r1(k1)+f2(k1) Solucin Optima

x1 k1=2 k1=3 k1=4 f1(x1) k1*
1 550+2320=2870 900+2220=3120 770+2150=2920 2870 2

Solucin ptima:
Etapa nodo actual nodo destino
1 1 2
2 2 5
3 5 8
4 8 10
Entonces la trayectoria de menor distancia es 1, 2, 5, 8, 10 y la distancia recorrida es 2870 kilmetros.

APLICACIN 2 : Anlisis de Reemplazo de Equipos

La principal mquina de un proceso qumico de produccin es inspeccionada anualmente, siendo conservada o
reemplazada. El costo de mantenimiento y el valor de rescate de esta maquina se presenta en la tabla siguiente:
Edad (aos): 1 2 3 4
Costo de mantenimiento (miles de $) 700 300 900 1200
Valor de rescate (miles de $) 950 500 200 0
El costo de una mquina nueva es de $ 2 000 000. La vida til de las instalaciones que realizan este proceso de
produccin es de 5 aos al final de lo cual toda la instalacin ser rescatada. La mquina actual completar 3
aos en la prxima inspeccin. Determine el plan de mantenimiento y reemplazo de esta mquina.
Programacin Dinmica 6

Estructura:

K1 K2 K3 K4 K5 K6
X1=8 X2 X3 X4 X5 X6
1 2 3 4 5 6

r1 r2 r3 r4 r5 r6

Donde:
Xi: Edad del activo al inicio de la etapa i
Ki: Decisin de Conservar o Reemplazar en la etapa i
Para la etapa 6 la nica decisin es Vender.
fi (Xi) : Valor acumulado de la funcin objetivo (menor costo) para el estado del activo Xi desde la etapa i hasta el
final del horizonte de vida.
ri : Costo de reemplazar o conservar el activo.
En la etapa 6 el valor de r6 es el producto del valor de rescate del activo.
x
Ki : Decisin optima en la etapa i dado el estado Xi en el que se encuentra el activo en la etapa i

A continuacin presentamos la red del problema en trminos de costos de reemplazar o conservar el activo.

A continuacin se muestran las iteraciones recursivas del problema:

Programacin Dinmica 7

Este problema en particular tiene ms de una solucin ptima que se muestran a continuacin:
Programacin Dinmica 8

POLITICAS OPTIMAS:
AO Alternativa 1 Alternativa 2
1 R R
2 C C
3 C R
4 R C
5 C C
6 V V

Por ejemplo en el ao 1 la decisin ptima de Reemplazar, esto quiere decir que para el inicio del siguiente ao
el vehculo va ha ser nuevo y al final del ao dicho vehculo va ha tener un ao de edad, por lo que se va a la
etapa 2 y se rescata de la fila correspondiente a 1 ao y se rescata la decisin ptima que es Conservar.
Entonces si la empresa quiere a la larga optimizar sus costos de operacin y mantenimiento, deber aplicar
cualquiera de las dos alternativas de polticas de reemplazo para sus activos.

APLICACIN 3: Presupuesto de Capital

Una corporacin recibe cuatro propuestas de sus tres plantas respecto a la posible expansin de las
instalaciones. La corporacin tiene un presupuesto de $8 millones para asignarlo. A cada planta se le solicita
someta sus propuestas, indicando el costo total (c) y el ingreso total (R) para cada propuesta. En la tabla
siguiente se resumen los costos e ingresos (en millones de dlares). La meta de la corporacin es la de
maximizar el ingreso total resultante de la asignacin de los $8 millones a las tres plantas. Determine la
asignacin ptima de las propuestas a cada planta, suponiendo que se acepta slo una propuesta por planta.
Planta 1 Planta 2 Planta 3 Planta 4
Propuesta c1 R1 c2 R2 c3 R3 c4 R4
A 0 0 0 0 0 0 0 0
B 3 5 1 2 2 3 1 3
C 4 6 4 5 3 5 3 6
D - - 5 8 6 9 - -

Estructura:

K1 K2 K3 K4
X1=8 X2 X3 X4
1 2 3 4

r1 r2 r3 r4
Donde:
Xi: Capital disponible en la etapa i.
X1: Capital disponible para las 4 plantas
X2: Capital disponible para las plantas 2, 3 y 4
X3: Capital disponible para las plantas 3 y 4
X4: Capital disponible para la planta 4
Ki: Propuesta elegida para la planta i
fi (Xi) : Valor acumulado de la funcin objetivo (mayor rendimiento) desde la etapa i hasta el final
ri : Rendimiento en la etapa i
Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra el monto del capital disponible en la
etapa i
Programacin Dinmica 9

A continuacin presentamos las iteraciones recursivas del problema:

Etapa 4

Etapa 3

Etapa 2

Etapa 1
Programacin Dinmica 10

Poltica Optima
CAPITAL CAPITAL
PLANTA DISPONIBLE PROPUESTA REQUERIDO RENDIMIENTO
1 8 B 3 5
2 5 B 1 2
3 4 C 3 5
4 1 B 1 3
TOTAL 15
En consecuencia a la planta 1 se debera asignar la propuesta B, a la planta 2 tambin la B, a la planta 3 se debe
asignar la propuesta C y a la planta 4 la propuesta B, obteniendo un rendimiento total mximo de 15 millones de
dlares.

APLICACIN 4: Plan de Produccin

Un constructor produce barcos a pedido, y tiene los siguientes pedidos para ser entregados al final de los
prximos 6 meses:
Mes: Jul Ago Sep Oct Nov Dic
Nro de barcos: 1 2 5 3 2 1
l puede construir hasta 4 barcos en cualquier mes, y puede guardar hasta 3 barcos en stock. El costo de
construccin de los barcos considera un costo fijo de 10 000 dlares y un costo variable de 4 000 dlares por
barco construido. Para mantener un barco en stock durante el periodo de un mes, el constructor gasta $ 1 000.
Cul debe ser el plan optimo de construccin, de modo que se minimice el costo total del constructor?. Formule
un modelo de programacin dinmica para obtener la solucin.

Estructura:

K1 K2 K3 K4 K5 K6
X1=8 X2 X3 X4 X5 X6
1 2 3 4 5 6

r1 r2 r3 r4 r5 r6
Demanda d 1 =1 d2=2 d3=5 d4=3 d5=2 d6=1

Donde:
Xi: Inventario al inicio del mes i
Ki: Nmero de unidades a producir en el mes i
fi (Xi) : Valor acumulado de la funcin objetivo (menor costo) desde la etapa i hasta el final
ri : Costo de produccin + costo de inventario en la la etapa i
Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra el inventario inicial disponible en la
etapa i
Las relaciones siguientes expresan los costos en miles de dlares:

10 4 Ki, siKi 0
Cp(Ki) =
0, siKi 0
Ci(Xi) = 1*Xi
A continuacin se muestran las iteraciones recursivas del problema:
Programacin Dinmica 11

Etapa 6: Diciembre

Etapa 5: Noviembre

Para esta etapa debe observarse que 2 X5+K5 3; 2 por que es la demanda del mes, y 3 por que se puede
almacenar 1 barco para el mes de abril.

Etapa 4: Octubre

Para esta etapa debe observarse que 3 X4+K4 6; 3 por que es la demanda del mes y 6 por que se puede
almacenar para las demandas futuras.

Etapa 3: Septiembre

Para esta etapa debe observarse que 5 X3+K3 7

Etapa 2: Agosto

Para esta etapa debe observarse que 3 X2+K2 5

 Programacin Dinmica 12

Etapa 1: Julio

Para esta etapa debe observarse que 1 X1+K1 4

SOLUCION OPTIMA
Mes X inicial K d X final Cp Ci CT
Jul 0 4 1 3 10+4(4)= 26 3 29
Ago 3 0 2 1 0 1 1
Sep 1 4 5 0 10+4(4)= 26 0 26
Oct 0 3 3 0 10+4(3)= 22 0 22
Nov 0 3 2 1 10+4(3)= 22 1 23
Dic 1 0 1 0 0 0 0
96 5 101
En consecuencia se deber producir 4, 0, 4, 3, 3 y 0 unidades en los meses de Julio, Agosto, Septiembre,
Octubre, Noviembre y Diciembre respectivamente, obteniendo un costo total mnimo de 101 mil dlares.

APLICACION 5: Contratacin de Personal

Un contratista necesita decidir el tamao de su fuerza de trabajo en las 5 semanas siguientes. El tamao mnimo
de la fuerza de trabajo necesario para las 5 semanas es de 6, 5, 3, 6 y 8 respectivamente. El exceso de
trabajadores que se mantienen en la fuerza laboral costar 300 dlares por trabajador, por semana y las nuevas
contrataciones en cualquier semana incurrirn en un costo fijo de 400 mas 200 dlares por trabajador, por
semana.
Si la fuerza de trabajo inicial es de 4 trabajadores, y el costo de despido en cualquiera de las semanas es de 200
dlares, determine los tamaos ptimos de la fuerza de trabajo para el horizonte de planeacin de 5 semanas.
Determinar la poltica de contratacin de personal en un horizonte de 5 semanas
La estructura del problema es:

K1 K2 K3 K4 K5
X1=4
X1 X2 X3 X4
1 2 3 4 5

El requerimiento r1 r2 r3 r4 r5
semanal de
personal es: 6 5 3 6 8

Donde:
Xi: Nmero de trabajadores disponibles al inicio de la semana i
Ki: Nmero de trabajadores a mantener en la semana i
fi (Xi) : Valor acumulado de la funcin objetivo (menor costo) desde la etapa i hasta el final
ri : Costo de contratacin + costo de despido +costo de exceso
Programacin Dinmica 13

Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra el nmero de trabajadores disponibles
en la etapa i

Costo Contratacin =
400 200 * NroTrabaja doresContr atados , si NroTrabajadoresContratados 0

0, si NroTrabajadoresContratados 0
Costo de despido = 200*NroTrabajadoresDespedidos
Costo de exceso = 300*NroTrabajadoresExcedentes
Entonces las iteraciones recursivas del problema son:
ETAPA 5

ETAPA 4

ETAPA 3

ETAPA 2

ETAPA 1
Programacin Dinmica 14

Poltica ptima:
Requerimient
Etapa Xi Ki o Contrato Despido Exceso Costo
1 4 6 6 2 - - 800
2 6 6 5 - - 1 300
3 6 6 3 - - 3 900
4 6 6 6 - - - -
5 6 8 8 2 - - 800
Total 2800
La solucin ptima es contratar 2 trabajadores en la primera semana, conservar 6 trabajadores durante las 3
semanas siguientes y contratar 2 trabajadores ms en la ltima semana. Esta poltica da como costo mximo
2800 dlares.
Ejercicio: Determinar la poltica ptima de contratacin de personal, si el requerimiento semanal es:
Semana 1 2 3 4 5
Requerimiento 5 3 8 5 7

APLICACIN 6: probabilidad de Funcionamiento

Considere el diseo de un dispositivo electrnico que consta de cuatro componentes principales. Los cuatro
componentes estn dispuestos en serie, de manera que la falla de uno de ellos har que falle todo el dispositivo.
(ver siguiente diagrama):

1 2 3 4

La confiabilidad del dispositivo se puede mejorar a travs de la instalacin de unidades de reserva, lo que
significa que cada componente principal puede incluir hasta tres unidades en paralelo. (ver diagrama siguiente):

El capital total disponible para el diseo del dispositivo es $15 000. Los datos de la confiabilidad R i(ki) y el costo
ci(ki) del i-simo componente ( i = 1, 2, 3, 4) dadas k i unidades en paralelo se resumen a continuacin.
Suponiendo que el dispositivo debe tener como mnimo 1 unidad de cada componente, determine el nmero de
unidades paralelas, ki, que debe tener el dispositivo de cada componente i de tal forma que se maximice su
probabilidad de funcionamiento (confiabilidad) sin exceder el capital asignado.

COMPONENTES EN SERIE
N unidades 1 2 3 4
en paralelo P Costo P Costo P Costo P Costo
1 0,8 3 0,9 3 0,6 2 0,7 4
2 0,82 5 0,95 4 0,8 4 0,75 5
3 - - - - 0,9 5 0,85 7
Nota: el costo esta en miles de soles
Estructura:
Programacin Dinmica 15

Donde:
Xi: Capital disponible para la etapa i
X1: Capital disponible para los 4 componentes
X2: Capital disponible para los componentes 2, 3 y 4
X3: Capital disponible para los componentes 3 y 4
X4: Capi tal disponible para el componente 4
Ki: Nmero de unidades en paralelo asignadas del componente i
fi (Xi) : Valor acumulado de la funcin objetivo (mayor probabilidad de funcionamiento) desde la etapa i hasta el
final
ri : probabilidad de funcionamiento en la etapa i
Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra el capital disponible en la etapa i
Entonces las iteraciones recursivas del problema son:
ETAPA 4

ETAPA 3

ETAPA 2
Programacin Dinmica 16

ETAPA 1

POLITICA OPTIMA
Componente 1 2 3 4
Capital Disponible 15 2 9 4
N Unidades 1 1 3 1 Total
Probabilidad 0.8 0.9 0.9 0.7 0.4536
Por lo tanto la solucin es incluir 1 unidad del componente 1, 1 unidad del componente 2 y 3 unidades del
componente 3, de esta manera el dispositivo alcanza una probabilidad de funcionamiento del 45.36%.

APLICACIN 7: Problema de la Mochila

Suponga que se tiene 3 tipos de cargamento a transportar en una barco con capacidad para 10 toneladas. En la
siguiente tabla se muestra el peso y la utilidad de cada tipo de cargamento.

Utilidad/ unidad de
Peso carga
Carga A 4 Ton s/. 1100
Carga B 3 Ton s/.700
Carga C 5 Ton s/.1200

Determinar el nmero de unidades de cada tipo de carga a incluir en el barco de tal manera que se maximice su
utilidad.
La estructura del problema es:

Donde:
Xi: Capacidad disponible en la etapa i
X1: Capacidad disponible para las 3 cargas
X2: Capacidad disponible para las cargas B y C
X3: Capacidad disponible para la carga C
Ki: Nmero de unidades a incluir en el barco de la carga i
fi (Xi) : Valor acumulado de la funcin objetivo (mayor utilidad) desde la etapa i hasta el final
ri : Utilidad en la etapa i
Programacin Dinmica 17

Kix: Decisin optima en la etapa i dado el estado Xi en el que se encuentra la capacidad disponible del barco en
la etapa i
Entonces las iteraciones recursivas del problema son:

ETAPA 3

ETAPA 2

ETAPA 1

POLITICA OPTIMA
Capacidad
CARGA Disponible Ki* Utilidad
A 10 1 1100
B 6 2 1400
C 0 0 0
Total 2500
Programacin Dinmica 18

Por lo tanto se debe incluir 1 carga del tipo A y 2 cargas del tipo B, alcanzando una utilidad de S/.2500.00.