Tabla de contenido

1. Caractersticas de los problemas de programacin dinmica .......................... 2

2. Programacin dinmica determinstica ......................................................... 11
3. Programacin dinmica probabilstica .......................................................... 11
4. Conclusiones ............................................................................................... 11


























PROGRAMACION DINAMICA
La programacin dinmica es una tcnica matemtica til para la toma de
decisiones secuenciales interrelacionadas. Proporciona un procedimiento
sistemtico para determinar la combinacin ptima de decisiones.

Esta tcnica no cuenta con una formulacin matemtica estndar del
problema de programacin dinmica, sino que se trata de un enfoque de
tipo general para solucionar problemas; las ecuaciones especficas que se
usan deben ajustarse a la situacin particular.

Para llegar a resolver un problema se necesita creatividad y buen
conocimiento de la estructura general de los problemas de programacin
dinmica para saber cundo y cmo puede ser resuelto por medio de estos
procedimientos.

1. Ejemplo prototipo de programacin dinmica

El PROBLEMA DE LA DILIGENCIA se construy especialmente para ilustrar las
caractersticas e introducir la terminologa de la programacin dinmica. Este
paradigma se refiere a un cazafortunas mtico de Missouri que decide ir al oeste a
sumergirse en la fiebre del oro que surgi en California a media dos del siglo xix.
Tiene que hacer el viaje en diligencia a travs de territorios sin ley, donde existen
serios peligros de ser atacado por merodeadores. A pesar de que su punto de
partida y su destino son fijos, tiene muchas opciones en cuanto a qu estados o
territorios debe elegir como puntos intermedios. En la figura.1 se muestran las
rutas posibles, en donde cada esta dose representa mediante un crculo con una
letra; adems, en el diagrama, la direccin del viaje es siempre de izquierda a
derecha. Como se puede observar, se requieren cuatro etapas jornadas en
diligencia para viajar desde su punto de partida en el estado A (Missouri) a su
destino en el estado (California).
Este cazafortunas es un hombre prudente preocupado por su seguridad. Despus
de re flexionar un poco ide una manera bastante ingeniosa para determinar la
ruta ms segura. Se ofrecen plizas de seguros de vida a los pasajeros. Como el
costo de la pliza de cualquier jornada en la diligencia est basado en una
evaluacin cuidadosa de la seguridad del recorrido, la ruta ms segura debe ser
aquella cuya pliza represente el menor costo total.
El costo de la pliza estndar del viaje en diligencia, del estado al estado, que se
denota como

, es


Estos costos se muestran en la figura 1.
La atencin se centrara en la pregunta: Cul es la ruta que minimiza el costo total
de la poliza?
Solucin del problema
Observe primero que el procedimiento poco inteligente de elegir la ruta ms
barata en cada etapa sucesiva no conduce a una decisin ptima global. En caso
de adoptar esta estrategia, se obtiene la ruta , con un costo total
de 13. Sin embargo, un pequeo sacrificio en una etapa puede permitir mayores
ahorros ms adelante. Por ejemplo, es, en total, ms barato que
.
Un enfoque posible para resolver es te problema es el de prueba y error. Sin
embargo, el nmero de rutas posibles es grande (18) y el clculo del costo total
de ca da ruta no es una tarea atractiva.
Por fortuna, la programacin dinmica proporciona una solucin con mucho
menos es fuerzo que la enumeracin exhaustiva. (El ahorro computacional es
enorme cuando se trata de versiones ms grandes de este problema.) La
programacin dinmica comienza con una pequea porcin del problema original
y encuentra la solucin ptima para es te problema pequeo. Despus agranda de
manera gradual el problema y encuentra la solucin ptima actual a partir de la
que le precede, hasta resolver el problema original completo.
En el ca so del problema de la diligencia, se comienza con el problema sencillo
que plan tea queel cazafortunas casi halle gado al final de su viaje y slo tiene
una etapa ms una jornada en la diligencia por recorrer. La solucin ptima
obvia de es te problema reducido es ir del estado actual el que sea en el que se
encuentre a su destino final (estado ). En cada una de las iteraciones
siguientes, el problema aumenta de una en una el nmero de etapas que le
quedan por recorrer para completar el viaje. En cada problema aumentado se
puede encontrar la solucin ptima del lugar al que debe dirigirse desde cada
estado posible, donde se toman en cuenta los resultados obtenidos en la iteracin
anterior. A continuacin se describen los de talles de es te procedimiento.

Formulacin:Sean

( ) las variables de decisin que representan el

destino inmediato de la etapa (el -simo viaje que se har en diligencia). En
este caso, la ruta seleccionadaes

, donde

.
Sea

el costo total de la mejor poltica global para enfrentar las etapas

restantes, mientras el agente de ventas se encuentra en el estado, listo para
iniciar la etapa y elige

como destino inmediato. Da dos y , sea

el valor de

no necesariamente nico que minimiza

y
sea

el valor mnimo correspondiente de

. Entonces,

donde

costo inmediato (etapa ) +costo futuro mnimo (etapas en

adelante)
=

El valor de

est dado por las tablas anteriores para

al establecer (el
estado actual) y

(el destino inmediato). Como el destino final (estado) se

alcanza al terminar la etapa 4,

El objetivo es encontrar

y la ruta correspondiente. La programacin dinmica

la encuentra al determinar en forma sucesiva

para cada uno de

los estados posibles y usar despus

para encontrar

.
Procedimiento de solucin. Cuando el cazafortunas tiene solo una etapa por
recorrer ( ), su ruta de ah en adelante esta perfectamente determinada por su
estado actual (ya sea o), asi como su destino final,

de manera que la
ruta de esta ltima jornada en diligencia es . Por tanto,

,
la solucin inmediata al problema para es
n=4

3
4

Cuando el cazafortuna tiene solo una etapa por recorrer ( ), el procedimiento
de solucin requiere unos cuantos clculos. Por ejemplo, suponga que se
encuentra en el estado . Entonces, como se describe en el diagrama, debe ir al
estado , o al estado con unos costos inmediatos respectivos de

, o

. Si elige el estado H, el costo adicional mnimo al llegar ah se presenta en

la tabla anterior como

, como se muestra sobre el nodo del diagrama.

En consecuencia, el costo total de esta decisin es Si en su lugar se elige
el estado el costo total es , que es menor. Por tanto, la opcin ptima
es esta ltima,

, puesto que proporciona el costo mnimo,

.


Son necesarios los clculos similares cuando se parte de los otros dos estados
posibles , y con dos jornadas por delante. Intente obtener la respuesta
con la ayuda tanto de un diagrama (Figura1) como del algebra [combine valores
de

], para verificar los siguientes resultados del problema con .

H I
E 4 8 4 H
F 9 7 7 I
G 6 7 6 H

La solucin de la segunda etapa ( .), cuando quedan tres jornadas por
recorrer, se obtiene en forma parecida. En este caso,

. Por
ejemplo, suponga que el cazafortunas se encuentra en el estado , como se
muestra en el siguiente diagrama.

Ahora deber ir al esta do E, F o G con costos inmediatos respectivos de

. Al llegar a este punto, el costo adicional mnimo hasta llegar al

destino se presenta en la tabla de como

,
respectivamente, como muestra el nmero colocado arriba de los estados E, F y G
en el diagrama anterior. A continuacin encontrar un resumen con los clculos
que resultan de las tres alternativas.

El mnimo de estos tres nmeros es 7, por lo que el costo total mnimo desde el
estado C al final es

, y el destino inmediato debe ser

.
Al hacer clculos similares cuando se parte del estado B o D se llega a los
siguientes resultados para el problema de :

E F G
B 11 11 12 11 E o F
C 7 9 10 7 E
D 8
8
11 8 E o F

En el primer y tercer renglones de esta tabla observe que E y F empatan como el
valor que minimiza

, de manera que el destino inmediato desde cualquiera de

los estados B o D debe ser

.
Si se pasa al problema de la primera etapa ( ), con las cuatro etapas por
recorrer, los clculos son parecidos a los que se acaban de mostrar para la
segunda etapa ( ), excepto que ahora slo hay un inicio posible, , como
se muestra en el siguiente diagrama.

A continuacin se resumen los clculos sobre los tres destinos inmediatos
posibles:

Como el mnimo es 11,

, como se muestra en la siguiente

tabla.

B C D
A 13 11 11 11 C o D

Ahora es posible identificar una solucin ptima a partir de las cuatro tablas. Los
resulta dos del problema con indican que el cazafortunas debe elegir como
primer destino inmediato el estado C o el estado D. Suponga que elige

. Con
, el resultado de
es

. Esto conduce al problema de , que resulta en

con
, y el problema con indica que

con . Por tanto, una ruta

ptima es . Si se elige

, se obtienen otras dos rutas

ptimas y . Todas tienen un costo total de

En la figura 2 se resumen es tos resulta dos del anlisis de programacin
dinmica. Observe que las dos flechas de la etapa 1 se obtienen de la primera y
ltima columnas de la tabla de y el costo se encuentra en la penltima
columna. Cada una de las otras flechas (y el costo resultante) se lee en un rengln
de cada una de las otras tablas, exactamente de la misma manera.




2. Caractersticas de los problemas de programacin
dinmica
A continuacin se presentan y estudian las caractersticas bsicas que distinguen a los
problemas de programacin dinmica.
1) El problema se dividen en etapas, cada una de las cuales requieres de una
poltica decisin.
2) Cada etapa tiene cierto nmero de estados asociados a su inicio. En
general, los estados son las distintas condiciones posibles en las que se
puede encontrar el sistema en cada etapa del problema. El numero de
etapas puede ser finito o infinito.
3) El efecto de la poltica de decisin en cada etapa es transformar el estado
actual en un estado asociado con el inicio de la siguiente etapa, quiz
segn una distribucin de probabilidad.
4) El procedimiento de la solucin esta diseado para encontrar una poltica
optima para manejar completo, es decir, una receta para elaborar la poltica
de decisin optima para cada etapa en cada uno de los estados posibles.
5) Dado el estado actual, una poltica ptima para las etapas restantes es
independiente de la poltica adoptada en etapas anteriores. Por tanto, la
decisin inmediata ptima depende solo del estado actual y no de cmo se
llego ah. Este es el principio de optimalidad de la programacin dinmica.
6) El procedimiento de solucin comienza cuando se determina la poltica
ptima para la ltima etapa.
La poltica optima para la ltima etapa prescribe la poltica ptima de
decisin para cada estado posible en esa etapa. Es comn que la decisin
de este problema de una etapa sea trivial, como lo fue en el problema de la
diligencia.
7) Se dispone de una relacin recursiva que identifia la poltica optima para la
etapa , dada la poltica para la etapa .
En el problema de la diligencia se obtuvo :

]

Entonces, para encontrar la politia optima de decisin cuando se comienza
en el estado de la etapa se necesita encontrar el valor que minimice

.
El costo minimo correspondiente se obtiene al usar este valor de

para
que despus seguir la poltica optima cuando el proeo se encuentra en el
estado

en la etapa .
L a forma precisa de la relacion recursiva difiere de un problema a otro de
programacin dinmica, pero se usaa una notaion anloga y se resume de
la siguiente manera:
Nmero de etapas
Etiqueta de la etapa actual ( ).

Estado actual de la etapa

Variable de decisin en la etapa

Valor optimo de

(dado

Contribucin de los estados a la funcin objetivo

si el sistema se encuentra en el estado

en la etapa , la decisin
inmediata es

y en adelante se toman decisiones ptimas.

La relacin recursiva siempre tendr la forma

] o

],

Donde

se escribe en trminos de

y tal vez
alguna medida de la contribucin inmediata de

a la funcin objetivo. Lo
uq hace que la expresin de

sea una relacin recursiva es la

inclusin de

, en el lado derecho, de manera que

esta
definida en trminos de

.




8) Cuando se usa esta relacin recursiva, el procedimiento de solucin comienza al
final y se mueve hacia atrs etapa por etapa para encontrar cada vez la poltica
ptima para esa etapa hasta que encuentra la poltica ptima desde la etapa
inicial. Esta poltica ptima lleva de inmediato a una solucin ptima para el
problema completo, es decir,

para el estado inicial

, despus

para el
estado

que resulta, luego

para el estado

que se obtiene, y as
sucesivamente hasta

para el esta do

resultante.
3. Programacin dinmica determinstica
4. Programacin dinmica probabilstica
5. Conclusiones