Universidad del Zulia

Facultad de Ingeniera
Divisin de Estudios para Graduados
Instituto de Clculo Aplicado










OPTIMIZACIN PARA INGENIEROS

Mtodos de Optimizacin Global

(Notas de clase)











Prof. Luis Zerpa













Mayo 2006

ndice General




1. Teorema del Valor Extremo ......................................................................................................2
1.1. Procedimiento analtico para la determinacin de extremos absolutos en un intervalo
cerrado:.........................................................................................................................................2
2. Mtodo de Optimizacin Global................................................................................................2
3. Mtodo de puntos MultiStart para optimizacin global..............................................................4
3.1. Diseo de Experimentos ....................................................................................................4
4. Optimizacin Global Lipschitziana............................................................................................5
5. Optimizacin Lipschitziana en una dimensin...........................................................................6
6. DIRECT - Algoritmo en una dimensin ....................................................................................8
6.1. Clculo de la cota inferior..................................................................................................8
6.2. Divisin del espacio...........................................................................................................9




1. Teorema del Valor Extremo

Si una funcin f es continua en el intervalo cerrado [ ] b a, , entonces f tiene un valor mximo
absoluto y un valor mnimo absoluto en [ ] b a, .

Un extremo absoluto de una funcin en un intervalo cerrado debe ser un extremo relativo o ser un
valor de la funcin en un extremo del intervalo.



1.1. Procedimiento analtico para la determinacin de extremos absolutos en un
intervalo cerrado:

1. Identificar valores de la funcin en los nmeros crticos de f en [ ] b a,
2. Encontrar ( ) a f y ( ) b f
3. El mayor de estos es el mximo absoluto y el menor es el mnimo absoluto



Teorema de Weierstrass (Extensin del teorema de Valor Extremo):

Una funcin continua f definida en un conjunto compacto S cerrado y acotado (definido y no se va
a infinito) tiene un mnimo y un mximo en S.



2. Mtodo de Optimizacin Global

Los mtodos de descenso basados en la existencia del gradiente de la funcin objetivo, se
caracterizan por converger hacia extremos locales de la funcin sin garanta de que estos extremos
correspondan a extremos globales. Ms an, localizan slo un extremo.

Es por ello que a pesar de la popularidad de los mtodos de bsqueda local, se han desarrollado
paralelamente mtodos de optimizacin global cuyo propsito es obtener el conjunto de puntos donde
la funcin se optimiza. Es frecuente, adems, que debiliten las hiptesis de suavidad de la funcin
objetivo y no exijan, por ejemplo, la existencia del gradiente.

Entre estos mtodos de optimizacin global existe un conjunto que incorporan mecanismos
estocsticos, entre los que pueden citarse los mtodos de: Monte Carlo, Simulado Recocido (Simulated
Annealing), Algoritmos Genticos, y Optimizacin Bayesiana; y otros determinsticos, que no
presuponen derivacin. Entre los determinsticos, los mtodos Lipschitzianos han probado su
eficiencia. Entre estos el DIRECT (Dividing Rectangles) es una propuesta eficiente que por su
importancia se tratar en este curso.


Pese a garantizar la existencia de los valores extremos absolutos, la bsqueda global no es un
problema fcil.


2.1.1. Definicin del problema de optimizacin global

Minimizar f(x)
x X
donde X se conoce como Regin Factible (Feasible Region)


2.1.2. Tipos de mtodos de optimizacin global

Para 1992, los investigadores reconocan que todos los algoritmos confiables, universalmente
aplicables a problemas de optimizacin global tienen tiempos que incrementan exponencialmente con
el nmero de variables.

Histricamente, los mtodos de optimizacin global pueden ser tanto:

Estocsticos: evalan f sobre una muestra aleatoria sobre la regin de inters
o No Confiables:
Simulado recocido (Simulated annealing), bsqueda aleatoria (random search)
Sin embargo, la eficiencia es una caracterstica de estos mtodos
Problemas de gran escala (+100 variables) son resueltos mejor con estos
mtodos estocsticos

Determinsticos: no envuelve ningn elemento aleatorio
o Confiables:
Ramas y bordes (Branch and Bound), mtodos de intervalos (Interval methods)
Mtodos de puntos (Point methods): calculan valores de la funcin sobre
puntos de muestras (incapaces de resolver confiablemente un problema
de optimizacin global). Ejemplo Monte Carlo.
Mtodos de bordes (Boundary Methods): calculan cotas sobre conjuntos
compactos. Si son implementados apropiadamente y considerando
errores de redondeo, pueden producir soluciones globales rigurosas.
Ejemplo DIRECT.









3. Mtodo de puntos MultiStart para optimizacin global

El mtodo Multistart consiste en ejecutar algn mtodo de bsqueda local desde varios puntos de inicio
seleccionados, y luego la mejor solucin encontrada se considera como la solucin ptima global.

Para algunas funciones no lineales suaves el mtodo de Multistart converger en la solucin ptima
global. Para otras funciones, generalmente, se obtienen soluciones buenas en un tiempo aceptable.

Los puntos de inicio pueden ser seleccionados a discrecin del usuario, o generados aleatoriamente o
usando alguna tcnica de diseo de experimentos.


3.1. Diseo de Experimentos

Un diseo de experimentos representa una secuencia de experimentos a ser realizados, expresado en
trminos de las variables de diseo con unos valores predefinidos. Un diseo de experimentos es
representado por una matriz donde las filas denotan los experimentos y las columnas denotan las
variables de diseo.

Para el mtodo de Multistart nos interesan los mtodos de diseo de experimentos que cubren el
espacio de bsqueda (Space Filling Design), como Hipercubo Latino, estos mtodos tratan todas las
regiones del espacio de bsqueda de igual forma.

























4. Optimizacin Global Lipschitziana


Los mtodos Lipschitzianos se caracterizan por ser determinsticos, por lo tanto no hay necesidad
de realizar mltiples corridas. Adems, estos mtodos requieren el ajuste de un reducido nmero de
parmetros, entre los que est la constante de Lipschitz (i.e., una cota de la tasa de cambio de la funcin
objetivo).


Sin embargo, en la prctica, la optimizacin Lipschitziana presenta inconvenientes importantes
relacionados con la especificacin de la constante de Lipschitz, la velocidad de convergencia y la
complejidad computacional en problemas de varias dimensiones.


La determinacin de la constante de Lipschitz es un problema en la prctica ya que sta puede no
existir o su clculo puede resultar difcil.


Por ejemplo, en la optimizacin de un proceso en ingeniera, la funcin objetivo puede estar basada
en una simulacin de alto costo computacional, o en un experimento sobre el sistema real, donde no se
dispone de la funcin objetivo en forma cerrada, por lo que el clculo de la constante de Lipschitz es
usualmente difcil o imposible.


El problema de velocidad de convergencia est relacionado con la especificacin de la constante de
Lipschitz, pues sta puede ser vista como una medida del nfasis entre la bsqueda global y local.


En los mtodos Lipschitzianos tradicionales, esta constante es grande ya que debe ser igual o
mayor a la tasa de cambio de la funcin objetivo. Como resultado, estos mtodos le dan mayor nfasis
a la bsqueda global, razn por la cual tienen una lenta convergencia.


Con relacin a la complejidad computacional, cuando se optimiza una funcin de n variables sujeta
a restricciones de borde, el espacio de bsqueda es un hiperrectngulo de n dimensiones. La mayora de
los algoritmos Lipschitzianos dividen el espacio de bsqueda en pequeos hiperrectngulos y la
funcin objetivo es evaluada en sus vrtices. Para iniciar la bsqueda, el algoritmo debe evaluar la
funcin objetivo en los 2
n
vrtices de espacio de bsqueda.








5. Optimizacin Lipschitziana en una dimensin

Asumamos que el problema es encontrar un mnimo global de la funcin f(x) en el intervalo
cerrado [l,u].

Los algoritmos estndares lipschitzianos asumen que existe una cota finita de la razn de cambio
de la funcin, conocida como la constante de Lipschitz. Es decir:

( ) ( ) ' ' x x k x f x f para todo x, x [l,u] ........................................................................ (1)


Esta suposicin puede ser empleada para determinar la cota mnima de la funcin en cualquier
intervalo cerrado cuyos extremos hayan sido evaluados.

Supongamos una funcin definida en el intervalo [a,b]. Si se sustituye a y b por x en la inecuacin
anterior, entonces f(x) debe satisfacer las siguientes dos inecuaciones:

( ) ( ) ( ) a x K a f x f
................................................................................................................... (2)
( ) ( ) ( ) b x K b f x f + .................................................................................................................... (3)

Las inecuaciones (2) y (3) corresponden a dos lneas rectas con pendientes K y K, respectivamente
(Figura 1).

a b X(a,b,f,K)
k
a b X(a,b,f,K)
k


Figura 1 Clculo del lmite inferior Lipschitziano para un intervalo




El menor valor que f(x) puede alcanzar dentro del intervalo esta acotado por el extremo inferior de la
V (interseccin de las rectas).







Si se denota este punto como X(a,b,f,K) y el lmite inferior correspondiente de f por B(a,b,f,K),
entonces se puede determinar la interseccin entre las rectas:

( ) ( ) ( ) ( ) b X K b f a X K a f +
( ) ( ) ( ) b a K XK b f a f + 2
( ) ( )
( )
2
2 2
b a
K XK b f a f
+

( ) ( )
( )

,
_

+

2
2
b a
X K b f a f

( ) ( ) ( )
( ) K f b a X
b a
K
b f a f
, , ,
2 2

+
+

............................................. (4)


( ) ( )
( ) ( )
1
]
1

+
+

2
2
2 2
, , ,
a b a
K
b f a f
K a f K f b a B
( )
( ) ( ) ( )

,
_

,
_

2 2 2
2
, , ,
a b
K
K
b f a f
K
a f
K f b a B

( )
( ) ( )

,
_

2 2
, , ,
a b
K
b f a f
K f b a B ........................................ (5)

Estas son las ecuaciones bsicas del algoritmo de Shubert.





6. DIRECT - Algoritmo en una dimensin


Modificacin del algoritmo de Shubert para superar los siguientes inconvenientes:
nfasis en la bsqueda global
Alta complejidad computacional

La clave para esto es modificar como se divide el espacio.

En vez de evaluar en los extremos del intervalo, se evala en el punto central.

Esto significa que, en mltiples dimensiones, el algoritmo ser inicializado slo muestreando en un
punto (a diferencia de 2
n
puntos).


6.1. Clculo de la cota inferior

Sea [a, b] el intervalo con un punto central
2
b a
C
+


Si hacemos a x = c en
( ) ( ) ' ' x x k x f x f


entonces f(x) debe satisfacer las siguientes desigualdades:

( ) ( ) ( ) c x K c f x f + ; para x c
( ) ( ) ( ) c x K c f x f ; para x c

En la figura estas desigualdades corresponden a las lneas con pendientes +K y K, y la funcin debe
estar por encima de la V invertida formada por la interseccin de estas lneas. El menor valor que
puede tener la funcin ocurre en los extremos a y b. Este lmite inferior es igual a f(c) - K(b-a)/2





a b c
Slope = +K Slope = -K
f(x)
Lower bound
f(c) K(b a)/2
a b c
Slope = +K Slope = -K
f(x)
Lower bound
f(c) K(b a)/2
Ntese que para determinar esta cota inferior slo se utiliza el punto central de intervalo. Es posible
estimar cotas mejores considerando los puntos centrales de intervalos adyacentes. Sin embargo, esto no
es posible en problemas de varias dimensiones. Por eso, se utiliza el punto central.


6.2. Divisin del espacio
Se divide el espacio en intervalos y se seleccionan intervalos basados en su cota inferior.

Como estrategia de divisin del espacio tenemos:

[Dividir el intervalo en 3]




Seleccin de intervalos para subdividir

( )
( )
2
2 2
2
a b
K c f

( )
2
a b
pendiente = K
Constante de
Lipschitz
define que tan bueno es
el intervalo para la
bsqueda global
Distancia del centro al
extremo de intervalo
mejor
intervalo
f(c)
( )
( )
2
2 2
2
a b
K c f

( )
2
a b
pendiente = K
Constante de
Lipschitz
define que tan bueno es
el intervalo para la
bsqueda global
Distancia del centro al
extremo de intervalo
mejor
intervalo
f(c)





Qu tal si utilizamos todas las posibles K?
Esto corresponde a identificar un conjunto de intervalos que podran ser seleccionados utilizando una
lnea con alguna pendiente positiva. Estos intervalos estn representados por los puntos de la parte
inferior de la cpsula convexa de la nube de puntos.






a b
DIRECT es un algoritmo Lipschitziano que supera todas estas limitaciones. Este algoritmo fue
desarrollado por Jones et al. (1993) para encontrar el mnimo global de una funcin escalar
multivariable sujeta a restricciones de borde. El algoritmo es llamado DIRECT, esto capta el hecho de
que es una tcnica de bsqueda directa, y tambin es un acrnimo para, divisin de rectngulos que es
uno de los pasos clave en el algoritmo.

DIRECT es una modificacin del enfoque Lipschitziano tradicional que elimina la necesidad de
especificar la constante de Lipschitz.

Por el contrario, realiza bsquedas simultneas utilizando todas las posibles constantes y por ello,
opera tanto local como globalmente.

Una vez que la parte global del algoritmo encuentra la regin que contiene al mnimo, la parte local
la explora rpida y automticamente. Esta es la razn por la cual DIRECT converge ms rpidamente
que los mtodos Lipschitzianos tradicionales.

Adicionalmente, DIRECT reduce la complejidad computacional al evaluar la funcin objetivo en el
centro de cada hiperrectngulo en lugar de sus vrtices.

A continuacin se presenta una descripcin general del algoritmo DIRECT:

1. Inicialmente, se transforma el espacio de bsqueda en un hipercubo unitario. La funcin es
evaluada en el centro de este hipercubo.
2. Empleando un procedimiento establecido, el hipercubo inicial es dividido en
hiperrectngulos.
3. Mediante la determinacin de la cota mnima correspondiente a cada hiperrectngulo, se
identifican los hiperrectngulos potencialmente ptimos.
4. Todos los hiperrectngulos potencialmente ptimos son divididos en hiperrectngulos an
ms pequeos utilizando el mismo procedimiento mencionado anteriormente y la funcin
objetivo es evaluada en sus centros.
5. El algoritmo se detiene si se ha alcanzado el nmero mximo de iteraciones, en caso
contrario se va al paso 3.

La seleccin de los rectngulos potencialmente ptimos se realiza mediante la determinacin de los
puntos extremos de una cpsula convexa inferior montona creciente a partir de un conjunto de puntos
en el plano empleando el algoritmo de Graham.

Una de las limitaciones de DIRECT es que requiere, relativamente, gran cantidad de evaluaciones
de la funcin objetivo, en particular cuando la solucin ptima se encuentra cerca de la frontera del
espacio de bsqueda.


Definicin 3.1 (pg. 165 artculo de Jones et al. 1993)

DIRECT es insensible a y puede tomar valores entre 10
-3
y 10
-7
.

En una direccin DIRECT es parecido al algoritmo de Shubert, excepto que: evala los centros de los
intervalos, y selecciona los intervalos potenciales.

Criterio de parada = nmero de iteraciones.


Algoritmo DIRECT una dimensin (pg. 166 artculo de Jones et al. 1993)


Algoritmo de Graham para determinar la cpsula convexa

rea A
(+)
rea C rea B
A
B
C
rea A
(+)
rea C rea B
A
B
C
(-)
A
B
C
(-)
A
B
C
f(c)
y
a
x
b
x
c
y
b
y
c
A
B
C
x
a
f(c)
y
a
x
b
x
c
y
b
y
c
A
B
C
x
a



Si (rea A rea B rea C) 0 ; entonces el punto B pertenece a la cpsula convexa
ELSE el punto B no pertenece

rea del trapecio:
( )
( )
a b
a b
x x
y y

2


rea A = [(y
c
- y
a
)(x
c
- x
a
)] [(y
a
- y
b
)(x
b
- x
a
) [(y
c
- y
b
)(x
c
- x
b
)]]




Corrida de Algoritmo de la cpsula convexa

Tiempo de ejecucin = (m) si est ordenado por sus abcisas (x)

Para una nube de puntos, el tiempo de ejecucin O(m log
2
m)

Para DIRECT, como muchos puntos tienen longitudes iguales y estn ordenados por el valor de la
funcin para identificar la cpsula convexa se requiere O(M) donde m es el nmero de longitudes
distintas.


DIRECT de varias dimensiones

Divisin del espacio

La estrategia: hacer que los rectngulos ms grandes contengan el mejor valor de funcin


Estrategia de divisin
Hagamos: ( ) ( ) { }
i i i
e c f e c f w +
r r
, min
1. dividamos en la direccin de la menor w
2. divida el rectngulo que contiene a c
r
en 3 tercios

en caso de rectngulos, slo se considera la direccin ms larga.


Procedimiento para dividir rectngulos (pg. 169).