CLASE 4 MetodosIterativos 2015

Metodos Iterativos para
Optimizacion Continua
Erik Papa Quiroz
erikpapa@gmail.com
Doctor en Ciencias por la Universidad

Federal de Rio de Janeiro
Febrero del 2015
minerva
Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Contenido
1 Metodos Iterativos
Concepto de Metodo Iterativo
Ejemplos de Metodos Iterativo
Velocidad de Convergencia
2 Metodos Iterativos para Optimizacion Irrestricta
3 Metodos Iterativos para Optimizacion con Restricciones
minerva

Metodos Iterativos Concepto de Metodo Iterativo
Metodos Iterativos para Optimizacion Irrestricta Ejemplos de Metodos Iterativo
Metodos Iterativos para Optimizacion con Restricciones Velocidad de Convergencia
Palabras claves
Metodo Iterativo
Definicion
Un metodo iterativo es un procedimiento que genera, a partir

de un punto dado x 0 , una sucesion de puntos {x k } donde x k
es obtenido apartir de su predecesor x k1 .
minerva

Palabras claves
Metodo Iterativo
ejemplos
1 x k = x k1 + 2(k 1) , con x 0 = 0
2 x k = Bx k1 + c, con x 0 = (0, 0, ..., 0) Rn , donde B es
una matriz n n.
minerva

Palabras claves
Convergencia
Definicion
Un metodo iterativo se dice globalmente convergente a x

si para cualquier punto inicial x 0 , la sucesion {x k }
generada por el procedimiento converge a x.
El metodo se dice localmente convergente a x si para
cualquier punto x 0 suficientemente proximo de x, la
sucesion {x k } converge a x.
minerva

Palabras claves
Definicion
Decimos que el metodo iterativo, el cual genera {x k }, converge

(local o global) a x con velocidad de convergencia:
i) Cuadratica, si
||x k+1 x||

lim sup = 0.
k ||x k x||2
ii) Superlineal, si
||x k+1 x||

lim sup = 0. minerva
k ||x k x||

Palabras claves
Definicion
Decimos que el metodo iterativo, el cual genera {x k }, converge

(local o global) a x con velocidad de convergencia:
iii) Lineal, si
||x k+1 x||

lim sup = (0, 1).
k ||x k x||
iv) Sublineal, si
||x k+1 x||
lim sup = 1.
k ||x k x|| minerva

Palabras claves
Ejemplo
Las sucesiones {x k } = {1/k 2 }, {y k } = {1/2k }, {z k } = {1/k}
convergen a cero y
{x k } converge a cero sublinealmente
{y k } converge a cero linealmente
{z k } converge a cero sublinealmente
minerva

Metodos Iterativos
Metodos Iterativos para Optimizacion Irrestricta
Metodos Iterativos para Optimizacion con Restricciones
Palabras claves
Metodos Iterativos
Filosofia de los Metodos
Dado
min{f (x) : x Rn }.
Los metodos iterativos en general generan {x k } tal que x 0 es
dado y se elige una direccion d k tal que
x k+1 = x k + k d k ,
donde k es obtenido por una regla especfica.

minerva

Metodos Iterativos
Palabras claves
Direcciones de Descenso
Sea d 6= 0 y f : Rn R una funcion dada. Decimos que d es

una direccion de descenso en un punto x Rn , si existe > 0
tal que
f (x + d) < f (x), (0, )
minerva

Metodos Iterativos
Palabras claves
Condicion Suficiente
Sea f : Rn R una funcion diferenciable y x Rn un punto

dado. Si
f (x)T d < 0,
entonces d es direccion de descenso en x
minerva

Metodos Iterativos
Palabras claves
Ejemplos de Direcciones de Descenso
Sea f : Rn R una funcion diferenciable y f (x) 6= 0. El

punto d = f (x) es una direccion de descenso en x. En
efecto
d T f (x) = ||f (x)||2 < 0.
Sea f : Rn R una funcion diferenciable, f (x) 6= 0 y D
una matriz simetrica y definida positiva de orden n n. El
punto d = Df (x) es una direccion de descenso. En
efecto,
f (x)t d = (D 1/2 f (x))T (D 1/2 f (x)) = ||D 1/2 f (x)||. minerva

Metodos Iterativos
Palabras claves
gradiente y Newton
Ejemplos de Direcciones de Descenso
En particular, la direccion de Newton
d = (2 f (x))1 f (x)
(siempre que 2 f (x) sea definida positiva y simetrica) es

una direccion de descenso.
minerva

Metodos Iterativos
Palabras claves
Definicion
Metodos Iterativos de Descenso
Los metodos iterativos de descenso generan una sucesion de

puntos {x k } tal que
a) x 0 Rn arbitrario;
b) Para k = 0, 1, ..., si se cumple un criterio de parada (por
ejemplo ||f (x k )|| = 0) parar. Caso contrario continuar;
c) Encontrar una direccion de descenso d k
d) Hacer x k +1 = x k + k dk , donde k es obtenido por una
regla especfica y volver al paso b).
minerva

Metodos Iterativos
Palabras claves
busqueda lineal
Observacion
En un metodo iterativo no podemos dar cualquier valor positivo

a k . En efecto, considere el problema de optimizacion
min{x 2 : x R},
donde x = 0 es el unico punto de mnimo. Tomando x 0 = 3,

d k = 1, para cada k y k = 2k , tenemos
x k+1 = x k + 2k .
minerva

Metodos Iterativos
Palabras claves
busqueda lineal
Observacion
Se puede verificar que
x k = (1 + 21k ).
Como f 0 (x k )d k = 2x k .1 = 2(1 + 21k ) < 0, entonces se tiene

que d k es direccion de descenso para cada k. Tomando limite
a la sucesion {x k } obtenemos que
lim x k = 1,
k+
el cual no es mnimo y ni siquiera satisface la condicion de minerva

punto crtico f 0 (1) = 0.
Metodos Iterativos
Palabras claves
busqueda lineal
Observacion
El metodo de como seleccionar apropiadamente la sucesion

{k } se llama busqueda lineal o busqueda de la longitud de
paso. Existen dos maneras diferentes de realizar la busqueda
lineal:
La exacta: se usan tecnicas de optimizacion
unidimensional.
La aproximada: se usan criterios de reduccion apropiada
de la funcion objetivo.
minerva

Metodos Iterativos
Palabras claves
Definicion
Busqueda Lineal Exacta
Dados x k y d k , este metodo consiste en encontrar el mejor k

que satisfaga f (x k + k d k ) < f (x k ).
1 Obtener k satisfacendo
f (x k + k d k ) = arg min{f (x k + d k ) : 0}
2 Obtener k satisfacendo
f (x k + k d k ) = arg min{f (x k + d k ) : [0, ]},

minerva
donde es un numero positivo dado.

Metodos Iterativos
Palabras claves
Definicion
Busqueda Lineal Aproximada
Este metodo consiste en encontrar un k (no necesariamente

el mejor) que satisfaga la condicion f (x k + k d k ) < f (x k ).
Existen diversos metodos en esta clase por ejemplo:
Metodo de Armijo: dado 0 < < 1 encontrar
tk = arg max{t : se cumpla la condicion:
f (x k tf (x k )) f (x k )t||f (x k )||2 , t = 2i , i = 0, 1, ...}

minerva

Metodos Iterativos
Palabras claves
Definicion
Busqueda Lineal Aproximada
Metodo de Goldstein: fijar un (0, 1/2) y encontrar

k > 0 tal que
f (x k + k d k ) f (x k )
< 1 .
k f (x k )T d k
minerva

Metodos Iterativos
Palabras claves
Metodos para minimizacion restricta
Filosofa de los Metodos
Considere el problema de optimizacion
min{f (x) : x X }.
Los metodos se dividen en varias clases.

Metodos Proyectivos: Por ejemplo el metodo de gradiente
y Newton proyectado son respectivamente de la forma:
x k+1 = Pk (x k k f (x k )),
x k +1 = Pk (x k k (2 f (x k ))1 f (x k ), minerva
donde Pk : Rn X.
Metodos Iterativos
Palabras claves
Metodos para minimizacion restricta
Filosofa de los Metodos
Metodos reguladores: transforman el problema en una

sucesion de problemas mas faciles de resolver de tal
manera que los puntos que resuelven este problema se
aproximan cada vez de la solucion del problema original.
Ejemplos de estos metodos son los metodos de penalidad
interior, metodos proximales, etc.
Metodos Inviables: Otra clase de metodos son los
inviables los cuales generan una sucesion de puntos que
no satisfacen las restricciones del problema y solo en el
lmite se obtiene viabilidad y optimalidad. Todos estos minerva
metodos seran vistos a lo largo del presente trabajo.

Metodos Iterativos
Referencias
1 IZMAILOV A. and SOLODOV M., Otimizacao Volume 1,

IMPA, Rio de Janeiro, Brazil, 2005.
2 IZMAILOV A. and SOLODOV M., Otimizacao Volume 2,
IMPA, Rio de Janeiro, Brazil, 2007.
3 MARTINEZ J.M. and SANTOS S. A., Metodos
Computacionais de Otimizacao, 20 Coloquio Brasileiro de
Matematica, IMPA, 1995.
minerva

CLASE 4 MetodosIterativos 2015

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

CLASE 4 MetodosIterativos 2015

Transféré par

Droits d'auteur :

Formats disponibles

Metodos Iterativos para

Doctor en Ciencias por la Universidad

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

2 Metodos Iterativos para Optimizacion Irrestricta

3 Metodos Iterativos para Optimizacion con Restricciones

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Un metodo iterativo es un procedimiento que genera, a partir

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Un metodo iterativo se dice globalmente convergente a x

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Decimos que el metodo iterativo, el cual genera {x k }, converge

||x k+1 x||

||x k+1 x||

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Decimos que el metodo iterativo, el cual genera {x k }, converge

||x k+1 x||

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Filosofia de los Metodos

donde k es obtenido por una regla especfica.

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Sea d 6= 0 y f : Rn R una funcion dada. Decimos que d es

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Sea f : Rn R una funcion diferenciable y x Rn un punto

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Ejemplos de Direcciones de Descenso

Sea f : Rn R una funcion diferenciable y f (x) 6= 0. El

f (x)t d = (D 1/2 f (x))T (D 1/2 f (x)) = ||D 1/2 f (x)||. minerva

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Ejemplos de Direcciones de Descenso

En particular, la direccion de Newton

(siempre que 2 f (x) sea definida positiva y simetrica) es

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Metodos Iterativos de Descenso

Los metodos iterativos de descenso generan una sucesion de

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

En un metodo iterativo no podemos dar cualquier valor positivo

donde x = 0 es el unico punto de mnimo. Tomando x 0 = 3,

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Se puede verificar que

Como f 0 (x k )d k = 2x k .1 = 2(1 + 21k ) < 0, entonces se tiene

el cual no es mnimo y ni siquiera satisface la condicion de minerva

El metodo de como seleccionar apropiadamente la sucesion

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Busqueda Lineal Exacta

Dados x k y d k , este metodo consiste en encontrar el mejor k

f (x k + k d k ) = arg min{f (x k + d k ) : [0, ]},

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Busqueda Lineal Aproximada

Este metodo consiste en encontrar un k (no necesariamente

tk = arg max{t : se cumpla la condicion:

f (x k tf (x k )) f (x k )t||f (x k )||2 , t = 2i , i = 0, 1, ...}

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Busqueda Lineal Aproximada

Metodo de Goldstein: fijar un (0, 1/2) y encontrar

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

Filosofa de los Metodos

Considere el problema de optimizacion

Los metodos se dividen en varias clases.

Filosofa de los Metodos

Metodos reguladores: transforman el problema en una

Erik Papa Quiroz erikpapa@gmail.com Metodos Iterativos

1 IZMAILOV A. and SOLODOV M., Otimizacao Volume 1,