Métodos Iterativos para

Optimización Continua
Erik Papa Quiroz
erikpapa@gmail.com

Universidad Nacional Mayor de San

Marcos
Optimización Matemática y aplicaciones
Lima 2015
minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Contenido

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
raı́ces de funciones

Método de Newton para encontrar raı́ces

Dado una función f : R → R, encontrar x̄ ∈ R tal que

f (x̄) = 0.

El punto x̄ es llamado una raı́z o un cero de f .

Aplicaciones:
Encontrar raı́ces de polinomios.
Discretización de ecuaciones diferenciales no lineales.
Encontrar puntos de mı́nimo y máximo.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Convergencia

Método

Sea f : R → R de clase C 1 y x̄ tal que

f (x̄) = 0.

Dado p ∈ R, una aproximación lineal de f en el punto p es

dado por
f (x) ≈ f (p) + f ′ (p)(x − p).
Tomando x = x̄ tenemos
f (p)
x̄ ≈ p − .
f ′ (p)
minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Convergencia

Método
El Método de Newton genera una sucesión x k tal que


x 0 ∈ R (dado),

f (x k −1 )
x k = x k −1 − .
f ′ (x k −1 )

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo
Encontrar la raı́z de

f (x) = x − e−x .

Solución.
1 f (0) = −1 < 0 y f (1) > 0, entonces en [0, 1] existe la raı́z
x̄.
2 Tomando x 0 = 0.5 tenemos

x k −1 − exp(−x k −1 )
x k = x k −1 −
1 + exp(−x k −1 )
minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo (continuación)
1 los iterados son:

x 1 = 0.566311
x 2 = 0.567143165, f (x 2 ) = −1.9651 × 10−7
x 3 = 0.5671432904, f (x 3 ) = −1.53 × 10−11
x 4 = 0.5671431904, f (x 4 ) ≈ 0.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ingreso y salida de Datos

1 Entrada:
Un punto inicial x 0 , una tolerancia ǫ > 0 y número máximo
de iteraciones N0
2 Salida:
Solución aproximada o mensaje de fracaso.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Iteraciones
1 Paso 1: k = 1
2 Paso 2: Mientras k ≤ N0 , hacer los paso 3 a 5
3 Paso 3:
f (x k −1 )
x k = x k −1 − .
f ′ (x k −1 )
 
4 Paso 4: Si x k − x k −1  < ǫ o |f (x k )| < epsilon, parar.
5 Paso 5: hacer k = k + 1.
6 Paso 6: Si k > N0 , entonces proceso sin éxito.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Propiedades de convergencia
Sea f ∈ C 2 ([a, b]) y existe x̄ ∈ [a, b] tal que

f (x̄) = 0,

f ′ (x̄) 6= 0.
Entonces, existe δ > 0 tal que para cualquier
x 0 ∈ [x̄ − δ, x̄ + δ] , la sucesión generada por el método de
Newton converge a x̄ y
   2
 k +1
x − x̄  ≤ C x k − x̄  .
  

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Propiedades de convergencia
Si f ∈ C 2 (R) es cresciente, convexa y tiene una raı́z, entonces
la raı́z es única y la iteración generada por el método converge
para cualquier punto inicial.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Sistema No Lineal
Dado una función F : Rn → Rn , encontrar x̄ ∈ Rn tal que

F (x̄) = 0.

El punto x̄ es llamado solución del sistema no lineal o cero de

F.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Método
Dado una función F : Rn → Rn continuamente diferenciable y
x 0 ∈ Rn , en cada iteración k resolver

J(x k )d k = −F (x k ),

y hacer
x k +1 = x k + d k

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo
Considere

F (x1 , x2 ) = (x1 + x2 − 3, x12 + x22 − 9)

Los puntos solución son:

x ∗ = (3, 0); x̄ = (0, 3).

Tomemos el punto inicial

x 0 = (1, 5).

Las primeras dos iteraciones del método son:

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo (Continuación)
Primera iteración: Resolver

J(x 0 )d 0 = −F (x 0 ),

obteniendose  
−13 −11
d0 = , .
8 8
Ası́,
x 1 = x 0 + d 0 = (−0.625, 3.625).

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo (Continuación)
Segunda iteración: Resolver

J(x 1 )d 1 = −F (x 1 ),

obteniendose  
1 145 −145
d = , .
272 272
Ası́,
x 1 = x 0 + d 0 = (−0.092, 3.096).
Se observa que el método trabaja bien.
minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Observación
La convergencia del método de Newton depende del punto
inicial. En efecto, considere

F (x1 , x2 ) = (ex1 − 1, ex2 − 1),

para el cual la solución es x ∗ = (0, 0). Tomemos

x 0 = (−10, −10), entonces, al resolver J(x 0 )d 0 = −F (x 0 ),
obtenemos

x 1 = (−11 + e10 , −11 + e10 ) ≈ (2.2x104 , 2.2x104 ),

el cual no es un punto bueno.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ventajas del Método

Convergencia Cuadrática si las iteraciones comienzan de
un buen punto inicial y si J(x ∗ ) es no singular.
Solución exacta en una iteración para funciones afines.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Desventajas
En general no se tiene la convergencia global
Requiere el conocimiento de J(x k ) en cada iteración
Cada iteración requiere la solución de un sistema lineal
que puede ser singular o mal condicionada.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Teorema
Sea F : Rn → Rn una función continuamente diferenciable en
D convexo y abierto. Asuma que existe x ∗ ∈ Rn tal que
F (x ∗ ) = 0, y existen r , β > 0 tal que B(x ∗ , r ) ⊂ D, J(x ∗ )−1
existe con ||J(x ∗ )−1 || ≤ β, y J ∈ Lipγ (B(x ∗ , r )). Entonces existe
ǫ > 0 tal que para todo x 0 ∈ B(x ∗ , ǫ) la sucesión generada por

x k +1 = x k − (J(x k ))−1 F (x k ),

es bien definido, converge a x ∗ y satisface:

||x k +1 − x ∗ || ≤ βγ||x k − x ∗ ||2 , k = 0, 1, ....

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Teorema de Kantorovich
Sea r > 0, x 0 ∈ Rn , F : Rn → Rn una función continuamente
diferenciable en B(x 0 , r ). Asumase que J ∈ Lipγ (B(x 0 , r )), con
J(x 0 ) no singular y que existe constantes β, η ≥ 0 tal que

||J(x 0 )−1 || ≤ β, ||J(x 0 )−1 F (x 0 )|| ≤ η.

Defina γR = βγ, α = γR η.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Teorema de Kantorovich (continuación)

√
Si α ≤ 12 y r ≥ r0 ≡ (1 − 1 − 2α)/(βγ), entonces, la sucesión
{x k } tal que

x k +1 = x k − J(x k )−1 F (x k ), k = 0, 1, ...

es bien definida y converge a x ∗ que es el único cero de F en

la clausura de B(x 0 , r0 ).

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Teorema de Kantorovich (continuación)

Si α < 12 , entonces x ∗ es el único cero de F en la clausura de
B(x 0 , r1 ), donde
√
r1 ≡ min[r , (1 + 1 − 2α)/(βα)]

y
k η
||x k − x ∗ || ≤ (2α)2 .
α

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Método de Newton para Minimización

Consideremos el problema

min{f (x) : x ∈ Rn }

El método de Newton genera una sucesión de puntos {x k } tal

que
x 0 ∈ Rn
x k +1 = x k − (∇2 f (x k ))−1 ∇f (x k )

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Implementación

Algoritmo de Newton con busqueda lineal

Dado x 0 ∈ Rn ,
Para k = 0, 1, ...,
Si ∇f (x k ) = 0, entonces parar.
Caso contrario, hacer

x k +1 = x k − λk (∇2 f (x k ))−1 ∇f (x k ),

donde λk es escogido por la regla de Armijo

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Maximo Descenso

Regla de Armijo
Dados los escalares s, β, σ con 0 < β < 1 y 0 < σ < 1, definir

λk = sβ mk ,

donde mk es el menor entero no negativo tal que

f (x k ) − f (x k + sβ m d k ) ≥ −σβ m s∇f (x k )T d k .

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplos N1
Considere el problema

min{3x12 + x24 : (x1 , x2 ) ∈ R2 }

Consideraremos
x 0 = (1, −2)
1
β= , s = 1, σ = 0.1
2

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Ejemplo N2
Considere el problema

min{x12 + x22 + x32 + x42 + x52 : (x1 , x2 ) ∈ R2 }

Consideraremos
x 0 = (1, −2, 3, −4, 5)
β = 0.5, s = 1, σ = 0.1

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Aplicaciones
Métodos de Puntos Interiores

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Optimizacion Lineal
minc T x



s.a

(p)

 Ax =b
x ≥0


L(x, λ, s) = c T x − λT (Ax − b) − sT x

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Optimizacion Lineal
KKT:  t

 A λ+s =c
 Ax = b


xi si = 0
 xi ≥ 0



si ≥ 0


minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Palabras claves
Método de Newton

Optimizacion Lineal
Encontrar: (x̄, λ̄, s̄) tal que

F (x̄, λ̄, s̄) = 0

(x̄, s̄) ≥ 0

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos

Referencias

1 BURDER, R. L. and FAIRES, J. D., ”Análisis Numérico”.

Editorial Iberoamericana. México 1995.
2 IZMAILOV A. and SOLODOV M., Otimização Volume 2,
IMPA, Rio de Janeiro, Brazil, 2007.
3 MARTINEZ J.M. and SANTOS S. A., Métodos
Computacionais de Otimizacao, 20o Coloquio Brasileiro de
Matemática, IMPA, 1995.

minerva

Erik Papa Quiroz erikpapa@gmail.com Métodos Iterativos