METODOS

NUMERICOS EN
OPTIMIZACION


AO DE LA PROMOCION DE LA INDUSTRIA
RESPONSABLE Y DEL COMPROMISO CLIMATICO





AO DE LA PROMOCION DE LA INDUSTRIA RESPONSABLE Y
DEL COMPROMISO CLIMATICO

FACULTAD DE INGENIERIA INDUSTRIAL

PROFESOR:
ING. NELSON CASTILLO BURGOS.

CURSO:
METODOS NUMERICOS

INTEGRANTES:
CASTRO ARTEAGA WENDY
HIDALGO DELGADO ALICE
PEA CORDOVA ALEXIS
RUESTA RIVERA JOSELIANA

TEMA:
METODOS NUMERICOS EN OPTIMIZACION

PIURA PER
2014




Mtodos Numricos en Optimizacin y Resolucin de
Ecuaciones

1. INTRODUCCIN
El presente trabajo tiene por objetivo brindar una exposicin clara y exhaustiva de
los principales Mtodos Numricos en materia de resolucin de Ecuaciones y
Optimizacin.
La optimizacin o programacin matemtica intenta dar respuesta a un tipo
general de problemas donde se desea elegir el mejor entre un conjunto de
elementos.
La localizacin de races y la optimizacin estn relacionadas, en el sentido
de que ambas involucran valores iniciales y bsqueda de un punto sobre una
funcin.
La diferencia fundamental entre ambos tipos de problemas se ilustra en la figura.

La localizacin de races es la bsqueda de los ceros de una funcin o funciones. En
cambio, la optimizacin es la bsqueda ya sea del mnimo o del mximo.
El ptimo es el punto donde la curva es plana. En trminos matemticos, esto
corresponde al valor de x donde la derivada '(x) es igual a cero.
Adems, la segunda derivada, (x), indica si el ptimo es un mnimo o un mximo:
Si (x) < 0, el punto es un mximo; si (x) > 0, el punto es un mnimo.
Si comprendemos ahora la relacin entre las races y el ptimo, es posible sugerir
una estrategia para determinar este ltimo; es decir, se puede derivar a la funcin
y localizar la raz (el cero) de la nueva funcin.


De hecho, algunos mtodos de optimizacin tratan de encontrar un ptimo
resolviendo el problema de encontrar la raz: '(x)= 0.
Deber observarse que tales bsquedas con frecuencia se complican porque '(x)
no se puede obtener analticamente.
Por lo tanto, es necesario usar aproximaciones por diferencia finita para estimar la
derivada.
Ms all de ver la optimizacin como un problema de races, deber observarse que
la tarea de localizar el ptimo est reforzada por una estructura matemtica
extra que no es parte del encontrar una raz simple. Esto tiende a hacer de la
optimizacin una tarea ms fcil de realizar, en particular con casos
multidimensionales.

2. MARCO TEORICO

Mtodos numricos: Una definicin de anlisis numrico podra ser el
estudio de los errores en los clculos; error aqu no quiere decir un
disparate, equivocacin u omisin, sino ms bien una discrepancia entre el
valor exacto y el calculado, que es consecuencia de la manera con que se
manejan los nmeros o frmulas.
Otra definicin de anlisis numrico podra ser el diseo, uso y anlisis de
algoritmos, los cuales son conjuntos de instrucciones cuyo fin es calcular o
aproximar alguna cantidad o funcin.
Los mtodos numricos son tcnicas mediante las cuales es posible formular
problemas matemticos de tal forma que puedan resolverse usando
operaciones aritmticas. Dichos mtodos numricos son herramientas muy
poderosas para a solucin de problemas. Pueden manejar sistemas de
ecuaciones grandes, no linealidades y geometras complicadas, comunes en la
ingeniera. Al mismo tiempo se aprende a conocer y controlar los errores de
aproximacin que son inseparables de los clculos numricos a gran escala.
Los mtodos numricos son un medio para reforzar la comprensin de
las matemticas, porque profundizan en los temas que de otro modo
resultaran obscuros, esto aumenta su capacidad de comprensin y
entendimiento en la materia.

OPTIMIZACIN: La localizacin de races involucra la bsqueda de races
de una funcin o funciones. En contraste, la optimizacin involucra la
bsqueda del mnimo o del mximo. Lo ptimo es el punto donde la curva es
plana. En trminos matemticos, esto corresponde al valor de x donde la
derivada f(x) es igual a cero. Adems, la segunda derivada, f (x), indica
si el ptimo es un mnimo o un mximo.



La optimizacin o programacin matemtica intenta dar respuesta a un tipo
general de problemas donde se desea elegir el mejor valor entre un
conjunto de elementos. En el caso ms simple, un problema de
optimizacin consiste en maximizar o minimizar una funcin real eligiendo
sistemticamente valores de entrada (tomados de un conjunto permitido) y
computando el valor de la funcin. La generalizacin de la teora de la
optimizacin y tcnicas para otras formulaciones comprende un rea grande de
las matemticas aplicadas. De forma general, la optimizacin incluye el
descubrimiento de los "mejores valores" de alguna funcin objetivo dado
un dominio definido, incluyendo una variedad de diferentes tipos de funciones
objetivo y diferentes tipos de dominios.
Algunos ejemplos comunes de la optimizacin en la ingeniera
Diseo de aviones para un mnimo peso y mxima resistencia.
Trayectorias ptimas de vehculos espaciales.
Diseo de estructuras en la ingeniera civil a un mnimo costo
Diseo de proyectos de abastecimiento de agua, como en presas, para
mitigar el dao por inundacin mientras se obtiene la mxima potencia
de generacin.
Predecir el comportamiento estructural al minimizar la energa
potencial.
Estrategia de corte de materiales para un costo mnimo.
Diseo de bombas y equipos de transferencia
Redes de tubera ptimas.
Maximizar la potencia de salida de redes elctricas y maquinaria
mientras se minimiza el calor generado.
Ruta ms corta de un vendedor que visita varias ciudades durante un
viaje de ventas.
Planeacin ptima y calendarizada.
Anlisis estadstico y moderado con un mnimo error.
Control de inventario
Planeacin del mantenimiento para minimizar costos.
Minimizar tiempos de espera y ociosos.
Disear sistemas de tratamiento de aguas para cumplir con
estndares de calidad del agua a bajo costo.








3. ANTECEDENTES MATEMTICOS
Existen bastantes conceptos matemticos que son la base de la
optimizacin.
Por ejemplo, se analizarn los importantes conceptos del gradiente y la
Hessiana, que trata sobre optimizacin sin restricciones multivariada.
Mientras tanto, ahora nos limitaremos al tema ms general de cmo se
clasifican los problemas de optimizacin.
Un problema de programacin matemtica u optimizacin generalmente se
puede establecer como:
Determine x, que minimiza o maximiza f(x)
Sujeto a:

i = 1, 2,..., m
i = 1, 2,..., p
Donde x es un vector de diseo n-dimensional; f(x) es la funcin objetivo;

son las restricciones de desigualdad;

son las restricciones de igualdad, y

son constantes.
Los problemas de optimizacin se clasifican considerando la forma de f(x):
Si f(x) y las restricciones son lineales, tenemos un problema de
programacin lineal.
Si f(x) es cuadrtica y las restricciones son lineales, tenemos un
problema de programacin cuadrtica.
Si f(x) no es lineal ni cuadrtica y/o las restricciones no son lineales,
tenemos un problema de programacin no lineal.
Se dice tambin que, cuando las ecuaciones se incluyen, se tiene un
problema de optimizacin restringido; de otra forma, se trata de un
problema de optimizacin no restringido.








4. OPTIMIZACIN DE FUNCIONES SIN RESTRICCIONES

4. 1.- BSQUEDA UNIDIRECCIONAL. CONCEPTOS GENERALES.

Una buena tcnica de optimizacin de funciones de una nica variable es
fundamental por al menos tres razones:
1.- En muchos problemas las restricciones se pueden incluir dentro de la
funcin objetivo, por lo que la dimensionalidad del problema se reduce a
una variable.
2.- Algunos problemas sin restricciones, inherentemente incluyen una
nica variable.
3.- Las tcnicas de optimizacin con y sin restricciones, generalmente
incluyen pasos de bsqueda unidireccional en sus algoritmos.
Muchos mtodos de optimizacin de problemas con restricciones (univariables y
multivariables) involucran la resolucin de un problema de optimizacin en una
dimensin.
Los mtodos analticos imponen demasiadas restricciones a las funciones objetivos.
Adems, no siempre es posible resolver el sistema de ecuaciones analticamente.
Por este motivo se desarrollaron los mtodos numricos.
Existen dos tipos de mtodos numricos, a saber:
Mtodos directos: slo utilizan los valores de las funcin objetivo.
Mtodos indirectos: utilizan las condiciones necesarias, las derivadas
(analticas o numricas) y la funcin objetivo.
Los mtodos indirectos requieren el clculo de las derivadas primeras y segundas.
Sin embargo, muchas veces obtener las derivadas es una tarea difcil, y hasta es
posible que ni siquiera se conozca la forma analtica de la funcin objetivo. Esto
plantea la necesidad de contar con mtodos capaces de trabajar nicamente con
los valores (experimentos) de la funcin objetivo. Estos son los mtodos de
bsqueda directa.
La obtencin de un valor de la funcin objetivo significar en algunos casos evaluar
un modelo matemtico, mientras que en otros significar realizar un experimento.
Sea como sea, siempre ser conveniente llegar al ptimo realizando la menor
cantidad de evaluaciones. Esa es la misin de los mtodos de bsqueda directa, a
partir de los resultados de las evaluaciones realizadas, sugerirn el siguiente
experimento de forma tal de aumentar la velocidad de convergencia.


Los mtodos indirectos tienen una ventaja inherente: la convergencia es
normalmente rpida, pero no son buenos para funciones no lineales multivariables,
estos mtodos dan como resultado un punto que puede encontrarse muy cercano al
valor ptimo buscado. Los mtodos directos tienen la ventaja de que pueden ms
fcilmente tratar problemas que involucran funciones con discontinuidades, puntos
de inflexin y puntos finales, pero necesitan la definicin de un criterio de
precisin, estos mtodos dan como solucin al problema de optimizacin un
intervalo donde puede encontrarse el valor ptimo.


4.2 MTODOS NUMRICOS PARA OPTIMIZACIN DE FUNCIONES DE
UNA VARIABLE

Es de suponer que si adems de unimodalidad y continuidad en las funciones que
queremos optimizar, se requiere tambin la derivabilidad de las mismas, podremos
incrementar la eficiencia de los algoritmos de bsqueda.
Nos referiremos en esta seccin a mtodos de bsqueda de ptimos en funciones
derivables. Recordemos en primer lugar que la condicin necesaria para que un
punto x* sea ptimo local de una funcin derivable es que se anule su derivada en
ese punto, f(x*) = 0. Cuando f(x) es una funcin de tercer grado o superior, la
solucin analtica de la ecuacin f(x) = 0 se complica. Por tanto, requerimos un
mtodo de bsqueda que se aproxime sucesivamente al punto estacionario de f(x).
Han sido desarrollados, bsicamente tres mtodos para llevar a cabo la bsqueda
directa unidireccional, basados en las condiciones de optimalidad. Estos son:



Mtodo de la seccin dorada
Aproximacin polinmica (Interpolacin cuadrtica y cubica)
Unimodal Multimodal


Mtodo de Newton
Aproximaciones finitas al mtodo de Newton (Mtodos cuasi-Newton)
Mtodos de secante.

a) Optimizacin unidimensional. Esta gura tambin ilustra cmo la minimizacin
de f(x) es equivalente a la maximizacin de f(x). b) Optimizacin bidimensional.
Esta figura puede tomarse para representar ya sea una maximizacin (los
contornos aumentan de elevacin hasta un mximo como en una montaa), o una
minimizacin (los contornos disminuyen de elevacin hasta un mnimo como un valle).




Otra forma de clasificar los problemas de optimizacin es segn su
dimensionalidad.
En general se dividen en unidimensionales y multidimensionales. Como su nombre lo
indica, los primeros involucran funciones que dependen de una sola variable
independiente.
La bsqueda consiste, entonces, en ascender o descender picos y valles
unidimensionales.
Los problemas multidimensionales implican funciones que dependen de dos o ms
variables independientes.
En el mismo sentido, la optimizacin bidimensional, de nuevo, se visualiza como una
bsqueda de picos y valles.
Finalmente, el proceso de encontrar un mximo o de encontrar un mnimo es, en
esencia, idntico, ya que un mismo valor, por ejemplo x*, minimiza f(x) y maximiza
(x). Esta equivalencia se ilustra en forma grfica, para una funcin unidimensional,
en la figura a.


4.2.1 OPTIMIZACIN UNIDIMENSIONAL NO RESTRINGIDA
Se pretende describir tcnicas para encontrar el mnimo o el mximo de una
funcin de una sola variable, f(x).
En casi todos los ejemplos, estaremos interesados en encontrar el valor mximo o
mnimo absoluto de una funcin. As, debemos cuidar de no confundir un ptimo
local con un ptimo global.
Distinguir un extremo global de un extremo local puede ser generalmente un
problema difcil.
Existen tres formas comunes de resolver este problema.
Primero, una idea del comportamiento de las funciones unidimensionales algunas
veces llega a obtenerse en forma grfica.
Segundo, determinar el valor ptimo con base en valores iniciales, los cuales varan
ampliamente y son generados quiz en forma aleatoria, para despus seleccionar el
mayor de stos como el global.
Por ltimo, cambiar el punto de inicio asociado con un ptimo local y observar si la
rutina empleada da un mejor punto, o siempre regresa al mismo punto.
Aunque estos mtodos tienen su utilidad, el hecho es que en algunos problemas
(usualmente los ms grandes) no existe una forma prctica de asegurarse de que
se ha localizado un valor ptimo global.
Una funcin que se aproxima asintticamente a cero en ms y menos 8 y que tiene
dos puntos mximos y dos puntos mnimos en la vecindad del origen. Los dos puntos
a la derecha son los ptimos locales; mientras que los dos de la izquierda son
globales.





Como en la localizacin de races, los problemas de optimizacin unidimensionales
se pueden dividir en mtodos cerrados y mtodos abiertos. La bsqueda por
seccin dorada es un ejemplo de un mtodo cerrado que depende de los valores


iniciales que encierran un solo valor ptimo. ste es seguido por un procedimiento
cerrado algo ms sofisticado (la interpolacin cuadrtica).
El mtodo final es un mtodo abierto que est basado en la idea del clculo para
encontrar el mnimo o mximo al resolver '(x) = 0. Esto reduce el problema de
optimizacin al encontrar la raz de '(x) mediante las tcnicas que se describen en
la parte dos. Se mostrar una versin del mtodo de Newton.

4.2.2 BSQUEDA DE LA SECCIN DORADA

En la bsqueda de la raz de una ecuacin no lineal, el objetivo era encontrar el
valor de x que diera cero al sustituir en la funcin f(x). La optimizacin en una sola
variable tiene como objetivo encontrar el valor de x que da un extremo, ya sea un
mximo o un mnimo de f(x).
La bsqueda de la seccin dorada es una tcnica, de bsqueda para una sola
variable, sencilla y de propsito general.
Es igual en esencia al mtodo de la biseccin para localizar races, la biseccin
depende de la definicin de un intervalo, especificado por los valores iniciales
inferior

y superior

, que encierran una sola raz. La raz se estima entonces

como el punto medio de este intervalo.

La clave para hacer eficiente este procedimiento es la adecuada eleccin de los
puntos intermedios.
Como en la biseccin, la meta es minimizar las evaluaciones de la funcin
reemplazando los valores anteriores con los nuevos. Esta meta se puede alcanzar
especificando que las siguientes dos condiciones se satisfagan:



El paso inicial en el algoritmo de bsqueda de la seccin dorada consiste en elegir
dos puntos interiores de acuerdo con la razn dorada.

La primera condicin especfica que la suma de las dos sub-longitudes

, debe
ser igual a la longitud original del intervalo. La segunda indica que el cociente o
razn entre las longitudes debe ser igual.

Si se toma el reciproco y R=

se llega a

de la cual se obtiene la raz positiva

Este valor se llama razn dorada o razn urea

Como permite encontrar el valor ptimo en forma eficiente, es el elemento clave
del mtodo de la seccin dorada.
Como se mencion antes, el mtodo comienza con dos valores iniciales,

que
contienen un extremo local de f(x). Despus, se eligen dos puntos interiores

de acuerdo con la razn dorada.

a) El paso inicial del algoritmo de bsqueda de la seccin dorada involucra escoger
dos puntos interiores de acuerdo con la razn dorada. b) El segundo paso implica
definir un nuevo intervalo que incluya el valor ptimo.

Ahora, sta es la ventaja real del uso de la razn dorada. Debido a que los

originales se han escogido mediante la razn dorada, no se tienen que recalcular
todos los valores de la funcin en la siguiente iteracin.
Para completar el algoritmo, ahora slo se necesita determinar el nuevo

. Esto se
realiza usando la misma proporcionalidad que antes,

Observe que el mximo est resaltado en cada iteracin. Despus de ocho
iteraciones, el mximo se encuentra en x = 1.4427 con un valor de la funcin
1.7755.
As, el resultado converge al valor verdadero, 1.7757, en x= 1.4276.


4.2.3 BSQUEDA UNIDIRECCIONAL: MTODOS DE APROXIMACIN
POLINMICA.

Otra clase de mtodos de minimizacin unidimensional, localizan un punto x
cercano al ptimo mediante interpolacin y extrapolacin utilizando
polinomios como modelos de la funcin.
La idea bsica de los mtodos de aproximacin polinomial es que si la funcin
es suficientemente suave, entonces puede ser aproximada mediante un
polinomio, y dicho polinomio puede entonces usarse para predecir la
ubicacin del ptimo. Para que esta estrategia sea efectiva, es necesario
que la funcin a optimizar sea tanto unimodal como continua.



4.2.3.1 INTERPOLACIN CUADRTICA
La interpolacin cuadrtica aprovecha la ventaja de que un polinomio de segundo
grado con frecuencia proporciona una buena aproximacin a la forma de f(x) en las
cercanas de un valor ptimo.



As como existe slo una lnea recta que pasa por dos puntos, hay nicamente una
ecuacin cuadrtica o parbola que pasa por tres puntos. De esta forma, si se tiene
tres puntos que contienen un punto ptimo, se ajusta una parbola a los puntos.
Despus se puede derivar e igualar el resultado a cero, y as obtener una
estimacin de la x ptima.
Es posible demostrar mediante algunas operaciones algebraicas que el resultado es


Donde

son los valores iniciales, y

es el valor de x que corresponde al

valor mximo del ajuste cuadrtico para los valores iniciales.





As, con cinco iteraciones, el resultado converge rpidamente al valor verdadero:
1.7757
en x = 1.4276.




4.2.3.2 INTERPOLACIN CBICA.

Este mtodo est basado en la aproximacin polinomial mediante un
polinomio de tercer grado de la funcin que se quiere minimizar. El esquema
es similar al mtodo cuadrtico.
Se necesitan cuatro puntos iniciales, o cuatro valores de f(x), o valores de
f(x) y sus derivadas cada dos puntos.
Este mtodo es de convergencia rpida, pero puede presentar errores en
funciones no unimodales. Dados xk-1 y

junto a

es
posible ajustar una ecuacin cbica en los puntos. El punto

(mnimo)
puede ser determinado como el punto mnimo relativo de esta ecuacin
cbica.



EJEMPLO:
Minimizar la siguiente funcin utilizando los mtodos de aproximacin
polinomial analizados:

1. Resolucin utilizando el mtodo interpolacin cuadrtica

Los puntos iniciales utilizados fueron

, el mtodo converge
en cuatro iteraciones, el valor ptimo obtenido es x*= 1.60.


Interpolacin cuadrtica
Iteracin x
0
x
1
x
2
x* f(x
0
) f(x
1
) f(x
2
) f(x*)
0 1 2,5 5 1,66 18 18,9 53,2 15,15
1 1 1,66 2,5 1,70 18 15,149 18,9 15,190
3 1 1,66 1,7 1,61 18 15,149 15,2 15,122
4 1 1,61 1,7 1,60 18 15,122 15,1 15,120





2. Resolucin utilizando el mtodo interpolacin cbica.

Para ste mtodo se necesitan dos puntos iniciales, y los respectivos valores de la
derivada de
la funcin, dichos valores iniciales fueron

. El mtodo converge en la
tercera
iteracin, el valor ptimo es x*=1.59.






Interpolacin cbica

Iteracin x
k
u
1
u
2
f(x
k
) f(x
k
)

1

-12 18

2 -2.00 7.21 4.000 16
1 1.57 -2.33 2.55 -0.264 15.122
2 3.98 -10.94 11.1 14.926 35.753
3 1.59 -
10.90
10.8 0.082 15.119
4 9.21 -
24.83
24.8 36.663 171.49


4.2.4 MTODO DE NEWTON

El mtodo de Newton es un mtodo abierto que permite encontrar la raz x de una
funcin de tal manera que f(x) = 0. El mtodo requiere que la funcin sea dos
veces derivable. Se expresa como:

como una tcnica para encontrar el mnimo o mximo de f(x). Se deber
observar que esta ecuacin tambin se obtiene escribiendo una serie de
Taylor de segundo orden para f(x) e igualando la derivada de la serie a cero.
El mtodo de Newton es abierto y similar al de Newton-Raphson, pues no
requiere de valores iniciales que contengan al ptimo.
Adems, tambin tiene la desventaja de que llega a ser divergente. Por
ltimo, usualmente es una buena idea verificar que la segunda derivada


tenga el signo correcto para confirmar que la tcnica converge al resultado
deseado.


Asegurando que para cada pas k, (

para la bsqueda de un
mnimo.
Realmente lo que hace el mtodo de Newton es aproximar la funcin por una
funcin cuadrtica en

.
(

)(

Este mtodo utiliza la condicin de que

, diferenciando la ecuacin
anterior

)(

)
Que se puede reordenar para dar la primera ecuacin. El mtodo de Newton
es equivalente a usar un modelo cuadrtico y aplicar las condiciones
necesarias de optimalidad.
Las ventajas del mtodo de Newton son:

1.- El procedimiento es cuadrticamente convergente (p=2), siempre que f
''(x) 0
2.- Para una funcin cuadrtica el mnimo se obtiene en una nica iteracin.

Las desventajas son:

1.- Se debe calcular tanto f(x) como f(x).
2.- Si f(x)0 el mtodo converge muy lentamente.
3.- Si existe ms de un extremo, el mtodo podra no converger al extremo
deseado.
Adems el mtodo podra oscilar.

Aunque el mtodo de Newton funciona bien en algunos casos, no es prctico en
otros donde las derivadas no se pueden calcular fcilmente. En tales casos, hay
otros procedimientos que no implican la evaluacin de la derivada. Por ejemplo,
usando una versin semejante al mtodo de la secante, se pueden desarrollar
aproximaciones en diferencias finitas para las evaluaciones de la derivada.
Una desventaja importante de este mtodo es que llega a divergir segn sea la
naturaleza de la funcin y la calidad del valor inicial.
As, usualmente se emplea slo cuando se est cerca del valor ptimo.

Desafortunadamente el mtodo depende de la eleccin del punto de partida y de la
naturaleza de la funcin. Es bastante posible que este mtodo no converja hacia el
verdadero punto estacionario. La figura siguiente ilustra esta dificultad. Si
comenzamos en un punto a la derecha de

, las aproximaciones sucesivas se

alejarn del punto estacionario x*.

4.2.5 MTODO DE QUASI-NEWTON
Este mtodo es una solucin a las limitaciones del mtodo de Newton. En el
caso en que la funcin objetivo no sea conocida o no puedan evaluarse las
derivadas, estas pueden reemplazarse por aproximaciones de diferencias
finitas:







La desventaja adicional de este mtodo consiste en la necesidad de evaluar
funciones adicionales en cada iteracin, tambin es necesario conocer el
valor de h (paso de la diferencia finita).

4.2.6 MTODOS DE SECANTE

El mtodo de la secante combina el mtodo de Newton con un esquema de
reduccin de intervalo para encontrar, si existe, la raz de la ecuacin
f(x)=0, en el intervalo (a,b).
En este mtodo la condicin necesaria se resuelve mediante la siguiente
expresin:



Donde m es la pendiente de la recta que une los puntos

, dado por:

Este metodo aproxima la derivada de la funcion a una linea recta, m aproxima la
segunda derivada de funcion.










Donde x* es la aproximacin a x* en la
iteracin n k.
Este mtodo comienza utilizando dos
puntos

, la eleccin de estos puntos

debe hacerse de tal manera que los
valores de las derivadas sean de signos
opuestos. Este mtodo es de convergencia
ms lenta que el mtodo de Newton.

EJEMPLO:




Minimizar la siguiente funcin utilizando los mtodos indirectos vistos
anteriormente:

1. Resolucin utilizando el mtodo de Newton

El punto de partida es

=1, el mtodo converge en 3 iteraciones

Mtodo de Newton

Iteracin x
k
f(x
k
) f(x
k
) f(x
k
)
0 1 -12 36 18
1 1,333 -
3,667
17,500 15,556
2 1,543 -
0,550
12,713 15,131
3 1,586 -0,015 12,019 15,119
4 1,587 0,000 12,000 15,119


2. Resolucin utilizando el mtodo de Quasi-Newton

El paso utilizado fue h=0.01, el mtodo converge en 3 iteraciones.

Mtodo de Quasi-Newton
Iteracin x
k
f(x+h) f(x-h) f(x
k
)
0 1 17,8818 18,1218 18
1 1,333 15,5197 15,593 15,5555
2 1,543 15,1263 15,1373 15,1312
3 1,586 15,1195 15,1198 15,1191
4 1,587 15,1197 15,1197 15,1191


3. Resolucin utilizando el mtodo de la Secante


Mtodo de la Secante

Iteracin x
p
x
q
x* f(x
q
) f(x
p
) f(x*)
0 1 5 2,531 19,36 -12 19,131
1 1 2,531 1,936 7,62401 -12 15,761
2 1 1,936 1,72579 3,47485 -12 15,228
3 1 1,726 1,64367 1,5311 -12 15,138


4 1 1,644 1,61048 0,65235 -12 15,122
5 1 1,610 1,5969 0,273 -12 15,120
6 1 1,597 1,59132 0,11332 -12 15,119
7 1 1,591 1,58902 0,04687 -12 15,119


El intervalo utilizado para optimizar la funcin fue (1,5), el valor ptimo se
obtiene luego de 6 iteraciones.


5. OPTIMIZACIN NUMRICA MULTIVARIABLE SIN RESTRICCIONES
La optimizacin numrica de funciones no lineales requiere la utilizacin de
tcnicas de optimizacin, eficientes y robustas. La eficiencia es importante porque
la solucin de estos problemas se lleva a cabo por un procedimiento iterativo. La
robustez (habilidad para encontrar la solucin) es una propiedad deseable dado que
el comportamiento de las funciones no lineales puede ser impredecible: pueden
presentar mximos, mnimos y puntos de silla. En algunas regiones el avance hacia
el ptimo puede ser muy lento, necesitando mucho tiempo de clculo etc.
Afortunadamente se posee mucha experiencia utilizando mtodos de optimizacin
numrica lo que permite contar con buenos algoritmos y conocer sus limitaciones y
posibilidades.
En esta parte hablaremos de la solucin del problema sin restricciones:
Encontrar x*
=
[x
1
,x
2
,.......x
n
]
T
que minimice f (x
1
, x
2
,....x
n
) f (x)
La mayor parte de los procedimientos iterativos que son efectivos, alternan la
optimizacin en dos fases:

(a) Eleccin de una direccin s
k

(b) Movimiento en la direccin s, (en alguna extensin, o hasta encontrar
un mnimo) para encontrar un nuevo punto x
k+1
=x
k
+x donde x
k
se
suele llamar el tamao del paso.

Adems de (a) y (b) un algoritmo debe especificar:
(c) Un vector de valores iniciales x
0
=
[x
1
0
,x
2
0
,....x
n
0
]
T

(d) Un criterio de convergencia para la terminacin del algoritmo.

La mayor parte de los algoritmos de clculo siguen una metodologa similar. Se
determina un punto inicial, se evala la funcin en ese punto y se elige una
direccin de bsqueda. Se comienza entonces un movimiento en la direccin de
bsqueda, hasta encontrar un ptimo en esa direccin, o bien hasta que se


produzca una mejora determinada. A continuacin se selecciona una nueva
direccin y as sucesivamente.

Los mtodos NLP sin restricciones que discutiremos en este captulo difieren en
como se generan las direcciones de bsqueda. Algunos mtodos utilizan
informacin de las derivadas, mientras que otros se basan solamente en
evaluaciones de la funcin objetivo. Comenzaremos con algunos mtodos que no
usan derivadas y despus presentaremos los mtodos que usan informacin de
las derivadas.
5.1 MTODOS DIRECTOS
Los mtodos directos no hacen uso de la informacin proporcionada por las
derivadas. Bajo estas circunstancias, estos mtodos se pueden usar con bastante
efectividad, pero son muy ineficientes comparados con los mtodos discutidos en
las siguientes secciones. Tienen la ventaja de que estos mtodos son muy simples
de entender y muy fciles de ejecutar.



5.1.1 MTODOS DE BSQUEDA ALEATORIA

Un mtodo aleatorio simplemente selecciona un vector inicial x
0
, evala la
funcin objetivo en ese punto y entonces aleatoriamente selecciona otro vector
x
1
. Tanto la direccin de bsqueda como la longitud de bsqueda son elegidas
simultneamente. Despus de una o ms etapas, el valor de f(x
k
) se compara con
el mejor valor previo de f(x) y se toma la decisin de continuar o terminar el
procedimiento. Existen diversas variaciones de este algoritmo, aunque
estrictamente hablando slo se alcanza la solucin cuando k , pero desde un
punto de vista prctico, si el objetivo tiene una forma muy plana se pueden
encontrar soluciones subptimas bastante aceptables. Aunque el mtodo es
bastante ineficiente por s mismo, puede dar valores aceptables de partida para
otros mtodos.
5.1.2.- MTODOS DE BSQUEDA EN REJILLA

Los mtodos bsicos de diseo de experimentos discutidos en muchos textos de
estadstica, se pueden aplicar tambin a minimizacin de funciones. Se pueden
seleccionar una serie de puntos alrededor de un punto base de referencia, de
acuerdo a algunos de los diseos del tipo que se muestra en la siguiente figura.
Despus se pasa al punto que ms mejora la funcin objetivo y se contina la
bsqueda. Sin embargo el sistema es muy ineficaz, por ejemplo con n=10 y una


bsqueda factorial a tres niveles deberamos realizar 3
10
-1=59048 evaluaciones
de la funcin objetivo, lo cual es obviamente prohibitivo.


5.1.3 BSQUEDA UNIVARIANTE
Otro mtodo muy sencillo de optimizacin consiste en seleccionar n direcciones
fijas de bsqueda, para n variables, (habitualmente los ejes coordenados) de tal
manera que f(x) se minimiza de forma secuencial usando bsquedas
unidimensionales en cada una de las direcciones previamente seleccionadas. El
mtodo suele ser bastante ineficaz incluso llegando a puntos muy alejados del
ptimo de los cuales no puede salir.
5.2 MTODOS INDIRECTOS

MTODOS DE PRIMER ORDEN.

Los mtodos indirectos, en contraste con los mtodos descritos en las secciones
previas hacen uso de las derivadas en la determinacin de la direccin de bsqueda.
Sin embargo, nuestra clasificacin en mtodos directos e indirectos, podra no
estar clara del todo debido a la aproximacin de las derivadas por diferencias
finitas, lo que estrictamente hablando hace a estos mtodos libres de derivadas.
Una buena direccin de bsqueda debera reducir (para minimizacin) la funcin
objetivo, de tal manera que si x
0
es el punto inicial y x
1
es un nuevo punto:
f(x
1
) <f (x
0
)
Una direccin s es llamada de descenso si satisface la siguiente relacin en un
punto dado:

T
f (x) s<0

5.2.1 MTODO DEL GRADIENTE (MXIMO DESCENSO)
Se recordar que el gradiente es un vector en un punto x que proporciona la
direccin (local) de mxima variacin de la funcin. El vector gradiente es un
vector ortogonal al contorno de la funcin en el punto. Por lo tanto en la bsqueda
de un mnimo la direccin de movimiento ser contra gradiente:


s
k
=f (x)

En el mtodo de mximo descenso la transicin de un punto x
k
a otro x
k+1
viene
dada por la siguiente expresin:
x
k+1
=x
k
+x
k
=x
k
+
k
s
k
=x
k

k
f (x
k
)
Donde :
x
k
= Vector desde x
k
hasta x
k+1

s
k
= Direccin de bsqueda de mximo descenso

k
= Escalar que determina la longitud de paso en la direccin s
k

El gradiente negativo da la direccin de movimiento, pero no la longitud de dicho
movimiento.

Si en cada paso se realiza una optimizacin total en la direccin contraria al
gradiente los pasos sucesivos del mtodo de mximo descenso son ortogonales
uno con respecto al anterior. Este resultado, que parece peculiar, ocurre para
una determinada f(x) debido a que la derivada de f(x) a lo largo de la lnea s()
viene dado, utilizando la regla de la cadena por:
Mientras que el mtodo del gradiente puede producir progresos muy
satisfactorios en la reduccin de f(x) en la primeras iteraciones tiende a
hacerse muy lento en las ltimas. Alargando excesivamente los clculos.
El algoritmo prctico lo podemos resumir en los siguientes pasos:

1.- Elegir un valor inicial x
0
. En pasos sucesivos ser x
k
.
2.- Calcular, analtica o numricamente las derivadas parciales
3.- Calcular el vector de bsqueda s =f (x
k
)

4.- Usar la relacin x
k+1
=x
k
+
k
s
k
para obtener el siguiente punto. El
valor de
k
puede ser de valor fijo o calculado en cada paso mediante
una bsqueda unidireccional.


5.- Comparar f (x
k+1
) con f (x
k
). Si el cambio es menor que una
tolerancia pre-especificada terminar, en caso contrario volver al paso
dos y continuar con las iteraciones.

Un mtodo estricto de descenso mximo puede terminar en cualquier punto
estacionario, es decir, puede llegar a un mnimo local o a un punto de silla. Para
asegurarnos que tipo de resultado hemos obtenido debemos asegurarnos que la
matriz Hessiana es definida positiva. Por otra parte la dificultad bsica del
mtodo de gradiente es que es muy sensible al escalado de f(x) por lo que la
convergencia puede ser muy lenta y producirse un nmero enorme de
oscilaciones. Desde este punto de vista el mtodo del gradiente no es muy
efectivo.





5.2.2 MTODO DEL GRADIENTE CONJUGADO

El mtodo del gradiente conjugado debido a Fletcher y Reeves (1964) combina
las caractersticas de la convergencia cuadrtica del mtodo de las direcciones
conjugadas con las del mtodo del gradiente. El mtodo supone una importante
mejora del mtodo del gradiente con slo un pequeo incremento en el esfuerzo
de clculo. El mtodo del gradiente conjugado, esencialmente, combina la
informacin obtenida del vector gradiente con la informacin acerca del vector
gradiente de iteraciones previas. Lo que hace el mtodo es calcular la nueva
direccin de bsqueda utilizando una combinacin lineal del gradiente en la etapa
considerada y el de la etapa anterior. La principal ventaja del mtodo es que
necesita almacenar muy poca cantidad de informacin con lo que puede ser
programado fcilmente incluso en calculadoras.

Los pasos de clculo se comentan a continuacin:

1.- En x
0
(punto inicial) calcular f(x
0
) y calcular s
0
=f (x
0
)
2.- Almacenar f (x
0
) y calcular x
1
=x
0
+
0
s
0
minimizando mediante una
bsqueda unidireccional en la direccin s
0
.



3.- Calcular f(x
1
) f(x
1
) la nueva direccin de bsqueda es una
combinacin lineal de s
0
y f(x
1
):

s
1
=f (x
1
) +s
0

para la etapa k-sima la relacin es:

s
k+1
=f

Para una funcin cuadrtica se puede demostrar que dos direcciones
de bsqueda son conjugadas. Despus de n iteraciones conviene
comenzar otra vez desde el principio tomando el ltimo punto k=n
como nuevo punto de partida.
4.- Realizar el test de convergencia, (la funcin objetivo ha disminuido),
y terminar el algoritmo cuando s
k
sea menor que alguna tolerancia
preestablecida.


6. BIBLIOGRAFA
Beveridge G., Schechter (1970) Optimizacion teoria y practica Ed.
McGraw-Hill.
Chapra Steven, Canale Raymond (2006). metodos numericos para
ingenieros, 5
th
edition. Ed. McGraw-Hill.
Prof. Walter Mora F. Introduccin a los mtodos numricos.
Zerpa L., Colmenares J., Optimizacin para ingenieros, optimizacin sin
restricciones.
http://rua.ua.es/dspace/bitstream/10045/19734/3/Optimizacion_Problem
as_sin_restricciones.pdf