Optimizacin Sin Restricciones o

Departamento de Matemticas, CSI/ITESM a 1 de mayo de 2009

Indice
14.1. Introduccin . . . . . . . . . . . . . o 14.2. Optimos de una Funcin . . . . . . o 14.3. Punto Cr tico o Estacionario . . . 14.4. Teorema Clave . . . . . . . . . . . 14.5. Ejemplo 1: Clasicacin de puntos o 14.6. Ejemplo 2 . . . . . . . . . . . . . . 14.7. Algunos comandos en la TI . . . . 14.8. Resultados requeridos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 2 3 6 9 10

14.1.

Introduccin o

En esta seccin se ver un mtodo anal o a e tico para optimizar una funcin real en el caso que no existan o restricciones sobre el dominio de la funcin y cuando la funcin admite segundas derivadas continuas. Esta o o tcnica generaliza la tcnica de optimizacin de funciones en una variable utilizando clculo diferencial: primee e o a ramente se determina cules son los candidatos a optimos, y posteriormente se aplica un criterio basado en la a segunda derivada para determinar si corresponden a un mximo o m a nimo relativo. Primeramente deniremos los puntos cr ticos, que son los unicos puntos candidatos a optimos de la funcin. Seguido de esto, se formula o el principal resultado que caracteriza los puntos mximos y m a nimos locales e ilustraremos el proceso de optimizacin con un par de ejemplos detallados hechos a mano y usando la calculadora TI. En la ultima seccin o o se listan los resultados tericos que son los argumentos necesarios para el teorema que caracter los optimos o za locales.

14.2.

Optimos de una Funcin o

Denamos el ptimo de una funcin. o o Denicin o Sea f una funcin de valor real denida sobre un conjunto D Rn . Sea x0 un punto en D , x0 se dice un o m nimo local de f si existe d > 0 tal que si x D y |xo x| < d entonces f (x) f (x0 ). Por otro lado, se dice mximo local si se cumple f (x) f (x0 ). En general, el concepto optimo local se reere a m a nimos o mximos a locales. El valor del ptimo local x0 es f (x0 ). o

14.3.

Punto Cr tico o Estacionario

La siguiente denicin nos da una condicin necesaria que deben cumplir lo optimos locales: Uno de nuestros o o resultados importantes asegura que los ptimos locales deben ser puntos estacionarios. La denicin se ve como o o parte del proceso anal tico de obtencin de los optimos de una funcin: la primera fase ser determinar los o o a

puntos cr ticos. Denicin o Sea f una funcin de valor real denida sobre un conjunto D Rn . Un punto x0 D se llama punto o estacionario o punto cr tico si todas las parciales de f se hacen cero cuando se evaluan en x0 . Es decir, si f (x0 ) = 0 (1)

14.4.

Teorema Clave

El resultado importante siguiente da las condiciones ncesarias y sucientes para los optimos locales.

Teorema 14.1 Sea f : D Rn R. Suponga que f tiene segundas derivadas parciales continuas en D. Si x0 es un punto estacionario de f entonces f tiene en x0 . . . un m nimo local si Hf (x0 ) es positiva denida. (Todos los valores propios de Hf (x0 ) son positivos) un mximo local si Hf (x0 ) es negativa denida. (Todos los valores propios de Hf (x0 ) son a negativos) un punto silla si Hf (x0 ) tiene valores propios negativos y tambin positivos. e Demostracin o Al aplicar la frmula de Taylor de segundo orden a f (x) en el punto estacionario x = x0 (As se cumple o f (x0 ) = 0) nos da: 1 f (x0 + x) f (x0 ) = Q(x) + x 2 E2 (x0 , x) 2 en donde E2 (x0 , x) 0 cuando x 0. 1 Supongamos que todos los valores propios 1 ,2 ,. . . ,n de Hf (x0 ) son positivos. Sea = 2 m {i }. As todos n los nmeros 1 h,2 h,. . . ,n h son positivos. Se prueba fcilmente que z es vector propio de Hf (x0 ) u a asociado al valor propio i si y slo si z es vector propio de la matriz simtrica [Hf (x0 ) h I] asociado al valor o e [H (x ) h I] x > 0 para todo x = 0. Y por propio h. Por consiguiente y por el resultado anterior, x 0 f consiguiente Q(x) = x Hf (x0 ) x > x (h I) x = h x 2 para todo x = 0. Puesto que E2 (x0 , x) 0 cuando x 0, existe un r positivo tal que |E2 (x0 , x)| < los vectores x que cumplen 0 < x < r. Entonces para tales vectores x tenemos 0 x De esto se tiene que
2 1 4

h para

|E2 (x0 , x)| < x 1 Q(x) x 2

1 h 4

1 h x 4

1 < Q(x) 2

|E2 (x0 , x)| > 0

Por otro lado E2 (x0 , x) |E2 (x0 , x)| implica que x 1 f (x0 + x) f (x0 ) = Q(x) + x 2
2

E2 (x0 , x) x

E2 (x0 , x). De donde obtenemos

2

1 E2 (x0 , x) Q(x) x 2

E2 (x0 , x) > 0

para los vectores x que cumplen 0 < x < r. As concluimos que x0 corresponde a un m nimo local de f (x)

14.5.

Ejemplo 1: Clasicacin de puntos o

f (x, y) = 27 x 1 3 x 2 y2 + y4 9

Para la funcin: o clasique los siguientes puntos: a) P (3, 1) b) Q (9, 1) c) R (9, 1) d) S (9, 0) e) T (9, 0) respecto a las opciones: 1) Punto cr tico: m nimo relativo

2) Punto cr tico sin informacin por el criterio de la Hessiana o 3) No punto cr tico 4) Punto cr tico: mximo relativo a 5) Punto cr tico: punto silla Solucin o La idea es sustituir cada uno de los puntos en el gradiente para determinar si el punto es punto cr tico. Slo o en caso de serlo, debemos sustituir en la Hessiana para ver si es mximo o m a nimo local. En nuestro ejemplo fx = 27 1 x2 3 fy = 4 y + 4 y 3 1 f = < 27 3 x2 , 4 y + 4 y 3 > En la gura 1 se ilustra: limpieza de las variables, la captura de f (x, y) y la obtencin de las parciales. En las o pantallas de la gura 2 se registran la captura de los puntos en la variable p y el clculo de la matriz hessiana. a Anlisis de P (3, 1) a Como f (P ) =< 24, 0 >=< 0, 0 > P (3, 1) no es un punto cr tico y por tanto no puede ser ni mximo ni m a nimo relativo. En la gura 3 se ilustra la sustitucin del punto P (3, 1) y del Q(9, 1) en f . o Anlisis de Q (9, 1) a Como f (Q) =< 0, 0 > 3

Figura 1: Registro de f (x, y), fx y fy

Figura 2: Registro de puntos y Clculo de la hessiana a

Figura 3: Clculo de f (P ) y de f (Q) a

Figura 4: Criterio en Q(9, 1).

Figura 5: Criterio en R(9, 1). por tanto, Q(9, 1) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (Q) = 6 0 0 8

y as los eigenvalores propios de Hf (Q) son -6 y 8. Por tanto, el punto Q(9, 1) es un punto silla. Los clculos a se ilustran en la gura 4. Anlisis de R (9, 1) a Como f (R) =< 0, 0 > por tanto, Q(9, 1) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (R) = 6 0 0 8

y a los eigenvalores propios de Hf (R) son 6 y 8. Por tanto, el punto R(9, 1) es un m s nimo relativo. Los clculos se ilustran en la gura 5. a Anlisis de S (9, 0) a Como f (S) =< 0, 0 > por tanto, S(9, 0) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (S) = 6 0 0 4

y as los eigenvalores propios de Hf (S) son -6 y -4. Por tanto, el punto S(9, 0) es un mximo relativo. Los a clculos se ilustran en la gura 6. a Anlisis de T (9, 0) a Como f (S) =< 0, 0 >

Figura 6: Criterio en S(9, 0).

Figura 7: Criterio en T (9, 0). por tanto, T (9, 0) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (T ) = 6 0 0 8

y as los eigenvalores propios de Hf (T ) son 6 y 8. Por tanto, el punto T (9, 0) es un m nimo relativo. Los clculos se ilustran en la gura 7. a Notas Observe en las pantallas de la TI el uso de la variable i: este truco permite el reuso de las entradas anteriores evitando as el volver a escribir los comandos, para ello basta volver a localizar el comando utilizando el cursor. Observe tambin el comando | utilizado para sustituir valores por variables en una expresin sin necesidad e o de hacer una asignacin. o

14.6.

Ejemplo 2

Veamos ahora un ejemplo donde se ilustra el proceso de optimizacin cuando no existen restricciones. El o proceso consiste de dos fases. En la primera se determnan los puntos estacionarios resolviendo el sistema de ecuaciones f = 0. Los puntos buscados estn dentro de este conjunto. La fase siguiente consiste en aplicar a el criterio para determinar si son mximos o m a nimos locales. Ejemplo Analice la funcin: f : R2 R denida por: o f (x, y) = x3 + y 3 3 x y Solucin o Determinemos primero los puntos cr ticos. Para ello determinemos el gradiente de la funcin: o f (x) =< 3 x2 3 y, 3 y 2 3 x > Los puntos cr ticos satisfacen f (x) =< 0, 0 > , por tanto: 3 x2 3 y = 0 y 3 y 2 3 x = 0 6

De donde: x2 y = 0 y y 2 x = 0 Despejando y de la primera y sustituyendo en la segunda obtenemos: (x2 )2 x = x4 x = x (x3 1) = x (x 1) (x2 + x + 1) = 0 1 1 1 1 + i 3, x4 = i 3 2 2 2 2 Puesto que estamos slo interesados en las ra reales, slo consideraremos a x1 = 0 y x2 = 1. o ces o cr ticos quedan: (como y = x2 ): x1 = 0, x2 = 1, x3 = x = 0 , y = 0: P (0, 0) x = 1 , y = 1: Q(1, 1) El siguiente paso es determinar cules son mximos o m a a nimos relativos y cules puntos silla. Para ello detera minemos la matriz Hessiana de f : 6x 3 Hf (x) = 3 6y Para P (0, 0): Hf (P ) = 0 3 3 0 Valores propios: 3, 3 Las ra ces son

Los puntos

Da signos intercambiados: P (0, 0) es punto silla. Para Q(1, 1): Hf (Q) = 6 3 3 6 Valores propios: 9, 3

Todos positivos: Q(1, 1) es punto m nimo relativo. Para terminar de convencernos de que efectivamente el criterio es vlido tomemos el punto P (0, 0). La a matriz Hessiana tuvo valores propios 1 = 3 y 2 = 3. Tomemos el valor propio 1 . Para este valor propio de Hessiana evaluada en P (0, 0) tiene como vector propio v1 =< 1, 1 >: esta direccin dene en el punto o P (0, 0) a la recta y = x. Si sobre esta recta consideramos a la funcin f (x, y) tenemos: o F (x) = f (x, y = x) = x3 + (x)3 3x(x) = 3 x2 Si analizamos esta funcin efectivamente descubriremos que en x = 0 la funcin tiene un m o o nimo. Resumiendo: en el punto P (0, 0) y en la direccin v1 =< 1, 1 > la funcin f (x, y) tiene un minimo. Por otro lado, para o o el valor propio 2 = 3 la Hessiana evaluada en P (0, 0) tiene como vector propio v2 =< 1, 1 >: esta direccin o dene en el punto P (x, y) la recta y = x. Si sobre esta recta consideramos la funcin f (x, y) tenemos o G(x) = f (x, y = x) = x3 + (x)3 3x (x) = 2 x3 3 x2 Si analizamos esta funcin efectivamente descubriremos que en x = 0 la funcin tiene un mximo en x = 0. o o a Resumiendo: en el punto P (0, 0) y en la direccin v2 =< 1, 1 > la funcin f (x, y) tiene un mximo. De estos o o a dos anlisis concluimos que efectivamente la funcin f (x, y) tiene un punto cr a o tico en P (0, 0). Repitamos los clculos en la TI. En la gura 9 se ilustra: la limpieza de las variables x y y; el registro a de la funcin f ; el clculo de las parciales de f ; y la determinacin de los puntos cr o a o ticos. En la gura 10 se ilustra la salida de la solucin del sistema de ecuaciones que dene los puntos cr o ticos. Por conveniencia, se recomienda utilizar el comando explist para convertir la solucin dada por la calculadora en un formato o 7

Figura 8: Gracas de F (x) y de G(x)

Figura 9: Preparacin para el ejemplo 2. o

Figura 10: Puntos cr ticos de f .

Figura 11: Salida de explist y clculo de Hf . a

Figura 12: Anlisis de Q(1, 1) (p[1]) y de P (0, 0) (p[2]). a ms fcil de manipular. En la gura 11 se ilustra la salida del comando explist el cual es una matriz donde a a las ra estn por renglones y el orden en las columnas est relacionado con el orden del segundo argumento ces a a de explist. Tambin se ilustra parcialmente el registro de la Hessiana de f en la variable h. En las pantallas e de la gura 12 se muestran los resultados de sustituir los puntos en la matriz Hessiana de f y el clculo de a sus eigenvalores. Recuerde que el primer rengln contiene las componentes del punto Q(1, 1), mientras que el o segundo rengln las de P (0, 0). Estos resultados conrman que Q(1, 1) es un m o nimo relativo y que P (0, 0) es un punto silla.

14.7.

Algunos comandos en la TI

En esta lectura usamos ciertos comandos que quiz merecen una explicacin: a o DelVar explist | d DelVar var1, var2, var3, . . . Este comando se usa para limpiar variables y es util cuando se desea construir una expresin matemtica que o a involucra a ciertas variables. Previo a denir la expresin se debe invocar este comando. Ud. puede teclear o directamente la palaba delvar con minsculas y su calculadora reconocer el comando DelVar. Este comando u a puede ser invocado con una o variables variables. En caso de ser varias, stas deben ir separadas por comas: los e espacios no son necesarios. Este comando equivale entrar al var-link y limpiar la o las variables declaradas. explist(exp, {var1, var2, var3, . . .}) Este comando es util para convertir las soluciones a un sistema de ecuaciones que proporciona la calculadora TI en una matriz cuyos renglones son cada una de las ra ces. Se asume que exp es una expresin del tipo o var1 = v11 and var2 = v12 and and varN = v1N or . . . or var1 = vM 1 and var2 = vM 2 and and varN = vM N la cual es precisamente la forma de la salida del comando solve. La invocacin de este comando crea la matriz: o v11 v12 v1N . . . .. . . . . . . . vM 1 v M 2 9 vM N

Hay dos maneras de conseguir el comando explist. Una manera es ingresar desde catalog ( 2nd 2 , en la TI voyage 200) y luego movindose con las echas hasta localizar la funcin (se puede presionar la letra e para e o moverse al principio de las funciones que inician con e y despus continuar con el movimiento del cursor). La e otra consiste en teclear directamente el comando ubicando adecuadamente el caracter en el teclado ( 2nd Y , en la TI voyage 200). Otra cosa importante de notar es que el orden de los valores en la columna va acorde con el orden declarado en el segundo argumento (exp, {var1, var2, var3, . . .}) y no con el orden de aparicin de las variables en la solucin. o o exp | var1 = v1 and var2 = v2 and Esta construccin permite sustituir los valores vi de las variables vari en exp. Esto es muy conveniente pues no o ocurre una asignacin de las variables que puedan contaminar los siguientes clculos. El caracter | se obtiene o a en la TI voyage 200 con la combinacin 2nd K . o d (exp, var) o d (exp, var, n) Este comando se usa para calcular derivadas de exp respecto a la variable var. El tercer argumento opcional n indica el nmero de veces consecutivas que se deriva exp. Note la diferencia entre escribir la letra d y y el u comando d : El comando de derivacin se obtiene en el men de math en el submen calculus, o con las teclas o u u 2nd 8 en la TI voyage 200.

14.8.

Resultados requeridos

La teor detrs de este mtodo de optimizacin se basa en ciertos resultados sobre matrices y otros refea a e o rentes a clculo. El siguiente resultado es uno de los ms importantes del algebra lineal y es conocido como el a a teorema espectral. Una de las cosas soprendentes es que un concepto simple como el de simetr de una matriz a pueda tener repercusiones tan importantes. La demostracin de este resultado viene en el teorema 8.8 del libro o de A. Basilevsky (1983): Applied Matrix Algebra in Statistical Sciences (North-Holland, New York). Los resultados sobre clculo se relacionan con el desarrollo de Taylor (series de potencias) de una funcin en variables. a o Teorema 14.2 Sea A una matriz n n simtrica. Entonces todos los valores propios de A son reales y existe e para Rn una base ortogonal formada por vectores propios de A. Ms an, si x1 , x2 ,. . . ,xn forman a u una base ortogonal de vectores propios asociados a los valores propios 1 ,2 ,. . . ,n respectivamente entonces si P es la matriz cuya columna i es el vector xi y D es la matriz diagonal cuyo elemento (i, i) es i , entonces A = P D P Bajo el supuesto de segundas derivadas parciales continuas de una funcin en varias variables f , el teorema o de Clairaut arma que las derivadas parciales cruzadas son iguales y por tanto la matriz hessiana Hf es simtrica. Y por tanto, evaluada en cualquier punto tendr todos sus valores propios reales. e a El teorema espectral tiene un impacto inmediato sobre funciones llamadas formas cuadrticas: a Teorema 14.3 Sea A = [aij ] una matriz n n simtrica. Si denimos la forma cuadrtica en la variable x =< e a x1 , x2 , . . . , xn >
n n

Q(x) = x Ax =
i=1 j=1

aij xi xj

entonces: 10

Q(x) > 0 para toda x = 0 si y slo si todos los valores propios de A son positivos. o Q(x) < 0 para toda x = 0 si y slo si todos los valores propios de A son negativos. o Demostracin o Por el teorema espectral existen C ortogonal y D diagonal n n tal que A = C D C por consiguiente Q(x) = x A x = x C D C x = (Cx) D (C x) Si denimos y = C x entonces lo anterior queda:
n

Q(x) = y D y =
i=1

i yi 2

Note que al ser C ortogonal, C es invertible y por lo tanto x = 0 si y slo si y = 0. o Si todos los valores propios son positivos, claramente se tiene que Q(x) > 0 para toda x = 0. Si todos los valores propios son negativos, claramente se tiene que Q(x) < 0 para toda x = 0. Por otro lado: Si suponemos que Q(x) > 0 para toda x = 0. Entonces tomamos x = C ei . As y = ei y por tanto
n

Q(x) =
i=1

i ei 2 = i > 0

Si suponemos que Q(x) < 0 para toda x = 0. Entonces tomamos x = C ei . As y = ei y por tanto
n

Q(x) =
i=1

i ei 2 = i < 0

Esto completa la demostracin o

Dado que calcular valores y vectores propios de una matriz es un proceso numrico complejo, el siguiente e resultado cambia el proceso de la determinacin de valores propios por el proceso directo de clculo de detero a minantes. La demostracin de este resultado vienen en la prueba del teorema 2.14.4 del libro de P. Lancaster o (1969): Theory of Matrices (Academic Press, New York).

Teorema 14.4 Sea A una matriz simtrica n n. A tiene todos sus valores propios positivos si y slo si todos los e o determinantes de las matrices principales primeras son positivos, esto es a11 > 0, a11 a12 a21 a22 > 0, . . . , |A| > 0.

11

El teorema clave que da las condiciones sucientes que deben cumplir los optimos locales para ser mximos a relativos, m nimos relativos o puntos sillan se deduce de variantes del teorema de Taylor que da el desarrollo de potencias de una funcin. La prueba de este resultado aparece en la demostracin del teorema 7.5.1 del o o libro de A. Khuri (1993): Advanced Calculus with Applications in Statistics (John Wiley and Sons, New York)

Teorema 14.5 Sea f : D Rn R y sea B(xo ) una vecindad de xo D tal que B(xo ) D. Si todas las parciales de f existen y son continuas hasta orden r en B(xo ), entonces para cualquier punto xo + x B(xo ) se cumple
r1

f (xo + x) = f (xo ) +
i=1

1 r 1 i x f (xo ) + x f (zo ) i! r!

donde zo est en la l a nea que une xo con xo + x. Demostracin de la versin del teorema utilizada en la prueba de la suciencia de las condiciones para o o mximos, m a nimos y puntos silla y que se formula como sigue puede ser encontrada en la prueba del teorema 9.4 del libro de T. Apostol (1980): Calculus, Volumen 2 (Revert, Barcelona). e Teorema 14.6 Sea f (x) una funcin escalar denida en una n-bola B(x0 ) y con derivadas parciales de segundo o orden continuas en B(x0 ). Entonces para todo x0 + x B(x0 ) se tiene 1 f (x0 + x) f (x0 ) = f (x0 ) x + x Hf (x0 ) x + x 2 E2 (x0 , x) 2 donde E2 (x0 , x) 0 cuando x 0. Del teorema anterior se deduce que en un punto cr tico x0 el signo de f (x0 + x) f (x0 ) es el signo de x Hf (x0 ) x.

12