. Montrer que la fonction f : QUELQUES EXERCICES CORRIGES D’OPTIMISATION EXERCICE I (Calcul différentiel) ” 3 08* définie par fey) {i aa y admet des dérivées partielles au point (0,0), mais n'est pas continue en (0,0). Soit E, un R-espace vectoriel muni d’un produit scalaire (-,-). Montrer la continuité, puis la différentiabilité et calculer la différentielle de l'application « produit scalaire » ©: E? + R définie par (x,y) = (x,y) pour tous (x,y) € E. . Soit AE Mym(IR), avec (n,m) € N**, (a) Montrer que I’application J : R" + R définie par J(X) = ||AX||?, od la notation || - || désigne la norme euclidienne ce R", est différentiable et calculer sa différentielle. (b) Soit f € C'(IR). Montrer que I'application G : R" — R définie par G(X) = f(J(4)) est différentiable et calculer sa différentielle. Corrigé de l’exercice Ona pour tout t € R*, f(J,0) — (0,0) = © = fea fo8) = 6, |e qui montre que lim done f admet une dérivée en (00,0) selon le ver teur (1,0), ec que (0,0) = 0. De méme, f(0,f) = t pour tout / € R, done f es. dérivable en (0,0) selon le vecteur (0,1) (0,0) = 1. . application & étant bilinéaire, sa continuité sur £* est équivalente a sa continuité en (0,0). De plus, d’apres I'inegalité we Cauchy-Schwarz, |(x,y)| [xij [yl] pour tous (x,y) © L2, ot Ulsll = vx). Etudions la différentiabilité de ©. Fixons (x, y) € E? et (i,k) € £2. Ona (3 + hy +k) = O(x,y) + (xk) + Oh, y) + OCH), done si L(y k) = @(x,) + (thy), ona NC Bey tk) ~ B(x,5) LCRA) | = [|e>Cl, BI) 1 «(1k = o( N(h,k)), en prenant par exemple N(ii,k) — max{|il, fll}. De plus, Lest linéaire ot continue car (HK) < Ul + Hl iyll < NON K) 0, cn vertu de Iinégalité de Cauchy-Schwarz. On en déduit simultanément que # est differentiable, et que d (gk) = L(ltk) = (ak) + (yeh). . (a) Lapplication X © R" + ||X|P est C® done différentiable sur R", car polynmiale. Vap- plication X ++ AX est linéaire, donc différentiable. Par conséquent, l'application J est dif- férentiable en tant que composée de fonctions qui le sont. De plus, pour tout X © IR", on I(X) = (AX, AX) = ATAX,X), avec AA € S»(R). On en déduit que la diiférenticlle de J en X est Napplication linéaire dx] oe R™ ++ 2A" Ah,(©) Utilisons le théoréme de composition des différenticlles. On obtient axG(h) = dycoyf odxJ() = 2f'(J(X))A' Ab, pour tout h © R™. EXERCICE II (Calcul différentiel) Se si (x, On considére la fonction f : R? > R définie par f(x-y) = { =e a 1M) # (0,0) 0 sinon La fonction f est-elle continue sur R?? de classe C! sur R?? Corrigé de l’exercice La fonction f est C* sur R2\ {(0,0)} en tant que produit, quotient ne s‘annulant pas ete. de fonctions quile sont. Reste a étudier la régularité en (0,0). Ona Pye v(x, RA { (0,0) x, = ll wl |x| 0. (a eR\{O.0}, fens e+e = bl +l agp fest donc continue en (0,0). En revanche, f n‘est pas C! en ce point car elle n‘est méme pas différentiable en (0,0). En effet, soit £ # 0 et (x,y) # (0,0). Ona f(x, ty) ~ F0,0) _ BOR +98) ee t BRP) Gy vom Or, si f était différentiable en (0,0), cette limite coinciserait avec dia) f(xy) et serait en particulier linéaire par rapport a (x,y) ce qui nest pas le cas. EXERCICE III (optimisation sans contrainte) On considare la fonction f définie sur R? par Sy) =a ty’ 20-9). 1. Montrer quill existe (a,b) € IR’, (et les déterminer) tels que Sry) 2 aye VIP +B pour tous (x,y) € IR?, oit la notation || - || désigne la norme euclidienne de R?. En déduire que le probleme fy) (P) (ayer posséde au moins une solution. 2. La fonction f est-elle convexe sur R22 3. Déterminer les points critiques de f, et préciser leur nature (minimum local, maximum local, point-selle, ..). Résoudre alors le probleme (P).Corrigé de I’exercice 1. f est polynémiale done de classe C* (IR?). En utilisant le fait que xy > —4(x? + y?), on écrit fey) >a by! 28 2y8 4 day > xh Pa? 47, pour tout (x,y) € IR. En utilisant le fait que pour tout (X, 2) € R?, X44 et — 2eX? = 0, il vient f(x,y) 2 (2s—4)x? + (Ze —4)y? — 24. Choisissons par exemple ¢ = 3, on en déduit Fy) 22? +7) > + Kauyore ce qui prouve que f est coercive sur R? qui est fermé et de dimension finie. D’aprés le théorémme du cours, le probleme (P) admet au moins une solution. 2. Pour étudier la convexité de f (qui est de classe C? sur I?), calculons sa matrice hessienne en ~ - 408-1 4 tout point (x,y) de IR2, On a Hess f(x,y) 4( 1 3¢-4): Rappelons que f est convexe sur R? si, et seulement si sa matrice hessienne est semi-définic positive en tout point. Or, on verifieaisément que les valeurs propres de Hess f(0,0) sont 0 et 2. Par conséquent, f nest pas convexe. 3. Les points critiques de f sont donnés par les solutions de 7 f(x,y) ~ (0,0), autrement dit, les points critiques sont solutions du systeme = Pa(r-y=0 Qf tP=0 Lf yas Pt(x-y)=0 ¥t(x-y) =0 Bo 2x=0 ‘On en déduit que f admet trois points critiques : O(0,0), A( v2, —V2) et B(—Vv2, v2). {Ff étant de classe C2, on va utiliser la caractérisation des points critiques a Vaide de la hessienne calculée a la question précédente. 204 — Point A: Hess f(A) = ("4 99, (On en déduit que Hess f(A) posstde deux valeurs propres strictement positives done que A est un minimiseur local pour f. — Point B : Hess f(B) ~ Hess f(A), done la méme conclusion que pour le point A s‘impose. — Point 0: Hess f(O) ( a est nul. Il vient que ses valeurs propres sont 0 et —8. On ne peut done rien conclure dans ce cas a aide de la matrice hessienne. En revanche, on peut donner un argument a la main : soit x ¢Rtel que |x| <2.Ona f(x,—x) = 2x4 8x2 = -2x(4~ 4)..Or, |x] <2doned 22> 0 et on en déduit que f(x, —x) < 0. De méme, soit x € R. On a f(x,x) = 2x" > 0, Puisque les inégalites procédentes sont obtenues pour des x arbitrairement petits, on en déduit que le point (0,0) est un point-selle pour f. En conclusion, puisque le probleme (7°) posséde une solution, la caractérisation des points cri- tiques de f nous assure que done la trace de Hess f(A) vaut 40 et son déterminant 384. ). donc la trace de Hess f(O) vaut —8 et son determinant ink f(y) = f(A) = £(B) = -8. Gane EXERCICE IV (optimisation quadratique, moindres carres) Soit N € IN*. On considére un nuage de points {(f;,x;) }i O, done fi n'est jamais concave. De pls, det{hessfu(,9)) Avdz = 4a. On en déduit que fy est convexe si,et seulement sia € | 2,2) strctement convexe si,et seulement sia €] ~2,2[ et n’est ni convexe, ni concave sinon, Souvenons-nows du cours sur Foptimisation de fonctions quadratiques: sia ¢] 2,2), hess f, est constante et appartient 3S, (R). Par consequent, fg ests convexe et coercive (cf. cours) sur R® qui est fermé et de dimension finie. Par con: probleme inf f, a une unique solution. — Siw R\|-2:2) la matrice hess f, a une valeur propre strictement négative jet il existe une direction ¢ € R® (vecteur propre associé a p) dans laquelle f(t) —> —oc quand t + too. Par conséquent, e probleme inf f, n'a pas de solution. — Casa © {2,2}. Dans ce eas, la matrice hess f, est semi positive. Drapris le cours, Ie probléme infye fy a une sol Im(hess f,). Or, puisque a = +2, reso (pt) = (it Sr) hs (@) +he (3) > tmbess fe = vot (2) Par conséquent, si a ~ 2, (2,2)" € Im(hess fx) et le probléme infys fy a une infinite de solutions. Sia — —2, (2,2)! ¢ Im(hess f,) et le probléme infy2 f; n’a pas de solution. ictement rent, le finie positive, mais pas définie si, et sculement si (2,2)' €3. Déterminons les points critiques de fy : vaien 0 (12-8) -06 2) -345(0) Diapres l'étude précédente, dans le cas considéré, le probleme infy? fa une unique solution qui est done donnée par x = y — x2; et Vinfimum vaut alors — yf EXERCICE VII (Optintisation sans contrainte, quotient de Rayleigh) Soit A € S| (R). On consider la fonction f : R"\{Ox-} + R definie par ste) = Ge), od (-,-) est le produit scalaire euclidien de R” et | - || la norme induite. 1. Montrer que f est C® sur son ensemble de définition. 2. Montrer que les problemes d’optimisation inf f(x) et sup f(x) cree sch) possédent une solution. 3. Déterminer ensemble des points critiques de la fonction f. 4, Résoudre les deux problémes ci-dessus. 5, Démontrer que la matrice hessienne de f en un point critique x* € R"\ {Og} est 2 Hess f(x*) = (A~ f(x")In), oi I, désigne la matrice identité de taille n. 6. En déduire que tous les points critiques qui ne sont pas solution d’un des problemes i-dessus sont des points-selles. Corrigé de I’exercice 1. fest C™ sur R"\ {Oger} en tant que quotient de fonctions polynémiales dont le dénominateur ne S‘annule quen Os. 2. Remarquons que, pour tout x € R", f(x) = (AqEy, fy) et que Vapplication x © R"\{Oye} + yy est une surjection de R"\ {Oye} dans la sphare unité S"-! — {y € R® | |ly| ~ 1}. Is’ensuit que inf f(x) = int (ayy) et sup f(x) = sup (Ay, ctl = cB) sca eee La fonction y +» (Ay,y) est continue sur $*" qui est compact. Ces problémes ont done une solution. 3. Pour x / ge, ona: hs _2{dzie Ix? IF Or, d’aprés le théoréme spectral, la matrice A est diagonalisable dans une base orthonormée de vecteurs propres. On note o(A) = {Ar-..++n} son spectre, avec Ay An. Si F6quation Ax = f(x)x posséde une solution, alors nécessairement x est un vecteur propre de A. Récipro- quement, six est un vecteur propre associé aA € o(A), alors f(x) — Aet done Ax— f(x)x ~ 0. On en déduit que ensemble des points critiques de f est ensemble des vecteurs propres x R"\{Oxe} de A. Vflx) =0« 0 Ax— f(x)x=0.4. Puisque les deux problémes ont une solution, on cherche les minimiseurs (resp. maximiseurs) parmi les points critique. Si x, est un vecteur propre de A associé ala valeur propre A, on vérifie que f(x) = A. Par conséquent, les minimiseurs de f sont les vecteurs propres de R"\ {x=} associés 4 A; et les maximiseurs de f sont les vecteurs propres de R" {0x} associés & An. De plus, min fx) =A; et max fla) — A scoot i : settee) ) 5. Q -estion difficile, Puisque f est C? sur R"\ (gr), on va Gerire un développement limité de f a Yordre deux, et on identifiera la hessienne a Vaide du terme d’ordre 2. Soit v € R" et f € IR. On. (Ax,x) + 2t(Ax,0) + P(Av,0) Isl? (1-+ etx2) + Sell?) (Asx) +24(Ax,0) + P(Av2) (2.0) Pol? , 4PGx.0) | og Te 0 ee +0) (az,0) = revel aE s00}2) +(-{9 en utilisant que py = 1 —u +12 +0(u2). On retrouve Vexpression de la différenticlle de f et on en déduit que f(r+te) = (x0)? _ 4 (Ax.2)(x,0) fyplel eafey Fare ATES + (ae) 0) F(R) (Hess f(a}e.0) =2 fh? + apc) DP _ (At) a0) 4 If (xi Or, en un point critique x) (vecteur propre associé a la valeur propre A), on a f(xy) — A et par conséquent, + (40,9)) (Hes f(x;).0) =2 (FEB fol? + (40,2), Tal? oi epession ta ta tenenne mane & Chotstoons.«, demorme’. Cholessons 0 =i, tm autre voce rope A de nome’ 1 assoc lla valeur pfopre A. Alors, (Hess f(x,)v,2) = 2 (A! — A) Si A.w’est pas la plus petite ou la plus grande valeur propre de A, il suffitalors de choisir A! valeur propre stfctement inférieure puis supérieure 4A, et on monte que expression et-essus peut rool sent satin geet tenselen echoseclo ns Dic an dill gpa wh petri: EXERCICE VIII (extrema liés) Déterminer les points les plus proches et les plus éloignés de origine (s'ils existent) de la courbe d’équation x* + y° = 1. On illustrera la réponse a l'aide d’un dessin Corrigé de l’exercice On note H = {(x,y) € R?| h(x,y) = 0} avec h(x,y) = x6-+ y6 — 1. Les points de H les plus proches et loignés de Vorigine sont respectivement solutions des problemes int Tey) et sup (zy), aver Ila,y) =al (ay), (0,0)? = cane cajen Leensemble Hest compact (en effet, ilest fermé en tant qu’image réciproque du fermé {1} par la fonction continue (x,y) +> x° + y*, borné car pour tout (x,y) © H, |x| < Let |y| < 1 et inclus dans R* dedimension finie) et J est continue sur IR? car polyndmiale. Par conséquent, les deux problémes ci-dessus admettent une solution. Caractérisons-la en écrivant les conditions d’optimalité. On a: Vh(x,y) — 0 ¢> (x,y) = (0,0) ¢ H, done les contraintes sont qualifies en tout point. Soit (x,y), une solution de I'un ou Vautre des problémes ci-dessus, D/aprés le théoréme des extrema liés, il existe A € R tel que V/(x,y) — AVh(x,y), soit 2x = 65 x(1—3ax#) <0 (ey) = O41), A= 4 y= sry) yL—3ay4)=0 ou (xy) = (41,0), A= fb seed x+y =1 ou (x,y) = (42/5, 42-5) ~ (£0.89, 40.89), A= 2" Or, J(0, £1) = J(41,0) = Tet J((42-1/6, £2-1/8)) — 22-173 ~ 1.59, Par conséquent, le probleme inf, J a pour solutions (0, +1) et (+1,0) et infimum vaut 1, tandis que le probléme sup,, J a pour solutions (42-16,42 1/6) et Vinfimum vaut 22/9, y EXERCICE IX (problémes d’optimisation avec contraintes, théoréme de Kuln-Tucker) Une entreprise fabrique deux modales de petites voitures, les modeles X et Y. Le modéle X; le plus abordable, se vend 1 € pice. Quant au modéle Y, beaucoup plus sophistiqué, il se vend 23 €. Le cottt de fabrication, exprimé en €, est donné par la fonction suivante C(x,y) = 5x? + 5y? — 2xy — 2x — 1000. ott x est le nombre de petites voitures du modéle X et y est le nombre de petites voitures du modele Y. On suppose que les jouets fabriqués sont tous écoulés sur le marché. Dans tout exercice, on notera Cy = (Rj). 1. Soit (x,y) € C,.. Déterminer le profit P(x,y) réalisé par I'entreprise lorsqu’elle a vendu xjouets de moddle X et y jouets de modale Y. 2. Btudier la convexité de la fonction P sur C, 3. La capacité de production de lentreprise est au total de 20 jouets par jour. En supposant que l’entreprise tourne a plein régime, trouver la répartition optimale entre les modeles de type X et Y permettant de maximiser le profit quotidien. Calculer dans ce cas le profit réalisé. Indication : dans cette question et la suivante, on ne tiendra pas compte des contraintes (pourtant naturelles) “x > 0" et “y > 0”. On expliquera pourquoi cela ne change en réalité rien.. Le conseil d’administration de l'entreprise s’interroge sur la pertinence de vouloir pro- duire a pleine capacité. II se demande s'il ne peut pas augmenter le profit en produisant autrement. Pouvez-vous aider le conseil d’administration ? Corrigé de I’exercice Le profit est Ia dférence entre le gain ot le cotit de production, done P(x, y) — x +3y~C(x-¥), puis P(x,y) ~ 8x2 — Sy? + 2xy +34 3y + 1000. Pétant C™, on peut étudior sa convexitéa Vaide de sa hessienne. On a hess P(x) ( io 35) 2 10, De plus, étant symétrique réclle, la matrice hess P est diagonalisable de valeurs propres Ay et Az tolles que A; + Az = Trhess P — —20et Ay Az — det(hess P) = 96. On en déduit que Ay et Ay sont strictement négative et P est done concave sur R2 . La contrainte sur la capacité de production s'écrit x + y = 20. On est donc amené a résoudre le probléme d’optimisation sous contrainte sup), y)-o P(x¥) avec (x,y) = x-+y — 20. Puisque P est quadratique et strictement concave, —P est coercive (ef. cours), et Vensemble {(x,y) € R? | h(x,y) = 0) est un fermé de dimension finie (image réciproque de {0} par it qui est continue). Par conséquent, le probléme précédent a une solution. ftudions les conditions d’optimalite (qui sont donc des CNS). Puisque pour tous (x,y) € R2, Vhi(x,y) 0, les contraintes sont qualifiées en tout point. Le théoréme des extrema liés fournit alors existence de A € R tel que VP(x,y) — AVI(x,y),soit Wor +2y+3=A ly +2x+3=A ¢ >{5rtn” x+y 20 On obtient ainsi la répartition optimale de voitures X et Y a produire et le profit réalisé vaut (10,10) — 260. Remarque : en théorie, i faudrait également ajouter les contraintes x > 0 et y > 0. Cependant, puisqu’elles sont naturellement verifies a Yoptimum, on constate a posteriori qu'il n’était pas nécessaire de les inclure dans le calcul. Le probléme que l'on peut résoudre afin de satisfaire le conseil d/administration devient Pacxy)"e 0, He piyem ory xst0 of eG nco - u(x-+y—20) =0 * 88) (x+y 20) =0 Or, P (10,10) = 260 < P(f,3) = 88 ~ 1001.125. En conclusion, compte tenu des coats de procuction, il est préférable de moins produire de voitures X et Y et les proportions optimales sont (x4) = (3,3) EXERCICE X (méthode du gradient) . Soit n € N*. On désigne par (-,-) le produit scalaire euclidien de R".Soit A € S'(R), b © R" etc € R. On considere le probléme d’optimisation quadratique inf J(2) avec J(x) = HAxx) et K={xER"| (xb) =c}. Proposer une approche numérique de résolution que vous décrirez trés précisément. On explicitera notamment I’étape de modélisation et 'algorithme retenu.2. Soit k > 0. On définit sur R? la fonction appelée Rosenbrock banana, par la relation f(xy) = (@-1P +k? - yp On souhaite minimiser f sur R? a Vaide de la métaode du gradient & pas optimal & partir de initialisation xo = (0,0) Décrire cet algorithme. Montrer qu'il existe un choix optimal de pas a la premiére itéra- tion et qu'il appartient a J0, 1|. De fagon plus générale, comment feriez-vous pour déter- miner numériquement le pas optimal a chaque itération ? ‘votre avis, quel type de probléme numérique rencontre cet algorithme lorsque x prend des valeurs trop grandes? Corrigé de I’exercice 1. Une poss contrainte : ilité est de traiter la contrainte a Vaide dune pénalisation, en traitant le probleme s Jing, h(a) aver f(a) = a) + Menet) 07, ot le paramore ¢ est choisi petit. On peut alors mettre en couvre une méthode de gradient sur ce probleme. De plus, VJe(x) = Ax + 2((x,b) ~ c)b. Lalgorithme s’écrit alors : = on se donne pCR, a priori assez petit et une initialieation x\°) - poser k=0 tant que (ee xO, Ze) et (RS KAM) caluier d® = —Vj(xl®)) poser 2-11) — x8) + pal fin tant que 2. On pose X = (x,y). Valgorithme du gradient pas optimal s‘écrit : = on se donne une initialisation X\) - poser k=0 tant que (|X) — xO} calculer d”) = —v (xt) calculer p\") — argmin f(X'*) + pdl®)) poser Xi) — x8 4 pa fin tant que 26) ot (ke) Choix optimal du pas a iteration 1 : on caleule : Peta) = (26ND) ode w5(0.0~ (2) Puisque £((0,0)' —p¥F(0,0)) = F(2p,0) = (29-1)? + 16kp4, Je pas optimal est solution du problome infycx (p) avec g() = (2p — 1)? + 16kp*. On verifie aisément que cette fonction est coercive sur R qui est fermé de dimension finie, donc le pro- bleme précédent une solution. De plus, les points critiques de p résolvent l’équation 2(2p 1) + 64Kp? = 0. Or, en tant que somme de deux fonctions strictement croissantes, la fonction p > 2(2p —1) + 64kp* est strictement croissante, vaut —2 en p = Oet!’équation 2(2p — 1) + 64kp? = 0 posstde done une unique solution sur R qui est de surcrott positive. Cette solution est done la valeur du pas optimale du pas. Notons d’ailleurs que d’apres le théoréme des valeurs intermé- diaires, cette solution est dans |0,1|. De fagon plus générale, on peut implémenter numériquement un algorithme de dichotomie ou. de la section dorée pour résoudre le probleme p") = argmin F(X" + pd) (probleme d’opti- misation de dimension 1).Lorsque k prend des valeurs trop importantes, on rencontre des soucis numériques car le terme (2? —y)? est prédominant devant le terme (x —1)?. Done, numériquement, tout se passe comme sion résolvait infi.y)cRe (22 ~ ¥)? au lieu du probleme souhaité (on dit alors que le probleme est ‘mal conditionné, ce qui dépasse largement le cadre de ce cours).