Vous êtes sur la page 1sur 14

Universit Paris-Dauphine Dpartement MIDO DUMI2E troisime anne

Optimisation numrique Grard Lebourg anne /

feuilles de travaux dirigs


Les notes biographiques sont pour partie tires de
Normes de matrices

Wikipedia (http://www.wikipedia.org/).

Exercice 1 (rayon spectral). Pour toute matrice A relle de taille N N , on note sp(A) le spectre de A, c'est--dire l'ensemble des valeurs propres (relles ou complexes) de A, et (A) le rayon spectral de A, c'est--dire le plus petit rel majorant le module des valeurs propres de A. Montrer que : 1. (AT ) = (A), 2. si A est symtrique (i.e., AT = A) alors sp(A) ne contient que des rels, 3. (A2 ) = (A)2 , Indication : on pourra remarquer que A2 2 I = (A I )(A + I ). 4. si A est inversible alors sp(A1 ) 1 sp(A), 5. pour toute norme matricielle (i.e., toute norme vriant A B A B ) : (A) A . Exercice 2 (norme subordonne la norme euclidienne). Soit
On note encore
k

une norme sur RN . la norme matricielle qui lui est subordonne, dnie par :

= sup
x
k 1

A x k , A RN N .

1. Prouver que l'on a toujours (A) A k . 2. Rsoudre le problme consistant maximiser A x 2 2 sous la contrainte x et en dduire que A 2 = (AT A)1/2 . Indication : on pourra remarquer que Ax 2 2 = x, AT Ax . 3. Comparer (A) et A 4. Vrier que A
2 2 2

N i=1

x2 i 1

lorsque A =
max
N j =1

1 1

2 1

.
1

Indication : on pourra remarquer que x

i{1,...,N }

|Aij | et en dduire que A


1

sup
y
1

x, y et x

j {1,...,N } y
1 1

max

N i=1

| Aij |.

= sup

x, y .

Exercice 3 (conditionnement). Soit A une matrice de taille N N inversible. On note k (A) =


A

le conditionnement de la matrice A associ au choix de la norme k sur RN . 1. Si A x = b et A(x + x) = b + b, o A RN N et b un vecteur de RN , montrer que :
k

A 1

b k x k k (A) . x k b k

Comment interprter cette ingalit ?

10 7 8 7 1 7 5 6 5 1 2. Avec le choix de A = 8 6 10 9 , x = 1 7 5 9 10 1 1 32 1 23 b = Ax = 33 , b = A(x) = 1 et x 2 1 31 En dduire une minoration du conditionnement 2 (A).

82 et x = 136 , on trouve 35 21 164.

Exercice 4 (norme de Frobenius 1 ). Montrer que :


1. A = tr(AT A)1/2 =
N i,j =1

|Aij |2

1/2

dnit une norme sur RN N ,

2. si P est une matrice orthogonale de taille N N (i.e., une matrice de taille N N vriant P T P = I ), alors P A = A P = A et donc P T A P = A , N 3. est une norme matricielle, mais elle n'est subordonne aucune norme sur R . Indication : on pourra remarquer que I = N .

Formes quadratiques et ellipticit

Exercice 5 (encadrement des formes quadratiques). Une forme quadratique


une application de la forme
q (x) = A x, x , x RN ,

q sur RN est

o A est une matrice relle symtrique de taille N N . 1. Calculer q (x) puis rsoudre le problme consistant minimiser q (x) sous la contrainte 2 x 2 = 1. 2. En dduire l'encadrement : min x 2 2 q (x) max x 2 2 , (i.e., min I A max I ).

quadratique qui lui est associe q (x) = A x, x est une fonction positive. Elle est dite dnie positive si en outre q (x) = 0 x = 0. 1. Vrier que A semi-dnie positive (resp. dnie positive) quivaut sp(A) [0, +[ (resp. sp(A) ]0, +[). 2. Soient A une matrice dnie positive de taille N N , v un vecteur de RN , a un rel strictement positif, w = A1 v et B la matrice de taille (N + 1) (N + 1) s'crivant sous forme de blocs B =
A vT v a

Exercice 6 (matrices dnies positives, semi-dnies positives et critre de Sylvester 2 ). Une matrice A relle symtrique de taille N N est dite semi-dnie positive 3 si la forme

. On suppose que det(B ) > 0.

(a) Vrier que


det(B ) = A vT v a = A vT v Aw a vT w = (a w, A w ) det(A).

1. Ferdinand Georg Frobenius (26 octobre 1849 - 3 aot 1917) tait un mathmaticien allemand. Il s'intressa principalement la thorie des groupes et l'algbre linaire, mais travailla galement en analyse et en thorie des nombres. 2. James Joseph Sylvester (3 septembre 1814 - 13 mars 1897) tait un mathmaticien et gomtre anglais. Il travailla sur les formes algbriques, particulirement sur les formes quadratiques et leurs invariants, et la thorie des dterminants. On lui doit l'introduction de nombreux objets, notions et notations mathmatiques, comme le discriminant ou la fonction indicatrice d'Euler. 3. On dit aussi simplement qu'elle est positive.

(b) En dduire que ( uT


RN et R.

A vT

v a

u + w, A(u + w) , pour tous u

(c) En conclure que la matrice B est dnie positive. 3. Rciproquement, montrer que B =
A vT que A est dnie positive et que a > 0. v a

est dnie positive implique que det(B ) > 0,

4. En dduire une rgle simple (appele critre de Sylvester ) permettant de vrier le caractre dni positif d'une matrice symtrique donne. 5. Application :
2 1 utiliser cette rgle pour vrier que la matrice A = 0 0 1 2 1 0 0 1 2 1 0 0 1 2

est dnie positive.

Exercice 7 (solution au sens des moindres carrs d'un systme linaire). Une fonction
quadratique F sur RN est une application de la forme
F (x) = 1 A x, x b, x + c, x RN , 2

o A est une matrice relle symtrique de taille N N , b un vecteur de RN et c R. Si A est une matrice relle de taille M N et b un vecteur de RM , la fonction F (x) = A x b 2 dnit une fonction quadratique sur RN . 1. Calculer F (x) et 2 F (x). 2. Si la matrice A est de rang gal N , montrer que la fonction F atteint son minimum en un unique point x , solution du systme des quations normales 4 AT Ax = AT b. 3. Dterminer A, b et x dans le cas o F (x1 , x2 ) = (x1 +x2 2)2 +(2 x1 +x2 3)2 +(3 x1 +x2 5)2 .

Exercice 8 (ellipticit). Une fonction numrique F de classe C 2 sur RN est dite elliptique s'il

existe une constante strictement positive c  appele constante d'ellipticit de F  telle que : v, 2 F (x) v c v 2 pour tous x et v dans RN . 1. Montrer que toute fonction elliptique est strictement convexe. c 2. Si c est une constante d'ellipticit pour F alors F (x) F (x0 )+ F (x0 ), x x0 + xx0 2 2 pour tout couple de points x0 et x dans RN . Interprter. 3. En dduire que toute fonction elliptique est coercive (i.e., lim F (x) = +) et que ses ensembles de niveau sont des convexes compacts.
x +

Exercice 9 (fonctions quadratiques elliptiques). Vrier que :

1 A x, x b, x + c dnit une fonction quadratique elliptique sur RN 1. l'application F (x) = 2 si et seulement si la matrice A symtrique d'ordre N est dnie positive, 2. si A est une matrice relle de taille M N et b est un vecteur de RM alors F (x) = A x b 2 dnit une fonction quadratique elliptique sur RN si et seulement si rg(A) = N , N 1 2 3. l'application F (x) = (xN 1)2 + x2 0+ i=0 (xi+1 xi ) dnit une fonction elliptique sur N +1 R , 4. les deux fonctions F et G dnies sur R2 par

F (x, y ) = x2 + 2 y 2 + 3 x y et G(x, y ) = 2 x2 + 3 y 2 + 4 x y,

sont quadratiques, mais que inf G est ni alors que inf F = . Donner une explication.
4. Le vecteur x est alors appel la solution au sens des moindres carrs du systme A x = b.

Utilisation des conditions de Karush 5 -Kuhn 6 -Tucker 7

Exercice 10. Un tablissement de restauration rapide sert trois sortes de plats :

 des hamburgers pour 3 euros,  du poulet-frites pour 6 euros,  des sushis pour 9 euros. On connait le chire d'aaires et le nombre de plats vendus chaque jour. partir de ces donnes, on a pu estimer le prix moyen du repas 5.25 euros. Un client entre dans le restaurant. Quelle est la probabilit qu'il commande un poulet-frites ? Indication : on pourra utiliser l'estimateur du maximum d'entropie qui retourne l'unique solution du problme
p+q +r =1 3p+6q +9r =5.25 p,q,r 0

min

(p ln p + q ln q + r ln r)

pour estimer la probabilit cherche.

Exercice 11. Le problme du colis postal consiste maximiser le volume d'une bote paralllpip-

dique de dimensions x1 , x2 et x3 sous les contraintes 0 xi 42, i = 1, 2, 3, et x1 +2 x2 +2 x3 72, ce que l'on rsume dans le problme d'optimisation suivant :
0xi 42, i=1,2,3, x1 +2 x2 +2 x3 72.

max

x1 x2 x3 .

1. Prouver que le problme ci-dessus admet une solution au moins. 2. Vrier qu'il quivaut au problme convexe sous contraintes linaires suivant :
0<xi 42, i=1,2,3, x1 +2 x2 +2 x3 72.

min

( ln x1 ln x2 ln x3 ),

et en dduire qu'il admet une unique solution (x 1 , x 2 , x 3 ). 3. crire les conditions KKT associes au problme, puis prouver que la contrainte x1 + 2 x2 + 2 x3 72 est sature en (x 1 , x 2 , x 3 ) et que x 2 = x 3 . Rsoudre nalement le problme du colis postal.

Exercice 12. Le problme de la  bote  consiste minimiser la surface des parois d'une bote
paralllpipdique de dimensions x, y et z sous la contrainte que le volume contenu dans la bote soit gal une valeur prescrite V > 0, c'est--dire :
x y z =V x,y,z>0

min (x y + 2 x z + 2 y z ).

En utilisant le changement de variables : u = ln x, v = ln y et w = ln z , rcrire ce problme comme un problme convexe sous contraintes linaires. Prouver ensuite l'existence d'une unique solution et la calculer.
5. William Karush (1er mars 1917 - 22 fvrier 1997) tait un mathmaticien amricain. Il ft le premier tablir les conditions ncessaires pour rsoudre des problmes d'optimisation sous contraintes d'ingalit non-linaires dans sa thse de matrise soutenue en 1939. Il ne devint cependant clbre qu'aprs la publication en 1951 d'un acte de confrence de Harold W. Kuhn et Albert W. Tucker rintroduisant les conditions qui portent aujourd'hui leurs trois noms. 6. Harold William Kuhn (n le 29 juillet 1925) est un mathmaticien et conomiste amricain qui travailla principalement en thorie des jeux. 7. Albert William Tucker (28 novembre 1905 - 25 janvier 1995) tait un mathmaticien amricain d'origine canadienne qui apporta d'importantes contributions en topologie, thorie des jeux et programmation non-linaire.

Exercice 13. On considre le problme :


n

(P )

x0 i=1 n i=1 xi =1

max

ln(xi + ai ),

o a = (a1 , . . . , an ) est un vecteur donn de Rn dont toutes les composantes sont strictement positives et x = (x1 , . . . , xn ) est le vecteur des variables du problme. 1. Prouver l'existence d'une unique solution x de (P ). 2. crire les conditions KKT associes au problme (P ). 3. Prouver l'existence d'un rel tel que x i = max(0, ai ), i = 1, . . . , n. 4. On pose n = 4 et a = (0.25, 0.5, 0.75, 1). Trouver x .

Exercice 14. On considre le problme :


(P )
A x b

min

1 x a 2, 2

o les vecteurs a RN , b RM et la matrice A RM N sont donns. 1. crire les conditions KKT associes au problme (P ). 2. En dduire que le vecteur M = (1 , . . . , M ) des multiplicateurs associs aux contraintes du problme (P ) est solution du problme :
(P )
M 0

min

1 AT M 2

+ M, A a b .

3. Prouver l'unicit de la solution de (P ) lorsque la matrice A est de rang M . 4. Expliciter (P ) dans le cas o a = ( 1 2.4 3 1.7 0.9 )T , A = ( 1 1 1 1 1 ) et b = 1. Le rsoudre et en dduire l'unique solution de (P ).

Mthodes de gradient

Exercice 15. On considre le problme de Toricelli 8 :


xR2

min ( x a + x b + x c ) ,

avec a = (1, 4), b = (3, 4) et c = (5, 1). 1. Faire un dessin et proposer une solution approche raisonnable x0 . 2. Trouver une direction de descente au point propos x0 et en conclure que ce n'est pas un minimiseur local.

Exercice 16. On considre sur R2 la fonction F (x, y) = x2 + 2 y4 3 x y2 .

1. Vrier que (0, 0) est un point critique dgnr 9 de la fonction F . 2. Montrer que, pour toute direction (u, v ) dans R2 , la fonction d'une variable (t) = F (t u, t v ) reste strictement positive pour t > 0 susamment petit. En conclure que F n'admet aucune direction de descente en (0, 0).

8. Ce problme, d au physicien et mathmaticien italien Evangelista Torricelli (16081647), s'nonce de la manire suivante :  soit un triangle ABC dont les mesures des angles sont infreures 120 degrs. O doit se trouver le point M minimisant la somme M A + M B + M C ? . La solution de ce problme est appele le point de Fermat du triangle ABC . 9. On rappelle qu'un point critique d'une fonction est dit dgnr lorsqu'il annule le dterminant de la matrice hessienne de cette fonction.

3. Dvelopper (x y 2 )(x 2 y 2 ) et en dduire que (0, 0) n'est pas un minimiseur local de F . 4. Expliquer pourquoi une telle situation ne peut se produire qu'en un point critique dgnr.

Exercice 17. On considre l'algorithme du gradient pas xe appliqu la minimisation de


F ( x) = x4 .

1. crire l'quation de rcurrence dnissant l'algorithme. 2 2 2. Vrier que x S0 = x R | x4 x4 0 implique que F (x) K I , o K = 12 x0 . 3. Le thorme nonc en cours garantit la convergence de l'algorithme du gradient pas . Vrier cependant que la convergence n'est jamais linaire et expliquer xe pour < 6 1 x2 0 pourquoi.
= 3 2 en utilisant l'algorithme du gradient pas xe pour minimiser la fonction d'une variable F (x) = x4 8 x + 1.

Exercice 18. On souhaite calculer une valeur approche de x

1. crire l'quation de rcurrence dnissant l'algorithme. 2. L'initialisation tant xe gale x0 = 1, comment choisir le pas pour assurer la convergence de l'algorithme ? 3. Vrier par un calcul direct que cette convergence est alors linaire, et qu'elle devient superlinaire pour une valeur du pas gale 12 1 3 . 4

Exercice 19. On considre la fonction F (x, y) = x4 + y4 + 4 x y.


1. Prouver que tous ses ensembles de niveau sont compacts. 2. Trouver tous ses points critiques et la nature de chacun d'entre eux. 3. On applique l'algorithme du gradient pas xe la minimisation de F avec un pas x gal . Prouver que, pour toute initialisation (x0 , y0 ), l'algorithme converge, pour assez petit, vers un point critique de F . 4. On choisit x0 = y0 = 1. Que se passe-t-il si = 0.25 ? Si = 0.5 ?

Exercice 20. On considre l'algorithme du gradient pas xe appliqu la minimisation de la

fonction F (x, y ) = x2 + 2 y 2 . 1. crire explicitement les quations de rcurrence dnissant l'algorithme. Pour quelles valeurs du pas de descente est-il convergent ? 2. Vrier que le rayon spectral de la matrice I H , avec le pas de descente et H la matrice hessienne (constante) de F , est minimal pour = 1/3. 3. On xe = 1/3 et on choisit l'initialisation (x0 , y0 ) = (2, 1). Calculer les premiers itrs et dcrire alors le comportement de l'algorithme. 4. Quels seraient les itrs calculs par l'algorithme du gradient pas optimal partir la mme initialisation ?

Exercice 21. Soit A une matrice symtrique d'ordre N dnie positive.


1 x, A x b, x atteint son minimum en un unique point x , solution 1. Vrier que F (x) = 2 du systme linaire A x = b. 2. Expliciter les relations de rcurrence permettant de calculer x en utilisant : a. l'algorithme du gradient pas xe, b. l'algorithme du gradient pas optimal, tous deux appliqus la minimisation de F .

Exercice 22 (ingalit de Kantorovitch 10 et convergence de l'algorithme du gradient pas optimal). On considre l'algorithme du gradient pas optimal appliqu la minimisation
1 x, A x b, x , o A est une matrice symtrique d'ordre N de la fonction quadratique F (x) = 2 dnie positive et b un vecteur de RN , tous deux donns. 1. Si xk est le kme point calcul par l'algorithme, dterminer explicitement le pas optimal au point xk dans la direction oppose au gradient gk = F (xk ) en fonction de A et de gk . 2. Vrier que x A = A x, x 1/2 dnit une norme sur RN et tablir l'identit :

xk+1 x

2 A

4 gk 2 1 A gk , gk A gk , gk

xk x

2 A

o x est l'unique minimiseur de F (on pourra remarquer que gk = A (xk x )). 3. En admettant alors l'ingalit de Kantorovitch :
x, A x x, A1 x (1 + )2 x 4 1 . +1
4 2

o est le conditionnement de la matrice A, obtenir :


xk+1 x xk x
A A

4. (question dicile) Dmontrer l'ingalit de Kantorovitch pour toute matrice symtrique d'ordre N dnie positive 11 .

Exercice 23. Les N premiers moments Mk

f (t) dt, 1 k N , d'une variable alatoire relle X valeurs dans [0, 1] tant connus, on cherche estimer la densit inconnue f de X par 1 2 un polynme P de degr N minimisant l'cart quadratique 1 2 0 |P (t) f (t)| dt. 1. Prouver que ce problme admet toujours une unique solution. i N +1 2. En posant P (t) = N la fonction F i=0 xi t , montrer qu'il quivaut minimiser sur R 1 12 dnie par F (x) = 2 H x, x M, x , o H est la matrice de Hilbert d'ordre N + 1, de terme gnral Hij = 1/(i + j 1) et M = (1, M1 , , MN )T , puis que H est dnie positive. 3. Pour rsoudre ce problme, on programme sous une version adapte de l'algorithme du gradient pas optimal : =
1 k t 0

Matlab

function sol=gradopt(M,itermax) N=length(M); M=[1 M]; iternum=0; sol=[1 zeros(1,N)]; N=N+1; H=hilb(N); g=sol*H-M; d=-g; while iternum < itermax iternum=iternum+1; rho=-(g*d')/(d*H*d'); sol=sol+rho*d; g=sol*H-M; d=-g; end
10. Leonid Vitalievitch Kantorovitch (Leon id Vit al eviq Kantor oviq, 19 janvier 1912 - 7 avril 1986) tait un mathmaticien et conomiste russe (sovitique), connu pour ses contributions la thorie de l'allocation optimale des ressources. Il reut le  Prix Nobel  d'conomie en 1975. 11. Il sura de dmontrer l'ingalit dans le cas o A est diagonale (on expliquera pourquoi). Dans ce cas, le N N 1 x 2 des variables relles x , i = 1, . . . , N , 2 problme se rduit maximiser la fonction i i i=1 i xi i=1 i N 2 sous la contrainte i=1 xi = 1, o les rels i , i = 1, . . . , N , sont les valeurs propres strictement positives de A. En crivant les conditions ncessaires d'optimalit pour ce problme, on montrera que deux au plus des xi sont non nuls. 12. David Hilbert (23 janvier 1862 - 14 fvrier 1943) tait un mathmaticien allemand, souvent considr comme un des plus grands mathmaticiens du XXme sicle. Il a cr ou dvelopp un large ventail d'ides fondamentales, que ce soit la thorie des invariants, l'axiomatisation de la gomtrie ou les fondements de l'analyse fonctionnelle.

Commenter le choix de l'initialisation et le calcul du pas optimal. 4. On teste cette procdure dans le cas lmentaire N = 1 et M1 = 1/3. (a) Vrier par un calcul explicite que la solution du problme est alors (2, 2). (b) Il faut pourtant itermax 50 pour obtenir une approximation de cette solution 103 prs. Expliquer ce mdiocre comportement de l'algorithme en calculant une valeur approche du conditionnement de la matrice de Hibert d'ordre deux
H= 1 1/2 1/2 1/3 .

5. Comment modier le code de la procdure ci-dessus pour obtenir une version adapte de l'algorithme du gradient conjugu ? Calculer alors explicitement les deux premiers itrs et vrier la nie convergence de l'algorithme.

Exercice 24 (exercice dicile). Soit F : R R une fonction analytique (i.e., une fonction C qui est la somme de sa srie de Taylor 13 en tout point) et (xk )k la suite des points calculs par l'algorithme du gradient pas xe appliqu la minimisation de F . On suppose que (xk )k tend vers x et que :  (xk )k n'est pas stationnaire, c'est--dire qu'il n'existe pas d'indice n tel que la suite soit constante partir du rang n,  (xk )k oscille autour de x , c'est--dire que, pour tout indice k, on peut trouver kg k et kd k tels que xkg x xkd . Prouver alors que x est un minimum local de f .
Mthodes newtoniennes

Exercice 25. On souhaite calculer une valeur approche de la racine nme d'une rel a 0 donn
en minimisant F (x) = xn+1 a (n + 1) x par la mthode de Newton 14 pas xe avec = 1. 1. crire l'quation de rcurrence dnissant l'algorithme. 2. Vrier que celui-ci converge pour toute initialisation et que la convergence est quadratique si a > 0, mais seulement linaire si a = 0. Donner une explication.

Exercice 26. On souhaite tester l'algorithme de Newton pas xe avec = 1 appliqu la minimisation de F (x) = ln(cosh x). 1. Vrier que : a. F est strictement convexe et coercive sur R,
b. F (x) F (x0 ) 0 < 2. L'exprimentation numrique montre cependant que l'algorithme, initialis avec x0 = 1.1 diverge. Expliquer pourquoi.
1 F (x) 1. cosh2 x0

Exercice 27 (logistic regression ). Le modle logit suppose la probabilit qu'un  individu 


 en fait un triplet x listant ses mensurations : taille, poids et pointure  soit une lle gale 1 P = (1 + exp( p, x + q )) .
13. Brook Taylor (18 aot 1685 - 30 novembre 1731) tait un mathmaticien, artiste peintre et musicien anglais. Il inventa le calcul aux dirences nies et dcouvrit l'intgration par parties. 14. Sir Isaac Newton (4 janvier 1643 - 31 mars 1727) tait un philosophe, mathmaticien, physicien et astronome anglais. Figure emblmatique des sciences, il est surtout reconnu pour sa thorie de la gravitation universelle et la cration du calcul innitsimal.

1. Vrier que la probabilit que l'individu x soit un garon est gale (1 + exp( p, x q ))1 .

2. On cherche estimer les paramtres p et q du modle partir d'un chantillon de N individus dont la classe, i.e., le sexe, est connue en minimisant la log-vraisemblance
N

F (p, q ) =
i=1

ln (1 + exp [i ( p, xi + q )])

de l'chantillon (pour tout indice i, i = 1 est un  marqueur  de la classe  lle  ou  garon  du ime individu xi ). Vrier que : a. 2 F (p, q ) =
1 4
N i=1

1 cosh2 i

xi xT i xT i

xi 1

, avec i =

i ( p, xi + q ), 2

b. la fonction F est strictement convexe sur R4 ds qu'il n'existe aucun hyperplan de R3 contenant les N points xi de l'chantillon, c. la fonction F est coercive sur R4 s'il n'existe aucun hyperplan de R3  sparant  les classes, i.e., tel que, pour tout indice i, i ( p, xi + q ) 0. 3. En conclure que l'algorithme de Newton appliqu la minimisation de F converge, pour toute initialisation (p0 , q0 ), vers l'unique minimiseur de F lorsqu'il n'existe aucun hyperplan de R3 sparant les classes.

Exercice 28. Soient F une fonction de classe C 2 , strictement convexe et coercive sur R, x0 un
point de R et L > 0 une constante donns. On suppose que la drive seconde de F ne s'annule jamais et qu'elle est L-Lipschitzienne sur l'ensemble S0 = {x R | F (x) F (x0 )}. 1. On considre l'algorithme dni par la relation de rcurrence :
xk+1 = arg min F (x) + L |x xk |3 . 6

Prouver successivement que : a. pour tout entier k, xk+1 est bien dni et de manire unique, b. la suite (F (xk ))k est dcroissante et la dirence xk+1 xk tend vers 0, c. la suite (F (xk ))k tend vers 0, d. la suite (xk )k converge vers l'unique minimiseur x de F , e. il existe une constante c > 0 telle que :
F (x ) + c L |xk+1 x |2 F (xk+1 ) F (x ) + |x xk |3 , 2 6

et donc la convergence est superlinaire. 2. Connaissant y0 = xk , on dcide de calculer une valeur approche de y = xk+1 en minimisant 3 G(y ) = F (y ) + L 6 |y y0 | au moyen d'une variante de la mthode de Newton pas xe et gal l'unit, obtenue en ajoutant, chaque itration de l'algorithme, l'tape suivante :
tant que G(yl+1 ) > G(yl ), yl+1 =
yl+1 + yl . 2

a. tablir l'implication
yl+1 = yl G (yl ) G (yl ) G (zl ) yl+1 y = (yl y ) , G (yl ) G (yl )

o zl est strictement compris entre yl et y . b. Vrier que G est dcroissante sur ] , y0 [ S0 et croissante sur ]y0 , +[ S0 . c. En conclure que la suite (yl )l des points calculs par l'algorithme est monotone partir d'un certain rang, qu'elle converge vers y et que la convergence est toujours quadratique. 9

3. Application : une variable alatoire X peut prendre N valeurs distinctes x0 < . . . < xN connues. On cherche la distribution pi de X d'entropie maximale et de moyenne m donne :
N

(P )

N i=1 N i=1

min
pi =1 i=1 pi xi =m

pi ln pi .

a. Montrer que pi =

exp( xi )
N i=1

exp( xi )

est l'unique solution de (P ) si


N

= arg min
i=1

exp[ (xi m)]

(on pourra remarquer que est le multiplicateur de Lagrange 15 associ la contrainte N i=1 pi xi = m). b. Montrer que la fonction F () = N i=1 exp((xi m)) vrie les hypothses de l'exercice et suggrer un algorithme de calcul de . Comment choisir L si l'algorithme est initialis avec 0 = 0 ?

Exercice 29. On cherche calculer la projection (a) d'un point donn a de RN sur le polydre
C = x RN | A x b ,

o A est une matrice de taille M N et de rang M et b un vecteur de RM donns. 1 AT 2 , A a b sous la 1. Montrer que (a) = a AT , o RM minimise F () = 2 contrainte 0. 2. On se propose alors de calculer une valeur approche de en minimisant la fonction
N

F () = F ()
i=1

ln i

o > 0 est un paramtre destin tendre vers zro. a. Vrier que F est elliptique sur RM . b. En conclure que l'algorithme de Newton appliqu la minimisation de F converge pour toute initialisation 0 > 0 et que la convergence est quadratique.

Exercice 30 (formule de mise--jour de Broyden, Fletcher, Goldfarb et Shanno). VAk +


T T Ak v k v k Ak wk wk est la matrice 16 T T w k vk v k Ak v k

rier par un calcul direct que, si Ak est une matrice symtrique de taille N N dnie positive et que vk et wk sont deux vecteurs non nuls et non orthogonaux de RN , l'inverse de la matrice

T vk wk Tv wk k

Bk I

T wk vk Tv wk k

T vk v k , Tv wk k

15. Joseph Louis Lagrange (Giuseppe Lodovico Lagrangia en italien, 25 janvier 1736 - 10 avril 1813) tait un mathmaticien et astronome franco-italien. Fondateur du calcul des variations avec Euler, il a galement produit d'importantes contributions tant en analyse, qu'en gomtrie, en thorie des groupes et en mcanique. 16. On pourra galement vrier, au prix d'un calcul laborieux mais mcanique, que cette matrice est galement donne par la formule
Bk + 1
Tv wk k

1+

TB w wk k k Tv wk k

T vk vk

T + v wT B Bk wk vk k k k Tv wk k

10

o Bk est l'inverse de Ak .

Exercice 31 (formule de mise--jour PSB). Soient vk et wk deux vecteurs de RN et Mk une


matrice symtrique de taille N N . On considre le problme en la matrice M RN N suivant
(P )
vk =M wk M =M T

min

M Mk ,

o est la norme de Frobenius. Montrer que 1. si wk = 0, alors le problme (P ) a une solution unique Mk+1 et que celle-ci s'crit 17
Mk+1 = Mk +
T (vk Mk wk )T wk (vk Mk wk )wk + wk (vk Mk wk )T T wk wk , T T w )2 wk wk (wk k

2. si wk = 0 et vk = 0 18 , alors le problme (P ) n'a pas de solution, 3. si wk = vk = 0 19 , alors le problme (P ) a comme unique solution Mk+1 = Mk .

Exercice 32. On teste de l'algorithme quasi-Newton DFP appliqu la minimisation de la fonction


quadratique elliptique
F (x, y ) = (x 1)2 + (y 1)2 + (x + y 1)2 1 0 0 1

L'algorithme est initialis avec le point (x0 , y0 ) = (0, 0) et l'approximation de l'inverse de la matrice hessienne par B0 = . 1. Vrier la nie convergence de l'algorithme. 2. Vrier que l'algorithme calcule bien l'inverse de la matrice hessienne de F . 3. Qu'obtient-on avec la version BFGS de l'actualisation de Bk ?
Problmes quadratiques

Exercice 33.
1. Vrier que la matrice A =
2 1 1 1 5 1 3 2

est de rang gal deux.


1

2. En dduire que AAT est inversible et calculer AAT . 3. En dduire la solution de norme minimale du systme d'quations
2 x + y + z + 5 t = 8, x + y + 3 z + 2 t = 0.

le problme

Exercice 34. Soient A une matrice de taille N N et un vecteur b RN donns. On considre


(P )
xRN A x=0

min

1 x 2

b, x

1. Dterminer la dimension du noyau de la matrice A ainsi qu'une matrice nulle associe Z lorsque A = 1 0
0 1 1 1 0 1 . 1

17. Cette formule porte le nom de formule PSB (pour Powell's Symmetric Broyden formula ). En pratique, elle donne gnralement de moins bons rsultats que la formule de BFGS. 18. On observera que ce cas ne peut pas se prsenter en optimisation. 19. Ce cas est normalement signe que l'itr courant est stationnaire.

11

2. crire le systme des conditions KKT rduit et en dduire l'unique solution de (P ).

Exercice 35. On considre le problme consistant projeter orthogonalement un point a de RN

sur le simplexe unit S = x RN | xi 0, i = 1, . . . , N, N i=1 xi 1 . On met sous forme canonique, puis on indexe les N + 1 contraintes du problme de 1 N + 1 dans l'ordre suivant :
N

xi 0, i = 1, . . . , N, et
i=1

xi 1 ,

en notant Mi , i = 1, . . . , N , et les multiplicateurs de Lagrange associs, dans le mme ordre. 1. Prouver que la N + 1me contrainte est toujours sature si a 0 et a S . 2. On note alors I l'ensemble, contenu dans {1, . . . , N }, des indices des contraintes de positivit actives. Montrer que les multiplicateurs associs la solution du problme sous les contraintes actives sont donns par
= 1
iI

ai

card(I )

, Mi = ai + , i I.

3. Rsoudre le problme (P ) si N = 5 et a = (1, 2.4, 3, 1.7, 0.9) en utilisant l'algorithme d'activation de contraintes initialis avec le point (1, 0, 0, 0, 0).

Exercice 36. On cherche la meilleure approximation d'une fonction L2 (0, 1) donne par la
srie de Fourier suivante :
a0 SN (t) = + ak cos(k t), 2 k=1
N

sous la contrainte que la valeur de (t) n'excde pas une grandeur donne , dans un sens ou dans l'autre, en certains points ti , i = 1, . . . , p, et sj , j = 1, . . . , q , donns de l'intervalle [0, 1], c'est--dire 20
1

(P )

a0 + 2 a0 + 2

N k=1 N k=1

min
ak cos(k ti )(ti )+, i=1,...,p ak cos(k sj )(sj ), j =1,...,q 0

a0 (t) ak cos(k t) 2 k=1

dt.

1. Expliciter, en fonction des rels ak , k = 0, . . . , N , le critre de ce problme. On rappelle que, pour tout couple d'entiers naturels (k, l), on a
1

cos(k t) cos(l t) dt =
0

1 kl , 2

o kl dsigne le symbole de Kronecker. 2. Quelle est la nature du problme (P ) ? Justier l'existence d'une solution. 3. On suppose prsent que (t) = [0,1/2] (t) et N = 2. a. Rsoudre (P ) dans le cas o p = q = 0 (pas de contraintes) et reprsenter l'allure du graphe de la solution S2 trouve (on indique que 2/ 0.63) 21 . b. Rsoudre ensuite (P ) dans le cas o p = q = 1, t1 = 0 et s1 = 1. Donner nouveau l'allure du graphe de l'unique solution S2 .
20. La rsolution de ce problme permet de s'aranchir de certaines dicults lies au phnomne de Gibbs. 21. Le rsultat est la srie de Fourier tronque de la fonction paire obtenue en symtrisant le graphe de .

12

Programmation linaire

Exercice 37.
1. Prouver que le problme linaire
(P )
2 x1 +x3 +x4 12 x1 +2 x2 +x4 12 xi 0, i=1,...,4

max

(4 x1 + 3 x2 + x3 + x4 )

admet des solutions. 2. Prouver que l'une au moins des solutions de (P ) est un sommet de l'ensemble admissible. 3. Rsoudre (P ) en listant les sommets de l'ensemble admissible et en comparant les valeurs du critre en ces points.

Exercice 38. On cherche dcider si la distribution de probabilit d'une variable alatoire pouvant

prendre trois valeurs ai , i = 1, 2, 3, est p = (1/6, 1/3, 1/2) ou q = (1/2, 1/3, 1/6), partir de l'observation d'une seule ralisation de X . On dcide de dire que la distribution est p avec une probabilit xi et q avec une probabilit 1 xi lorsque la ralisation observe est ai , i = 1, 2, 3. Montrer que le problme consistant maximiser la probabilit de reconnatre p sous la condition que la probabilit de reconnatre q reste suprieure 0.95 s'crit
3 x1 +2 x2 +x3 0.3 xi 0, i=1,2,3

max

(x1 + 2 x2 + 3 x3 ).

Quelle est la rgle de dcision optimale ?

Exercice 39. Une variable alatoire discrte


distribution de probabilit

X prend trois valeurs possibles 1, 0 ou 1. La

p = P(X = 1), q = P(X = 0) et r = P(X = 1)

est inconnue, mais on dispose de l'information :


E (X ) [0.1, 0.1] et E (X 2 ) 0.9,

o E (X ) et E (X 2 ) dsignent respectivement les moments d'ordre un et deux de X . 1. Quelles conditions doit vrier le vecteur (p, q, r) pour dnir une distribution de probabilit compatible avec l'information connue a priori ? On dira dans la suite qu'un vecteur (p, q, r) est une distribution  admissible  s'il satisfait ces conditions. 2. Vrier que l'ensemble des distributions admissibles est un polydre de R3 . Quels sont ses sommets ? 3. Formuler les problmes consistant maximiser et minimiser P(X = 1) sachant que E (X ) [0.1, 0.1] et E (X 2 ) 0.9. En dduire un encadrement de cette probabilit.

Exercice 40. On considre le problme d'optimisation sans contrainte suivant :


(P )
(a,b)R2

min (|2 a b| + |4 2 a b| + |3 3 a b|) .

1. En introduisant trois variables auxiliaires, rcrire (P ) comme un problme de programmation linaire. 2. Prouver que l'un des sommets du polydre des points admissibles de ce problme est solution. Combien ce polydre a-t-il de sommets ? Quelle est la solution de (P ) ? 3. Combien y aurait-t-il de variables et de contraintes si l'on rcrivait le problme linaire prcdent sous la forme standard utilise par l'algorithme du simplexe ? 13

Exercice 41. On cherche une ventuelle solution x 0 du systme d'quations A x = b, o


4 1 A= 0 1 1 1 2 1 1 0 1 1 1 3 2 et b = 1 , 1 2

en cherchant rsoudre le problme


(P )
A x+y =b x,y 0

min (y1 + y2 + y3 ).

1. Rsoudre (P ) par l'algorithme du simplexe initialis avec (0, 0, 1, 0, 0, 1, 0, 1). 2. En conclure que le problme initial n'admet aucune solution.

Exercice 42. On considre le polydre de R6 dni par les ingalits


x1 0, x2 0, x3 0, x1 + x4 + x6 1, x2 + x4 + x5 1, x3 x4 + x5 + x6 1.

1. Est-il non vide ? Est-il born ? Justier les rponses. 2. Trouver ses ventuels sommets. 3. On cherche minimiser f (x) = x1 + 2 x2 + 3 x3 x4 + x5 + x6 sur . a. crire les conditions KKT pour le problme correspondant. b. Prouver l'existence d'une solution et calculer la valeur du minimum.

14

Vous aimerez peut-être aussi