Département de Mathématiques Année Universitaire 2022/2023

Faculté des Sciences de Rabat Master MAA : Optimisation

TD : Série 1

Exercice 1

Situations : A déterminer :
f : Rn −→ R
1◦ ) ∇ f (x), ∇2 f (x) en tout point x
x 7−→ f (x) := ⟨c, x⟩ + γ
F : Rn −→ Rm
2◦ ) . JF(x)
x 7−→ F(x) := Lx + b, où L ∈ Mm,n (R)
3◦ ) f : Rn −→ R x 7−→ f (x) := 21 ⟨Ax, x⟩ + ⟨d, x⟩ + δ où A ∈ Mn (R). ∇ f (x), ∇2 f (x)
2
4◦ ) g : Rn −→ R x 7−→ g(x) := ∑m n
i=1 [ri (x)] où les ri : R −→ R
sont deux fois différentiables. ∇g(x), ∇2 g(x)
[01]

Exercice 2
Soit f : Rn −→ R convexe et différentiable sur Rn . montrer l’équivalence des trois propriétés suivantes (où L
est une constante > 0 ) :
(i) ∥∇ f (x) − ∇ f (x′ )∥ ⩽ L ∥x − x′ ∥ pour tout x, x′ (∇ f est L-lipschitzienne sur Rn ).
(ii) f (x′ ) − f (x) − ⟨∇ f (x), x′ − x⟩ ⩾ 1
2L ∥∇ f (x) − ∇ f (x′ )∥2 pour tout x, x′ .
(iii) ⟨∇ f (x) − ∇ f (x′ ) , x − x′ ⟩ ⩾ L1 ∥∇ f (x) − ∇ f (x′ )∥2 pour tout x, x′
[02]

Exercice 3
Soit h : Rn −→ R continûment différentiable.
1◦ ) Soit x0 tel que ∇h (x0 ) ̸= 0. Que représente ∇h (x0 ) pour la surface de niveau S := {x ∈ Rn | h(x) = h (x0 )}?
2◦ ) Rappeler l’équation de l’hyperplan affine (de Rn+1 ) tangent au graphe de h en (x0 , h (x0 )). Donner à
l’aide de ∇h (x0 ) un vecteur normal à cet hyperplan.
3◦ ) On suppose qu’il existe L > 0 tel que ∥∇h(x) − ∇h (x′ )∥ ⩽ L ∥x − x′ ∥ pour tout (x, x′ ) ∈ Rn × Rn .
Montrer qu’alors
|h(x + d) − h(x) − ⟨∇h(x), d⟩| ⩽ L2 ∥d∥2 pour tout (x, d) ∈ Rn × Rn
[03]

Exercice 4
(Condition de second ordre pour la convexité.) Prouvez qu’une fonction deux fois différentiable f est convexe
si et seulement si son domaine est convexe et ∇2 f (x) ⪰ 0 pour tout x ∈ dom f . Indice. Considérons d’abord le
cas f : R → R. Vous pouvez utiliser la condition de premier ordre pour la convexité. [04]

Exercice 5 (Condition du premier ordre pour la quasiconvexité.)

Prouvez la condition du premier ordre pour la quasiconvexité donnée dans §3.4.3 : Une fonction différentiable
f : Rn → R, avec dom f convexe, est quasiconvexe si et seulement si pour tous les x, y ∈ dom f ,

f (y) ⩽ f (x) =⇒ ∇ f (x)T (y − x) ⩽ 0

Astuce. Il suffit de prouver le résultat pour une fonction sur R ; le résultat général suit par restriction à une ligne
arbitraire. [05]

1
Exercice 6
1) Supposons que f : Rn → R est différentiable, dom f est convexe, et f (x) > 0 pour tout x ∈ dom f .
Montrer que f est log-concave si et seulement si pour tout x, y ∈ dom f ,

∇ f (x)T (y − x)
 
f (y)
⩽ exp
f (x) f (x)

2) Montrez que si f : Rn → R est log-concave et a ⩾ 0, alors la fonction g = f − a est log-concave, où

dom g = {x ∈ dom f | f (x) > a}.
[06]

Exercice 7 Fonctions convexes-concaves et points selle.

Nous disons que la fonction f : Rn × Rm → R est convexe-concave si f (x, z) est une fonction concave de z, pour
chaque x fixe, et une fonction convexe de x, pour chaque z fixe. Nous exigeons également que son domaine ait
la forme produit dom f = A × B, où A ⊆ Rn et B ⊆ Rm sont convexes.
a) Donnez une condition du second ordre pour une fonction deux fois différentiable f : Rn × Rm → R soit
convexe-concave, en termes de son hessien ∇2 f (x, z).
b) Supposons que f : Rn × Rm → R est convexe-concave et différentiable, avec ∇ f (x̃, z̃) = 0. Montrez que
la propriété du point de selle est vérifiée : pour tout x, z, on a

f (x̃, z) ⩽ f (x̃, z̃) ⩽ f (x, z̃)

Montrez que cela implique que f satisfait à la propriété max-min forte :

sup inf f (x, z) = inf sup f (x, z)

z x x z

(et leur valeur commune est f (x̃, z̃) ).

c) Supposons maintenant que f : Rn × Rm → R est différentiable, mais pas nécessairement convexconcave,
et la propriété du point de selle est vérifiée en x̃, z̃ :

f (x̃, z) ⩽ f (x̃, z̃) ⩽ f (x, z̃)

pour tout x, z. Montrer que ∇ f (x̃, z̃) = 0.

[07]

Exercice 8
a) Déterminez si la fonction, f : Rn → R, donnée par
! ( )
n
1 n aTi x+bi
f (x) = log log n aT x+b , dom f = x ∈ R | ∑ e <1
∑i=1 e i i
i=1

est convexe et/ou concave. Justifiez brièvement votre réponse

b) En calculant le hessien de la fonction moyenne géométrique f : Rn → R donnée par
!1/n
n
f (x) = ∏ xk , dom f = Rn++
k=1

montrer que f est concave.

2
 c) Déterminez si la fonction, f : Rn → R, donnée par

f (x) = aT x + b / cT x + d , dom f = x ∈ Rn | cT x + d > 0



est quasiconvexe et/ou quasiconcave. Justifiez brièvement votre réponse.

[08]

Exercice 9
Prouvez les affirmations suivantes sur la convexité des fonctions.
a) Soit f : Rn → R est convexe et g : R → R convexe et non décroissante. Alors h(x) = g( f (x)) est convexe.
b) f : R2 → R avec f (x1 , x2 ) = |x1 |+|x2 |+3x22 +3x22 +(x1 − 18x2 )4 +2e10x1 +2x2 −5 est une fonction convexe
sur R2 .
∥Ax+b∥2
c) f (x) = c⊤ x+d 2 avec domaine x | c⊤ x + d > 0 , où A ∈∈ Rm×n , b ∈ Rm , c ∈ Rn et d ∈ R, est une fonction


convexe.
d) Une fonction différentiable f : Rn → R est fortement convexe avec une constante m si et seulement si
(∇ f (x) − ∇ f (y))⊤ (x − y) ⩾ m∥x − y∥22 vaut pour tous les x, y.
e) f (X) = σ (X) sur Rm×n où σ (X) désigne la plus grande valeur singulière de X, est une fonction convexe.
f Soit f une fonction univariée définie sur l’intervalle (0, 1). Montrer que f ′ (x1 ) < f ′ (x2 ) chaque fois que
x1 > x2 dans (0, 1) implique que f (y) > f (x) + f ′ (x)(y − x) pour tout x, y dans (0, 1) et vice versa.
[09]

Exercice 10
(Convexité et concavité de la valeur optimale d’un PL) Considérons le problème de programmation linéaire
.
p∗ = min c⊤ x : Ax ⩽ b
x

où c ∈ Rn , A ∈ Rm,n , b ∈ Rm . Prouvez les affirmations suivantes, ou donnez un contre-exemple.

1) La fonction objectif p∗ est une fonction concave de c.
2) La fonction objectif p∗ est une fonction convexe de b (vous pouvez supposer que le problème est réali-
sable).
3) La fonction obiective p∗ est une fonction concave de A.
[10]

Exercice 11
◦
Soit P n (R) l’ensemble des A ∈ Sn (R) qui sont définies positives (c’est un ouvert convexe de Sn (R) ). Soit
◦
f :P n (R) −→ R
A 7−→ f (A) := ln dét A−1

◦ ◦
On se propose de montrer que f est strictement convexe sur P n (R). Pour cela, on prend X0 ∈P n (R), H ∈
Sn (R), et on considère la fonction ϕ de la variable réelle définie par
 
ϕ(t) := ln dec (X0 + tH)−1

1) Vérifier que ϕ est définie sur un intervalle ouvert (de R ) contenant l’origine ; on notera IX0 ,H cet inter-
valle.
2) Montrer que
n
ϕ(t) − ϕ(0) = − ∑ ln (1 + tλi ) pour tout t ∈ IX0 ,H
i=1
−1/2 −1/2
où les λi désignent les valeurs propres de X0 HX0 .

3
 3) Déduire de ce qui précède la stricte convexité de f .
[11]

Exercice 12 (optimisation quadratique, moindres carrés)

On considère la fonction f définie sur l’intervalle [−1, 1] par f (x) =R x3 . L’espace C0 ([−1, 1]) des fonctions
1
continues sur [−1, 1] est muni du produit scalaire défini par ⟨h, g⟩ = −1 h(x)g(x)dx et on note ∥ · ∥ la norme
p 0 2
associée, définie par ∥h∥ = ⟨h, h⟩, pour tous (h, g) ∈ C ([−1, 1]) . On souhaite déterminer le polynôme P
de degré inférieur ou égal à 1 qui approche le mieux f au sens des moindres carrés, c’est-à-dire qui minimise
∥ f − P∥2 parmi tous les polynômes de degré inférieur ou égal à 1 (sous réserve qu’il existe et soit unique).
1) Mettre ce problème sous la forme d’un problème de moindres carrés de dimension finie. Quelle est cette
dimension ?
2) Étudier l’existence/l’unicité des solutions de ce problème.
3) Résoudre ce problème.
[12]

Exercice 13 (optimisation quadratique, moindres carres)

Soit N ∈ N∗ . On considère un nuage de points {(ti , xi )}1⩽i⩽N , et on cherche à mettre en œuvre une régression
parabolique, autrement dit, on recherche la parabole P d’équation y = at 2 + bt + c, où a, b et c sont trois réels
à déterminer, telle que la somme sur tous les indices i variant de 1 à N du carré de la distance du point (ti , xi )
au point de même abscisse sur P soit minimale.
1) Écrire ce problème comme un problème de minimisation quadratique, c’est-à-dire un problème de la
forme
1
inf n J(X) avec J(X) = ⟨AX, X⟩ − ⟨b, X⟩ (1)
X∈R 2
avec A ∈ Sn (R), b ∈ Rn . On devra donc expliciter n, A et b. On utilisera la notation Sk = ∑Ni=1 tik .
2) Discuter de l’existence des solutions d’un tel problème.
3) On suppose que la matrice A est définie positive. Démontrer que (1) possède une unique solution.
[13]

Exercice 14 (méthode du gradient)

1) Soit n ∈ N∗ . On désigne par ⟨·, ·⟩ le produit scalaire euclidien de Rn . Soit A ∈ Sn++ (R), b ∈ Rn et c ∈ R.
On considère le problème d’optimisation quadratique
1
inf J(x) avec J(x) = ⟨Ax, x⟩ et K = {x ∈ Rn | ⟨x, b⟩ = c}
x∈K 2
Proposer une approche numérique de résolution que vous décrirez très précisément. On explicitera
notamment l’étape de modélisation et l’algorithme retenu.
2) Soit k > 0. On définit sur R2 la fonction appelée Rosenbrock banana, par la relation

2
f (x, y) = (x − 1)2 + k x2 − y

On souhaite minimiser f sur R2 à l’aide de la méthode du gradient à pas optimal à partir de l’initiali-
sation x0 = (0, 0). Décrire cet algorithme. Montrer qu’il existe un choix optimal de pas à la première
itération et qu’il appartient à ]0, 1[. De façon plus générale, comment feriez-vous pour déterminer numé-
riquement le pas optimal à chaque itération ? À votre avis, quel type de problème numérique rencontre
cet algorithme lorsque k prend des valeurs trop grandes ?
[14]