Minimisation Sans Contraintes

CHAPITRE 2
MINIMISATION SANS CONTRAINTES
2.1 Introduction
Dans ce chapitre nous allons étudier les problèmes d’optimisation dans le cas où S = Rn
muni du produit scalaire usuel et lorsqu’il n’y a pas de contraintes : on effectue la minimisation
de la fonction f sur tout l’espace.
Soit f : S → R une fonction continûment différentiable, avec S ⊆ R . n
Définition 2.1
On appelle problème de minimisation sans contraires le problème (P ) suivant :
(P ) min f (x) : x ∈ Rn .
Définition 2.2
1. On dit que x∗ est un minimum global(resp un maximum global) de f sur S si
∀x ∈ S, f (x ) ≤ f (x) (resp f (x ) ≥ f (x) .)

∗ ∗
2. On dit que x∗ est un minimum global strict (resp un maximum global strict
) de f sur S si
∀x ∈ S, avec x 6= x∗ , f (x∗ ) < f (x) (resp f (x∗ ) > f (x)).
3. On dit que x∗ est un minimum local(resp un maximum local ) de f sur S, s’il

existe r > 0 tel que
∀x ∈ B (r, x∗ ) ∩ S, f (x∗ ) ≤ f (x) (resp f (x∗ ) ≥ f (x)).
4. On dit que x∗ est un minimum local strict (resp un maximum local strict )
de f sur S, s’il existe r > 0 tel que
∀x ∈ B (r, x∗ ) ∩ S avec x 6= x∗ , f (x∗ ) < f (x) (resp f (x∗ ) > f (x)).
On rappelle qu’une boule de B centrée en x∗ de rayon r > 0 est l’ensemble
B(r, x ) = {x ∈ R : kx − x k ≤ r}
∗ n ∗
31
2.1. INTRODUCTION 32
k.k, désigne la norme de R . Nous donnons dans les figures au dessus une illustration des
n
différents cas.
Figure 2.2 – Infinité de minima et de

maxima globaux
Figure 2.1 – Exemples de minima et de
maxima locaux et globaux
Figure 2.4 – Graphe de x 7−→ x2 , x∗ = 0

est un minimum global
Figure 2.3 – Pas de maximum global- In-
finité de minima et de maxima locaux
On s’intéressera essentiellement à la recherche des points réalisant des minima car la re-
cherche des maxima peut se ramener à celle des minima comme le montre la proposition sui-
vante :
Proposition 2.1
Si x∗ réalise un maximum (local ou global) de f sur S, x∗ réalise un minimum (local ou
global) de −f sur S. Plus précisément
max {f (x), x ∈ S} = − min {−f (x), x ∈ S}
Démonstration. Donnons la preuve pour un maximum global : c’est exactement la même pour
un maximum local.
Soit x∗ tel que f (x∗ ) = max {f (x), x ∈ S}. On a donc
∀x ∈ S : f (x) ≤ f (x∗ ) ⇔ ∀x ∈ S : −f (x) ≥ −f (x∗ )

⇔ −f (x ) = min {−f (x), x ∈ S}
∗
⇔ f (x∗ ) = − min {−f (x), x ∈ S}.
La convexité est une condition suffisante assurant que tout minimum local est aussi global.
Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

2.2. RÉSULTATS D’EXISTENCE ET D’UNICITÉ 33
Théorème 2.1
Soient S un ensemble convexe de Rn et f une fonction convexe de S dans R. Alors, tout
minimum local de f est aussi global.
Démonstration. Soit x∗ un minimum local. Raisonnons par absurde et supposons que x∗ n’est
pas un minimum global, donc
∃x ∈ S : f (x) < f (x ) .
∗
(2.1)
On peut donc choisir un λ suffisamment petit dans ]0, 1[ tel que y = x∗ + λ (x − x∗ ) soit dans
B (r, x∗ ). De la convexité de f on déduit que
f (y) = f (x∗ + λ (x − x∗ )) ≤ (1 − λ) f (x∗ ) + λf (x) ,
de la relation (2.1), on aura
f (y) < (1 − λ) f (x∗ ) + λf (x∗ ) = f (x∗ ) .
Ceci étant en contradiction avec le fait que x∗ est un minimum local.
2.2 Résultats d’existence et d’unicité

On considère à présent le problème d’optimisation
(
min f (x)
n . (2.2)
x∈S⊂R
Avant d’étudier les propriétés de la solution (ou des solutions) de ce problème il faut s’assurer
de leur existence. Nous donnerons ensuite des résultats d’unicité.
2.2.1 Existence
Nous voyons dans cette section deux conditions suffisantes d’existence d’extrema globaux :
la compacité du domaine et la coercivité de la fonction.
Pour une fonction f et un ensemble S quelconques, la solution du problème (2.2) peut
ne pas existée. Cependant, si S est un sous ensemble propre de Rn . le théorème classique de
Weierstrass ci-dessous donne une condition suffisante assurant l’existence de la solution.
Théorème 2.2. [Weierstrass](Compacité du domaine)
Soient S un compact (i.e fermé et borné ) de Rn et f : S −→ R. Si f est continue alors
f atteint ces bornes (i.e f admet un minimum ainsi qu’un maximum global sur S) c.à.d
∃x∗ ∈ S : inf f (x) = min f (x) = f (x∗ ) ,

x∈S x∈S
et
∃x∗∗ ∈ S : sup f (x) = max f (x) = f (x∗∗ ) .
x∈S x∈S
Démonstration. L’image d’un compact par une application continue est un compact. Ainsi f (S)
est un compact de R, c’est - à- dire un fermé borné. Puisque f (S) est borné il admet une borne
inférieure LB ainsi qu’une borne supérieure U B. Par définition il existe une suite de points de
f (S) convergeant vers U B, puisque f (S) est fermé, U B ∈ f (S). La même raisonnement montre
que LB ∈ f (S). Donc f −1 ({LB}) est non vide, et tous ses éléments sont des minima globaux
de f sur S, et de même f −1 ({U B}) est non vide et tous ses points sont des maxima globaux
de f sur S.

Ce résultat n’est utile que face à un problème d’optimisation sous contraintes, car dans ce
cas le domaine est toujours un fermé de Rn et c’est le seul cas où il peut être borné.
Exemple 2.1. Soit f : R2 −→ R une application continue et soit C = {(x1 , x2 ) ∈ R2 : x21 +x22 =
1} le cercle unité. Alors f admet au moins un maximum et un minimum sur C. En effet C est
un compact de R2 : d’une part c’est un fermé puisque c’est la pré image du fermé {1} de R
par l’application continue (x1 , x2 ) −→ x21 + x22 , d’autre part c’est un borné puisque la norme de
(x1 , x2 ) ∈ C est uniformément majoré (égale à 1 pour la norme k.k2 ).
Rappelons que si S = Rn , le problème

(
min f (x)
(2.3)
x ∈ Rn .
est dit problème d’optimisation sans contraintes. Le théorème de Weierstrass ne peut s’appli-
qué dans cette situation, vue la non compacité de S. La notion de fonction coércive devient
primordiale.
Définition 2.3. [Fonction Coercive]
Soit f : Rn −→ R, f est dite coercive si
lim f (x) = +∞.

kxk→+∞
Figure 2.5 – Exemples de fonction coercives
Figure 2.6 – Exemples de fonction non coercives
Exemple 2.2. 1. x 7→ x2 , est coercive (car : lim|x|→+∞ x2 = +∞).

2. (x1 , x2 ) 7→ x21 + x22 , est coercive (car x21 + x22 = k(x1 , x2 k2 → +∞).
k(x1 ,x2 k→+∞

3. (x1 , x2 ) 7→ −2
x1 n’est pas coercive. En effet, si on considère la suite ∀n, xn = (0, n),
x2 ,
2
on a bien limn→∞ kxn k = +∞, or limn→∞ f (xn ) = limn→∞ (−n2 ) = −∞.

4. Une fonction polynomiale f : R −→ R de degré pair > 0 est coercive sur R si seulement
si le α coefficient de son terme de plus haut degré est > 0 : en effet lim f (x) = +∞ si
kxk→+∞
α > 0 et lim f (x) = −∞ si α < 0.
kxk→+∞
5. Une fonction polynomiale de degré impaire est jamais coercive sur R, mais en notant α
le coefficient de son terme de plus haut degré, elle est coercive sur tout intervalle fermé
[c, +∞[ : en effet lim f (x) = +∞ si α > 0 et ]−∞, c] si α < 0.
kxk→+∞
6. Soit A une matrice carrée d’ordre n symétrique, définie positive et b un vecteur de Rn .
Alors la fonction f définie par
1
f (x) = hAx, bi − hb, xi,
2
est coercive (voir correction de l’exercice (4.8).
Théorème 2.3. [Existance](Une application coercive a un minimum)
Soit f : Rn −→ R, continue et coercive. Alors le problème (2.3) admet au moins une
solution .
a
a. Si −f est coercive, f admet un maximum global.
Démonstration. On pose
infn f (x) = d,
x∈R
comme f prend ces valeurs dans R,
d < +∞.
On a (
∀ε > 0, ∃x (ε) : f (x) − ε < d
∀n > 0, ∃xn : f (xn ) − n1 < d,
alors
1
d < f (xn ) < d + .
n
On a construit une suite (xn )n∈N (appelée suite minimisante) tel que
lim
n→∞
f (x n ) = d. (2.4)
La suite (xn )n∈N est bornée. En effet, raisonons par absurde et supposons que (xn )n∈N n’est pas
bornée, en déduit que limn→∞ kxn k = +∞, la coércivité de f , implique que limn→∞ f (xn ) =
+∞, ceci étant en contradiction avec (2.3) , la bornétude de (xn )n∈N s’ensuit. On peut extraire
de (xn )n∈N une sous suite convergente
(xnk )nk / nlim
→∞
x nk = x ∗
,
k
d’où
lim f (xnk ) = f (x ) = d.
∗
nk →∞
Ainsi, le problème (2.2) admet une solution.

Toutefois, on n’a pas forcément unicité. Nous donnons ci-dessous un critère pour l’unicité.
2.2.2 Unicité

2.3. CONDITIONS D’OTPIMALITÉ 36
Figure 2.7 – minima (globaux) d’une fonction coercive (non convexe)
Théorème 2.4. (Unicité)

Soit f : Rn −→ R, si le probleme (2.3) admet une solution et si f est strictement convexe,
alors la solution est unique.
Démonstration. Raisonnons par absurde et supposons qu’ils existent deux solutions pour (2.3)
x1 , x2 avec x1 6= x2 et f (x1 ) = f (x2 ) = d. Comme f est strictement convexe et en particulier
1
pour λ = 2 , on aura

1 1 1 1
f x1 + x2 < f (x1 ) + f (x2 ) = d,
2 2 2 2
ceci étant en contradiction avec le fait que d est le minimum. Donc x1 = x2 .
Définition 2.4. [Fonction Elliptique]
Soit f : R −→ R, avec f ∈ C . On dit que f est elliptique de constante α > 0 si
n 1
2
∀x, y ∈ R : h∇f (x) − ∇f (y) , x − yi ≥ α kx − yk .
n
α est la constante d’ellipticité.
Théorème 2.5
Toute fonction elliptique et coércive est strictement convexe, en particulier le pro-
blème (2.3) admet une et une seule solution.
2.3 Conditions d’Otpimalité

Nous voyons ici des conditions nécessaires, suffisantes, à l’ordre 1 et à l’ordre 2, pour qu’un
point dans l’intérieur du domaine soit un extremum local d’une application ( 1 ou 2 fois )
différentiable . C’est l’outil principalement utilisé dans la recherche des extrema locaux en
optimisation sans contraintes. 1 .
Considérons le problème d’optimisation suivant
(
min f (x)
(2.5)
x ∈ S ⊆ Rn .
1. Attention tout ceci n’est valable que dans l’intérieur du domaine (ou autrement dit sur un domaine ouvert)

Définition 2.5. [Direction admissible]

On dit qu’un vecteur d ∈ Rn , d 6= 0 est une direction admissible au point x dans S, s’il
existe α0 > 0 tel que x + αd ∈ S pour tout α ∈ [0, α0 ] . (voir la figure (??)).
Figure 2.8 – Illustration en deux dimensions de la direction admissible : d1 est une direction
admissible, d2 n’est pas une direction admissible,
Exemple 2.3. S = {(x1 , x2 ) ∈ R : x1 , x2 ≥ 0} =

2
R+ .
2
1. Pour x = (1, 0) , l’ensemble des directions admissibles au point x est l’ensemble D (x) =
T
{d = (d1 , d2 ) ∈ R2 : d2 ≥ 0}.
T
{d ∈ R2 : d1 ≥ 0} .
T
R2 .
Proposition 2.2
Si x ∈ int S, alors D (x) = R .
n
Démonstration. Pour un x ∈ int S , il existe r > 0 tel que B (x, r) ⊂ S. Soit le vecteur d ∈ Rn ,
alors on peut trouvez t > 0 suffisamment petite tel que x + td ∈ B (x∗ , r). En prenant α0 = t,
on a pour tout α ∈ [0, α0 ], le vecteur x + αd ∈ S, d’où d ∈ D (x).
Si l’ensemble S est convexe, l’ensemble D (x), n’est rien d’autre que la translaté de S. Afin
de vérifier ceci, nous aurons besoin de la définition suivante
Définition 2.6. [Cône]
On dira que Ω ⊂ R est un cone si ∀x ∈ Ω, ∀β > 0 : βx ∈ Ω.
n
Exemple 2.4. 1. L”orthan positif Rn+ est un cône.

2. Pour tout x ∈ Ω, l’ensemble D (x) est un cône.
Proposition 2.3
Si Ω est convexe, alors pour tout x ∈ Ω, D (x) = Ω − x.
Démonstration. Soit d ∈ Ω − x, ∃y ∈ Ω : d = y − x. Pour tout ∀λ ∈ [0, 1] , (1 − λ)x + λ (y − x) ∈

Ω, en prenant α0 = 1, d = (y − x) est bien une direction admissible au point x. Prenant à
présent d ∈ D (x), ∃α0 > 0, tel que ∀α ∈ ]0, α0 [, x + αd ∈ Ω, d’où αd ∈ Ω − x

Remarque 2.1. Une autre façon pour montrer que D (x ) = Ω − x est de monter D (x ) ⊆
∗ ∗ ∗
Ω − x∗ et D (x∗ ) ⊇ Ω − x∗ .
Exemple 2.5. R+ est un cone.
Proposition 2.4
D (x∗ ) est un cône si et seulement si D (x∗ ) = Ω − x∗ .
Démonstration. 1. Soit d ∈ D (x∗ ) h =⇒i ∃α0 > 0 : ∀α ∈ [0, α0 ] x∗ + αd ∈ Ω. Pour

β > 0, alors x∗ + αβd ∈ Ω, ∀α ∈ 0, αβ0 .
2. Soit d ∈ D (x∗ ), donc ∃α0 > 0 ∀ ∈ α ∈ [0, α0 ] =⇒ αd ∈ Ω − x∗ .

D’autre part, d ∈ D (x∗ ) =⇒ α1 d ∈ D (x∗ ) car D (x∗ ) est un cone =⇒ α α1 d ∈
Ω − x∗ =⇒ d ∈ Ω − x∗ .
Théorème 2.6. [Condition Nécessaire d’optimalité du premier Ordre]

Supposons que f est de classe C 1 , si x∗ réalise un minimum (global ou local) pour (2.5)
alors ∀d ∈ D (x∗ ) : hd, ∇f (x∗ )i ≥ 0.
Démonstration. Soit d ∈ D (x∗ ). Donc, ∃α0 > 0, ∀α ∈ [0, α0 ] =⇒ x∗ + αd ∈ S.

Considérons la fonction : ϕ (α) = f (x∗ + αd) , on a
ϕ (α) = ϕ (0) + αϕ (0) + o (α) ,

0
avec ϕ (0) = ∇f (x ) d = h∇f (x∗ ) , di . Pour α suffisamment petit, on a

0 ∗ T
f (x + αd) ≥ f (x ) =⇒ α h∇f (x ) , di + o (α) ≥ 0,

∗ ∗ ∗
=⇒
α h∇f (x ) , di + o (α) ≥ 0,
∗
on divise par α et on le fait tendre vers 0, on obtient
h∇f (x∗ ) , di ≥ 0.
La figure (2.9) est une illustration de Condition Nécessaire d’optimalité du premier Ordre
(CN1).
Remarque 2.2. Lorsque la fonction n’est pas convexe, on ne peut donner qu’une condition
nécessaire et suffisante d’optimalité locale.
On va maintenant regarder de plus près le cas où S = Rn , c’est à dire le problème sans
contraintes (??).
Théorème 2.7
Si S = Rn dans le problème (2.5), f est différentiable et si x∗ est un minimum local pour
f , alors ∇f (x∗ ) = 0.
Démonstration. D’aprés le théorème précédent (2.3), on a ∀d ∈ D (x∗ ) = Rn : h∇f (x∗ ) , di ≥ 0,

donc h∇f (x ) , di = 0 pour tout d ∈ R , ce qui implique que ∇f (x ) = 0.
∗ n ∗

Figure 2.9 – Illustration de CN1 : x1 ne vérifie pas la CN1, mais x2 vérifie la CN1.
Définition 2.7
Un point x∗ de Rn vérifiant ∇f (x∗ ) = 0 est appelé point critique ou point stationnaire
.
Remarque 2.3. 1. La relation ∇f (x∗ ) = 0 est aussi appelée équation d’Euler.

2. Ce théorème (2.3) n’a pas de sens si la fonction f n’est pas différentiable comme le montre
dans la figure (2.10).
3. Toutefois, la réciproque du théorème (2.3) est fausse comme le voir dans la figure (2.11).
Cela signifie que le point critique n’est pas nécessairement un minimum global. Ce peut-
être un minimum local (cf. figure(2.11) : point B), un maximum local (cf. figure(2.11) :
point C) ou ni l’un, ni l’autre (cf. figure(2.11) : point A).
4. Le résultat de ce théorème (2.3), est une condition nécessaire qui n’est en général pas
suffisante (cf. la fonction f de R dans R définie par f (x) = x3 ).
Figure 2.10 – Minimum d’une fonction non différentiable.
Théorème 2.8. [Condition Nécessaire du 2ème Ordre]

Soient f est de classe C 2 , x∗ est un minimum local pour (2.5) et d ∈ D (x∗ ). Si
hd, ∇f (x∗ )i = 0 alors hd, ∇2 f (x∗ ) di ≥ 0.
Démonstration. Raisonnons par l’absurde. Supposons qu’il existe d admissible au point x∗ tel
que hd, ∇f (x∗ )i = 0 et hd, ∇2 f (x∗ ) di < 0. On a
2 D E
α
f (x∗ + αd) = f (x∗ ) + α hd, ∇f (x∗ )i + d, ∇2 f (x∗ ) d + o α2 ,
2
Figure 2.11 – Points critiques non optimaux.
Figure 2.12 – x∗ = 0 vérifie la CN1 mais n’est pas un minimum de f .
donc,
2 D E
α
f (x∗ + αd) − f (x∗ ) = α hd, ∇f (x∗ )i + d, ∇2 f (x∗ ) d + o α2 ,
2
pour α assez petit, on obtient
f (x∗ + αd) − f (x∗ ) < 0.
c’est une contradiction avec le fait que x∗ minimum local.
◦
Corollaire 2.1. [x∗ ∈ S]
Soit f ∈ C 2 , x∗ minimum local pour ( ) alors
(
∇f (x∗ ) = 0
hd, ∇2 f (x∗ ) di ≥ 0, ∀d ∈ Rn .
Démonstration. La première est évident.

D’aprés la condition nécessaire d’ordre 2, on a : hd, ∇2 f (x∗ ) di ≥ 0, ∀d ∈ D (x∗ ) = Rn , donc
∇2 f (x∗ ) est semi définie positive.
" #
0
Exemple 2.6. Soit f (x) = x21 − x22 et S = R . Pour x =
2 ∗
on a ∇f (x∗ ) = 0R2 et
0
" #
2 0
∇ f (x ) =
2 ∗
. On remarque que ∇2 f (x∗ ) n’est pas semi définie positive alors x∗ n’est
0 −2
pas un minimum local.

2.4. EXERCICES CORRIGÉS 41
Théorème 2.9. [Condition Nécessaire et suffisante d’Ordre 1]

Soit f une fonction de classe C 1 et f est convexe sur l’ouvert convexe S, alors x∗ est un
minimum global pour (2.5) si et seulement si hx − x∗ , ∇f (x∗ )i ≥ 0, ∀x ∈ S.
Démonstration. x∗ est un minimum global, alors hd, ∇f (x∗ )i ≥ 0, ∀d ∈ D (x∗ ) = S − x∗ =⇒

hx − x∗ , ∇f (x∗ )i ≥ 0, ∀x ∈ S.
Soit f ∈ C 1 et f convexe, alors ∀x, y ∈ Rn : f (y) ≥ f (x) + hy − x, ∇f (x)i , En particulier
pour y = x et x = x∗ : f (x) ≥ f (x∗ ) + hx − x∗ , ∇f (x∗ )i =⇒ f (x) − f (x∗ ) ≥ 0 ∀x ∈ S.
Donc x∗ est un minimum global pour (2.5).
Remarque 2.4. L’inégalité hx − x∗ , ∇f (x∗ )i ≥ 0, ∀x ∈ S est appelée inégalité variationnelle.
Théorème 2.10. [Condition Nécessaire et suffisante d’Ordre 2]

Soit f une fonction de classe C 2 , si on suppose que x∗ vérifie
(
∇f (x∗ ) = 0
hd, ∇2 f (x∗ ) di > 0, ∀d ∈ Rn+ .
Alors x∗ est un minimum local strict.
Démonstration. Comme hd, ∇2 f (x∗ ) di est définie positive, alors

D E
2 2
∀d ∈ R+
n
: d, ∇ f (x ) d > 0 ≥ λmin kdk > 0.
∗
On a
1 D
2
E
2

f (x + d) − f (x ) = hd, ∇f (x )i +
∗ ∗ ∗
d, ∇ f (x ) d + o kdk ,
∗
2
quand d est trop petit
f (x∗ + d) > f (x∗ ) ,
donc x∗ est un minimum local strict.
2.4 Exercices corrigés

Exercice 2.1. Soit f : Rn → R, qui atteint ses extremums sur l’ensemble S de Rn . Montrer
que
min f (x) = − max −f (x) .
x∈S x∈S
Corrigé 2.1
Soit x = arg minx∈S f (x). On a

∗
min f (x) = f (x∗ ) ≤ f (x) , ∀x ∈ S,

x∈S
alors
−f (x) ≤ −f (x∗ ) , ∀x ∈ S,
= max −f (x) = − min f (x) .
x∈S x∈S
D’où le résultat.

Exercice 2.2. Les fonctions f suivantes sont-elles coercives ?

1. f : R → R définie par J(x) = 2x3 + x2 − 1.
2. f : Rn → R définie par f (x) = aT x + b avec a ∈ Rn et b ∈ R.
3. f : R2 → R définie par f (x) = x2 + y − 1.
4. f : R → R définie par f (x) = x + y − 1000x − 5000.
2 2 2
Corrigé 2.2
1. Non, car lim x2 = −∞ quand x −→ −∞.

2. Si a = 0 alors f est constante et ne peut pas être coercive. Si a 6= 0, il existe i0 , 1 ≤ i0 ≤ n
tel que ai0 6= 0. On prend la suite xk = −kai0 ei0 (où ei est le i ème vecteur de base).
Lorsque k −→ +∞, on a kxk k −→ +∞ et f (xk ) −→ −∞. J n’est donc jamais coercive.
3. Non : prendre la suite xn = (0, −n) comme un contre-exemple.
4. Oui, car f (x, y) = (x − 500)2 + y 2 − 255000.
Exercice 2.3. On se donne le problème d’optimisation suivant :

(
1 2 9
min f (x) = x21+ + 3x2 +
x
2 2 2
x1 ≥ 0 et x2 ≥ 0
1. La Condition Nécessaire du Premier ordre (CN1) pour un minimum local est-elles vérifier
au point x = [1, 3]> ?
2. La CN1 pour un minimum local est-elles vérifier au point x = [0, 3]> ?
3. La CN1 pour un minimum local est-elles vérifier au point x = [1, 0] ? >
4. La CN1 pour un minimum local est-elles vérifier au point x = [0, 0]> ?
Corrigé 2.3
Soient f (x) = x21 + 12 x22 + 3x2 + 9

2
et Ω = R2+ .
On a " #
2x1
∇f (x) = .
x2 + 3
" # " #
1 2
1. Pour x = ∗
, D (x ) = R , dans ce cas ∇f (x ) =
∗ 2 ∗
6= 0R2 . Donc, x∗ ne vérifie
3 6
pas la CN1.
" # " #
0 0
2. Pour x = ∗
, on a : D (x ) = {d = (d1 , d2 ) ∈ R : d1 ≥ 0} et ∇f (x ) =
∗ 2 ∗
. Donc,
3 6
" #
d1
h∇f (x ) , di = 6d2 où d =
∗
. Pour que d soit admissible au x∗ , il suffit de prendre
d2
d1 ≥ 0 et d2 ∈ R. On conclus
" #que x ∗
ne vérifie pas la CN1, car d2 peut prendre des
2
valeurs négatives i.g d = admissible mais h∇f (x∗ ) , di = 6 (−9) < 0.
−9
" # " #
1 0
3. Pour x = ∗
, D (x ) = {d = (d1 , d2 ) ∈ R : d1 ≥ 0} et ∇f (x ) =
∗ 2 ∗
. On a :
0 6
" #
−12
h∇f (x ) , di = 2d1 +3d2 , soit d =
∗
admissible, par contre h∇f (x∗ ) , di = 2 (−12)+
5
3 (5) < 0, alors x∗ ne vérifie pas la CN1.

" # " #
0 0
4. Pour x =∗
, D (x∗ ) = {d = (d1 , d2 ) ∈ R2 : d1 , d2 ≥ 0} et ∇f (x∗ ) = . On a :
0 3
h∇f (x∗ ) , di = 3d2 ≥ 0, alors x∗ vérifie la CN1.
Exercice 2.4. Un agriculteur souhaite améliorer le rendement de son exploitation en utilisant

un engrais. Une étude a montré que le rendement, en tonnes par hectare, de sa variété de blé
s’écrit f (B, N ) = 120B − 8B 2 + 4BN − 2N 2 . où B est la quantité de semences de blé utilisées
et N la quantité d’engrais azoté pulvérisée.
1. Dans cette question N = 0. On note alors F (B) le rendement (égal à f (B, 0)). La fonction
F a-t-elle un maximum ? Pourquoi ? Si oui, que vaut ce maximum et en quelle valeur est-il
atteint ?
2. Montrer que f a un point critique. Calculer la valeur de f pour ce point. Calculer la
Hessienne de f en ce point, ainsi que la forme quadratique associée. En déduire la nature
du point critique. Comparer les valeurs obtenues avec celles de la question 1.
Corrigé 2.4
1. La fonction F est F (B) = f (B, 0) = 120B − 8B 2 . Sa dérivée est F 0 (B) = 120 − 16B
15 00 15 15
elle s’annule en B = et F ( ) = 120 > 0, on a donc un maximum local en .
2 2 2
Ce maximum est global car F est une fonction polynôme du second degré. Le rendement
15
maximum vaut alors ) = 540 .
2
2. On annule les dérivées partielles de f
∂f
= 120 − 16B + 4N = 0,
∂B
∂f
= 4B − 4N = 4(B − N ) = 0.
∂N
La deuxième équation donne B = N . En reportant dans la première équation on trouve
120 − 12B = 0 donc le point critique est (B, N ) = (10, 10). La matrice Hessienne est
La forme quadratique associée est q(x, y) = −16x2 + 8xy − 4y 2 − (4x − y)2 − 3y 2 . La
forme q est donc définie négative, et le point critique correspond à un maximum de f. Le
rendement en ce point vaut f (10, 10) = 600. Le rendement est donc amélioré.
2 2 2
Exercice 2.5. Soit la fonction f (x) = 100 (x2 − x1 ) + (1 − x1 ) et les points
a = (1, 1) et b = (−1, 2) .
> >
1. Calculer f (a), f (b), ∇f (a) et ∇f (b).

2. Discuter les conditions d’optimalité aux points a et b sur la base des résultats obtenus en
(1) .
3. La direction d = a − b est-elle une direction de descente en b? Justifier.
Corrigé 2.5
1. f (a) = 0, f (b) = 104, ∇f (a) = (0, 0) , ∇f (b) = (396, 200) .

> >
2. ∇f (a) = 0 =⇒ a peut être un point extrême. ∇f (b) 6= 0 =⇒ b ne peut pas être un point
extrême.
3. d = a − b = (2, −1) =⇒ h∇f (b), di = 592 > 0. Ça veut dire que d est une direction pas
>
descente en b.

Exercice 2.6. On considère le problème de minimisation sur R , de la fonction g définie par :

2
∀ (x1 , x2 ) ∈ R2 , g(x1 , x2 ) = x21 + x22 + x1 x2 .

1. Montrer que la fonction g est coercive.
2. Montrer que la fonction g est strictement convexe sur R2 .
3. En déduire que g possède un unique minimum sur R2 et le déterminer.
Corrigé 2.6
1. On a : !2
x1 + x2 x21 x22 x21 x22 1 2
g(x1 , x2 ) = √ + + ≥ + = k(x1 , x2 )k ,
2 2 2 2 2 2
et la fonction donc est coercive.
!
2 1
2. La matrice hessienne de g en tout point x ∈ R est égale à 2
. Cette matrice est
1 2
définie positive (par le critère de Sylvester par exemple) et donc g est strictement convexe.
3. g est continue et coercive donc possède au moins un minimum sur R2 . De plus, g est
strictement convexe donc ce minimum est unique. Ce minimum est à rechercher parmi
les points critiques : (
2x1 + x2 = 0
x1 + 2x2 = 0,
soit x1 = x2 = 0. Il s’agit donc un minimum de g.
Exercice 2.7. On se place dans R2 , et on note x = (x1 , x2 ) . On considère la fonction f de R2
dans R définie par :
1 1 2 2

f (x) = hx, Bxi + hx, bi = x1 + αx2 + x1 ,
2 2
où B et une matrice symétrique 2 × 2, b un vecteur de R2 et α ∈ R.
1. Préciser B et b, calculer ∇f (x).
2. Donner une condition nécessaire pour que x soit minimum (lacal) de f.
(a) Si α = 0, montrer que f possède un minimum et qu’il y a une infinité de x réalisant
ce minimum.
(b) Si α 6= 0, quel est l’élément x∗ pouvant éventuellement réaliser le minimum ?
(c) Si α > 0, x∗ réalise-t-il le minimum de f ? pourquoi ?
(d) Si α < 0, montrer que f ne possède pas de minimum.
Corrigé 2.7
1. Précisions B et b : !

x1 +1
1 0
∇f (x1 , x2 )= , ∇ f (x1 , x2 )=
2
,
αx2 0 α
! ! !
1 0 x1 x1
(x1 , x2 ) = (x1 , x2 ) = x21 + αx22 .
0 α x2 αx2
Donc, f (x1 , x2 ) = 21 h(x1 , x2 ) , H (x1 , x2 )i + h(x1 , x2 ) , (1, 0)i.
!
1 0
D’où, B = H = et b = 10 .
0 α

(
x1 = −1
2. ∇f (x) = 0 ⇐⇒
αx2 = 0
(
x1 = −1
(a) Si α = 0 =⇒ il y a une infinité de solutions.
∀x2
(
x1 = −1
(b) Si α 6= 0 =⇒ =⇒ x∗ = (−1, 0).
x2 = 0
(
x1 = −1
(c) Si α > 0 =⇒ =⇒ x∗ = (−1, 0) est un minimum local strict, car H est
x2 = 0
définié positive.
(d) Si α < 0, f ne possède pas de minimum car :la matrice H n’est pas semi définié
positive.
Exercice 2.8. Soit
f (x, y) = x3 + y 3 − 3xy
1. Trouver tous les points (xb, yb) ∈ R tels que ∇f (xb, yb) = (0, 0) .
2 T
2. Parmi les points (x, y ) ∈ R tels que ∇f (x, y ) = (0, 0) , trouvez ceux qui sont des
b b 2 b b T
solutions optimales locales strictes et celles qui ne sont pas des solutions optimales locales
strictes. Justifiez votre réponse.
Corrigé 2.8
1. Calculons les points stationnaires :

∂f
∂x
(x, y) = 3x 2
− 3y.
∂f
∂y
(x, y) = 3y 2
− 3x.
( (
3x 2
− 3y = 0 x 2
−y =0
∇f (x, y) = (0, 0) ⇔
T
⇔ .
3y − 3x = 0
2
y −x=0
2
Les solution de ce système sont (xb1 , yb1 ) = (0, 0) et (xb2 , yb2 ) = (1, 1) .
!
6x −3
2. On a : ∇ f (x, y) =
2
,
−3 6y
(a) pour (xb1 , yb1 ) = (0, 0) , on a
!
2 0 −3
∇ f (xb1 , yb1 ) = est semi définie positive.
−3 0
Donc (0, 0) n’est pas une solution maximale locale et n’est pas une solution minimale
locale.
(b) pour (xb2 , yb2 ) = (1, 1) , on a
!
2 6 −3
∇ f (xb2 , yb2 ) = est définie positive.
−3 6
Donc (1, 1) est une solution minimale locale stricte.
Exercice 2.9. Soit f : R2 −→ R telle que f ∈ C 2 (R2 ) et (x, y) ∈ R2 .
1. On suppose que ∇f (x, y) = (0, 0) et
T
" # " #2
∂ 2f ∂ 2f ∂ 2f ∂ 2f
2
(x, y) . 2 (x, y) − (x, y) >0 et 2
(x, y) > 0.
∂x ∂y ∂x∂y ∂x
Montrez que (x, y) est une solution minimale locale stricte.

2. On suppose que ∇f (x, y) = (0, 0) et T
" # " #2
∂ 2f ∂ 2f ∂ 2f ∂ 2f
2
(x, y) . 2 (x, y) − (x, y) >0 et 2
(x, y) < 0.
∂x ∂y ∂x∂y ∂x
Montrez que (x, y) est une solution maximale locale stricte.

3. On suppose que ∇f (x, y) = (0, 0) et T
" # " #2
∂ 2f ∂ 2f ∂ 2f
(x, y) . (x, y) − (x, y) <0 .
∂x2 ∂y 2 ∂x∂y
Montrez que (x, y) n’est pas une solution minimale locale stricte et (x, y) n’est pas une
solution maximale locale stricte.
Corrigé 2.9
Dans tout cet exercice, on applique la condition suffisante d’optimalité suivante : Si ∇f (x, y) = T
(0, 0) et ∇2 f (x, y) est semi définie positive, alors (x, y) est une solution minimale locale stricte.
Puisque ∇f (x, y) = (0, 0) , étudions la définie positivité ou la définie négativité de ∇2 f (x, y) .
T
 
∂2f ∂2f
2 ∂x2
(x, y) (x, y)
∇ f (x, y) =  ∂2f
∂x∂y
∂2f

∂x∂y
(x, y) ∂y 2
(x, y)
Soit(x, y) ∈ R2 t.q (x, y) 6= (0, 0) .

!
2 2 2
2 x 2 ∂ f 2 ∂ f ∂ f
(x, y) ∇ f (x, y) =x 2
(x, y) + y 2
(x, y) + 2xy (x, y) .
y ∂x ∂y ∂x∂y
∂2f ∂2f 2 ∂2f
Posons a = (x, y) , b =
∂x2
2y ∂x∂y (x, y) et c = y ∂y2 (x, y) .
!
x
Alors : (x, y) ∇ f (x, y)
2
= ax2 + bx + c.
y
1. Si 4 = b2 − 4ac < 0, alors ax2 + bx + c de signe de a, or
!2
2 2 2
∂ f ∂ f ∂ f
b2 − 4ac = 4y 2 (x, y) − 4y 2
(x, y) (x, y)
∂x∂y ∂x2 ∂y 2
 !2 
2 2 2
2 ∂ f ∂ f ∂ f
= 4y  (x, y) − 2 (x, y) 2 (x, y)
∂x∂y ∂x ∂y
2
∂2f ∂2f ∂2f
y 6= 0 =⇒ 4y 6= 0. Donc le signe de ax +bx+c est de signe
2 2
∂x∂y
(x, y) − ∂x2
(x, y) ∂y 2
(x, y) ,
!2
∂ 2f ∂ 2f ∂ 2f
4 < 0 ⇐⇒ (x, y) − 2 (x, y) 2 (x, y) > 0.
∂x∂y ∂x ∂y
!
x ∂2f
Alors le signe de (x, y) ∇ f (x, y) 2
sera de signe de a = ∂x2
(x, y) , c’est à dire :
y
!
∂2f x
Si ∂x2
(x, y) > 0 alors (x, y) ∇ f (x, y) 2
> 0 et (x, y) est une solution minimale locale
y
stricte. !
∂2f x
2. Si ∂x2
(x, y) < 0 alors (x, y) ∇ f (x, y) 2
< 0 et (x, y) est une solution maximale
y
locale stricte

3. Si 4 = b − 4ac > 0, alors ax + bx + c n’a pas un signe constant, c’est-à-dire entre

2 2
les racines x1 et x2 , ax2 + bx + c aura un signe (+ ou −) et à l’exterieur des racines,

ax2 + bx + c aura un autre signe.
D’aprés l’étude fait en 1) et 2).
!
2 2 x
∂2f ∂2f
Si ∂x∂y (x, y) − ∂x2 (x, y) ∂y2 (x, y) < 0 alors 4 > 0 et (x, y) ∇ f (x, y)
∂ f 2
> 0 n’aura
y
pas un signe constant dans R2 mais dépend de x et y. En d’autres termes ∇2 f (x, y) n’est
pas semi définie positive alors (x, y) n’est pas une solution minimale locale stricte et (x, y)
n’est pas une solution maximale locale stricte.
Exercice 2.10. Soit la fonction g : R2 −→ R donné par :

2 2 2 2
g(x1 , x2 ) = x1 x2 + x1 + x2 + 2ax1 x2 , (a ≥ 0) .
1. Calculer ∇g (x1 , x2 ) et ∇2 g (x1 , x2 ).

2. Déterminer les points critiques de g s’ils existent selon les valeurs a, et déterminer leur
nature.
Corrigé 2.10
1. On calcul le gradient de g :
!
2x1 x22 + 2x1 + 2ax2
∇g (x1 , x2 ) = .
2x1 x2 + 2x2 + 2ax1
2
On calcul la matrice hessienne de g :

!
2 2x 2+2
2
4x1 x2 + 2a
∇ g (x1 , x2 ) = .
4x1 x2 + 2a 2x1 + 2
2
2. Les points critiques satisfont :
2x1 x22 + 2x1 + 2ax2 = 0

2x21 x2 + 2x2 + 2ax1 = 0,
. Si a = 0 : un seul point critique (0, 0).

. Si 0 < a < 1 : pas de point critique.
√ √ √ √
. Si a ≥ 1 : deux points critiques : a − 1, − a − 1 et − a − 1, a − 1 .
La nature : !
2 0
. Pour a = 0 : ∇ g (0, 0) =
2
, donc il s’agit d’un minimum local.
0 2
!
√ √ √ √ 2a 4a
. Pour a ≥ 1, ∇ g
2
a − 1, − a − 1 = ∇ g − a − 1, a − 1 =
2
, ∆1 =
4a 2a
a > 0, ∆2 = 16 (a − 1) > 0. On conclut que g admet deux points critiques des
minimums locaux.

CHAPITRE 3
ALGORITHMES D’OPTIMISATION SANS
CONTRAINTES
On considère le problème d’optimisation suivant :

(
min f (x)
(P ) (3.1)
x ∈ Rn .
Dans ce chapitre, nous présenterons les principes de base de certains algorithmes qui per-
mettent de calculer (de manière approchée) la ou les solution du problème d’optimisation sans
contraintes (3.1).
Il existe deux grandes classes de méthodes :
— Les méthodes dites “directes” ou bien “de descente”, qui cherchent à construire une suite
minimisante, c.à.d une suite (x(k) )k∈N telle que :
f (x(k+1) ) ≤ f (x(k) ), x(k) → x quand k → +∞.
— Les méthodes basées sur l’équation d’Euler, qui consistent à chercher une solution de
l’équation ∇f (x) = 0 (ces méthodes nécessitent donc que f soit dérivable).
Nous nous intéressons ici à une classe d’algorithmes qui sont basés sur la notion de direction
de descente, nous allons donc commencer par quelques définitions :
Définition 3.1. U
algorithme de résolution est définie par une application A : Rn → Rn qui permet, a
partir d’un point initial x(0) , de génération d’une suite d’éléments x(0) , x(1) , ..., x(k) , ... de
Rn par la formule :
(
(Initailisation) : x(0) donné, k = 0
(itération k) : x(k+1) = A (x(k) ) , k = k + 1.
Définition 3.2. O
dit qu’un algorithme est globalement convergent si, quel que soit le point initial x(0) choisi,
la suite {x(k) } engendre par x(k+1) ∈ A (x(k) )(ou une sous suite) converge vers un point
satisfaisant les conditions nécessaires d’optimalité (ou solution optimale).
48

Minimisation Sans Contraintes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Minimisation Sans Contraintes

Transféré par

Droits d'auteur :

Formats disponibles

CHAPITRE 2

MINIMISATION SANS CONTRAINTES

∀x ∈ S, f (x ) ≤ f (x) (resp f (x ) ≥ f (x) .)

∀x ∈ S, avec x 6= x∗ , f (x∗ ) < f (x) (resp f (x∗ ) > f (x)).

3. On dit que x∗ est un minimum local(resp un maximum local ) de f sur S, s’il

∀x ∈ B (r, x∗ ) ∩ S, f (x∗ ) ≤ f (x) (resp f (x∗ ) ≥ f (x)).

∀x ∈ B (r, x∗ ) ∩ S avec x 6= x∗ , f (x∗ ) < f (x) (resp f (x∗ ) > f (x)).

On rappelle qu’une boule de B centrée en x∗ de rayon r > 0 est l’ensemble

Figure 2.2 – Infinité de minima et de

Figure 2.4 – Graphe de x 7−→ x2 , x∗ = 0

max {f (x), x ∈ S} = − min {−f (x), x ∈ S}

∀x ∈ S : f (x) ≤ f (x∗ ) ⇔ ∀x ∈ S : −f (x) ≥ −f (x∗ )

⇔ f (x∗ ) = − min {−f (x), x ∈ S}.

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

2.2 Résultats d’existence et d’unicité

∃x∗ ∈ S : inf f (x) = min f (x) = f (x∗ ) ,

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Rappelons que si S = Rn , le problème

lim f (x) = +∞.

Figure 2.5 – Exemples de fonction coercives

Figure 2.6 – Exemples de fonction non coercives

Exemple 2.2. 1. x 7→ x2 , est coercive (car : lim|x|→+∞ x2 = +∞).

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

on a bien limn→∞ kxn k = +∞, or limn→∞ f (xn ) = limn→∞ (−n2 ) = −∞.

a. Si −f est coercive, f admet un maximum global.

Ainsi, le problème (2.2) admet une solution.

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Figure 2.7 – minima (globaux) d’une fonction coercive (non convexe)

Théorème 2.4. (Unicité)

α est la constante d’ellipticité.

2.3 Conditions d’Otpimalité

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Définition 2.5. [Direction admissible]

Exemple 2.3. S = {(x1 , x2 ) ∈ R : x1 , x2 ≥ 0} =

Exemple 2.4. 1. L”orthan positif Rn+ est un cône.

Démonstration. Soit d ∈ Ω − x, ∃y ∈ Ω : d = y − x. Pour tout ∀λ ∈ [0, 1] , (1 − λ)x + λ (y − x) ∈

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Démonstration. 1. Soit d ∈ D (x∗ ) h =⇒i ∃α0 > 0 : ∀α ∈ [0, α0 ] x∗ + αd ∈ Ω. Pour

Théorème 2.6. [Condition Nécessaire d’optimalité du premier Ordre]

Démonstration. Soit d ∈ D (x∗ ). Donc, ∃α0 > 0, ∀α ∈ [0, α0 ] =⇒ x∗ + αd ∈ S.

ϕ (α) = ϕ (0) + αϕ (0) + o (α) ,

avec ϕ (0) = ∇f (x ) d = h∇f (x∗ ) , di . Pour α suffisamment petit, on a

f (x + αd) ≥ f (x ) =⇒ α h∇f (x ) , di + o (α) ≥ 0,

on divise par α et on le fait tendre vers 0, on obtient

Démonstration. D’aprés le théorème précédent (2.3), on a ∀d ∈ D (x∗ ) = Rn : h∇f (x∗ ) , di ≥ 0,

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Remarque 2.3. 1. La relation ∇f (x∗ ) = 0 est aussi appelée équation d’Euler.

Figure 2.10 – Minimum d’une fonction non différentiable.

Théorème 2.8. [Condition Nécessaire du 2ème Ordre]

Figure 2.11 – Points critiques non optimaux.

Figure 2.12 – x∗ = 0 vérifie la CN1 mais n’est pas un minimum de f .

Démonstration. La première est évident.

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM

Théorème 2.9. [Condition Nécessaire et suffisante d’Ordre 1]

Démonstration. x∗ est un minimum global, alors hd, ∇f (x∗ )i ≥ 0, ∀d ∈ D (x∗ ) = S − x∗ =⇒

Remarque 2.4. L’inégalité hx − x∗ , ∇f (x∗ )i ≥ 0, ∀x ∈ S est appelée inégalité variationnelle.

Théorème 2.10. [Condition Nécessaire et suffisante d’Ordre 2]

Alors x∗ est un minimum local strict.

Démonstration. Comme hd, ∇2 f (x∗ ) di est définie positive, alors

2.4 Exercices corrigés

Soit x = arg minx∈S f (x). On a

min f (x) = f (x∗ ) ≤ f (x) , ∀x ∈ S,

Université de Hassiba Benbouali–Chlef 2022-2023 Rachid BELGACEM