CHAPITRE 2

PROBLÈMES D’OPTIMISATION -
CONDITIONS D’OPTIMALITÉ

L’optimisation signifie trouver la meilleure solution parmi les nombreuses solutions réalisables qui
s’offrent à nous. Les solutions réalisables sont celles qui satisfont toutes les contraintes d’un problème
d’optimisation. La meilleure solution pourrait être de minimiser le coût d’un processus ou de maximiser
l’efficacité d’un système.

2.1 Exemple : Problème de production

Soit une firme fabriquant deux produits A et B à partir de produits M1 , M2 et M3 . La fabrication de
chaque unité de A et B nécessite les quantités des produits M1 , M2 et M3 données par le tableau suivant :
A B Stocks
M1 2 1 8
M2 1 2 7
M3 0 1 3
Gain/Unité 4 5
Combien doit-on produire d’unités de A et de B pour maximiser le profit total ?
Mise en equation :

Soit x1 le nombre d’unités produites de A et x2 le nombre d’unités produites de B.

x1 unités de A nécessitent :
• 2x1 unités du produit M1
• x1 unités du produit M2
• 0 unités du produit M3
x2 unités de B nécessitent :
• x2 unités du produit M1
• 2x2 unités du produit M2
• x2 unités du produit M3
> La quantité totale du produit M1 utilisée est 2x1 + x2 .
> La quantité totale du produit M2 utilisée est x1 + 2x2 .
> La quantité totale du produit M3 utilisée est x2 .
Les contraintes de stocks imposent que

2x1 + x2 ≤ 8, x1 + 2x2 ≤ 7, x2 ≤ 3.

> Le profit dégagé est 4x1 + 5x2 .

→ Le problème consiste à chercher x1 et x2 qui maximisent z = 4x1 + 5x2 tout en satisfaisant les
contraintes 2x1 + x2 ≤ 8, x1 + 2x2 ≤ 7, x2 ≤ 3, x1 , x2 ≥ 0.

17
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

2.2 Préliminaires et définitions

Soit f : Rn → R une fonction et C un sous-ensemble de Rn . D’une façon très général un problème de
programmation mathématique se présente sous la forme suivante

(P) min f (x).

x∈C

• La fonction f est appelée fonction objective ou fonction économique.

• C est appelé l’ensemble des contraintes ou l’ensemble des points admissibles, réalisables.
• Le vecteur x ∈ Rn a pour composantes x1 , x2 , ..., xn qui sont les inconnues du problème.
• Tout point réalisable x̄ de (P) vérifiant

f (x̄) = inf f (x) = min f (x)

x∈C x∈C

est appelé une solution ou solution globale. i.e.,

f (x̄) ≤ f (x) ∀x ∈ C.

• f (x̄) est appelé valeur optimale de f sur C.

• On note l’ensemble des solutions de (P) par ArgminC f , i.e.,

ArgminC f = {x ∈ C / f (x) = min f (y)}.

y∈C

• Tout point réalisable x̄ de (P) est dit solution locale de (P) s’il existe V ∈ v(x̄) tel que

f (x̄) ≤ f (x) ∀x ∈ V ∩ C.

La figure ci-dessous illustre, sur une fonction à une seule variable, les notions d’optimums global et
d’optimum local.

minimum local

minimum global

Figure 2.1 – Minimum local et global de la fonction f .

Comme nous le verrons, il est souvent possible de caractériser les optimums locaux d’un problème, c’est
à dire de donner des conditions nécessaires et / ou suffisantes pour qu’une solution x soit un optimum
local. Par contre, il est généralement impossible de caractériser les optimums globaux d’un problème
d’optimisation sauf dans le cas très particulier des programmes mathématiques convexes. Ceci explique
la difficulté de résolution des programmes mathéamatiques non convexes.

Page 18 sur 35 2.2. PRÉLIMINAIRES ET DÉFINITIONS

CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

Remarque 2.1 1) ArgminC f peut être égal à l’ensemble vide.

Exemple 2.1 Considérons la fonction f : R → R, x 7→ f (x) = ex .

On a
inf f (x) = 0
x∈R

Mais
@x ∈ R / f (x) = 0.
i.e., ArgminR f = ∅.

2) On a
sup (−f (x)) = − inf (f (x)).
x∈C x∈C

En effet, Posons
inf f (x) = f (x̄).
x∈C

i.e.,
f (x̄) ≤ f (x) ∀x ∈ C
Donc
−f (x̄) ≥ −f (x) ∀x ∈ C
Ainsi,
−f (x̄) = sup (−f (x)).
x∈C

i.e.,
− inf f (x) = sup (−f (x)).
x∈C x∈C

Donc, si on pose
(P) min f (x) et (Q) max −f (x)
x∈C x∈C

Par suite, (P) et (Q) ont même ensemble de solutions et des valeurs optimales opposées.
3) Par convention, inf f (x) = +∞ et sup f (x) = −∞.
x∈∅ x∈∅

Dans ce qui suit, nous n’envisageons que le cas de minimisation. Ceci n’est par restrictif dans la mesure
où la recherche du maximum d’une fonction f se ramène immédiatement au problème de la minimisation
de g = −f.

2.2.1 Quelques classes de problèmes de programmation

L’ensemble C prend la forme générale

C = {x ∈ S / hi (x) ≤ 0 , i = 1, ..., m et gi (x) = 0, j = 1, ..., p}

où S ⊆ Rn et les hi et gi des fonctions définies sur Rn .

La classification des différents types de problèmes d’optimisation que l’on peut rencontrer en pra-
tique, se fait suivant les propriétés de la fonction f , celle des fonctions hi , gi et suivant la définition du
sous-ensemble S de Rn .
Le problème (P) est dit problème :
→ Sans contraintes : Si C = Rn .
→ Linéaire : Si f est linéaire, f (x) = hc, xi = c> x et C est de la forme
0 0
C = {x ∈ Rn / a> >
i x = bi , i = 1, ..., m, aj x ≤ bj , j = 1, ...p}.

→ Différentiable : Si toutes les fonctions sont différentiables (f, hi , gi ).

→ Convexe : Si S est convexe, les fonctions f, hi sont convexes et gi sont linéaires (ou absentes).

Page 19 sur 35 2.2. PRÉLIMINAIRES ET DÉFINITIONS

CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

2.2.2 Existence de solutions

Théorème 2.1 (Weirstrass).

On suppose que C est compact et f est continue sur C, alors f atteint son infimum sur C. i.e.,

∃x̄ ∈ C t.q. f (x̄) ≤ f (x) ∀x ∈ C.

Preuve 14 Posons l = inf x∈C f (x). Montrons que

∃x̄ ∈ C t.q. f (x̄) = l.

D’après la caractérisation de la borne inférieure, on a

∀ > 0 ∃x ∈ C t.q. l +  > f (x ) ≥ l.

1
Pour  = n,
1
∃(xn )n ⊆ C t.q. l+ > f (xn ) ≥ l.
n
Par passage à la limite lorsque n → +∞,
1
l = lim l + ≥ lim f (xn ) ≥ lim l = l.
n→∞ n n→+∞ n→+∞

Ainsi,
lim f (xn ) = l = inf f (x).
n→+∞ x∈C

On a donc
∃(xn )n ⊆ C t.q. lim f (xn ) = inf f (x).
n→+∞ x∈C

((xn ) est appelée suite minimisante). Par définition de la limite, on a

∀ > 0 ∃N ∈ N t.q. ∀n ∈ N (n ≥ N ⇒ |f (xn ) − l| ≤ ).

Ainsi,
∀ > 0 ∃N ∈ N t.q. ∀n ∈ N (n ≥ N ⇒ l −  ≤ f (xn ) ≤ l + ).
On a donc,
∀n ∈ N, n ≥ N f (xn ) ≤ inf f (x) + .
x∈C

Puisque (xn )n ⊆ C et C est compact (en dimension finie). Alors, on peut extraire une suite qui converge
dans C, i.e.,
∃K ⊆ N, Kinfini t.q lim xk = x̄ ∈ C.
k→+∞
k∈K

Pour k ∈ K, k ≥ N, on a
f (xk ) ≤ inf f (x) + .
x∈C

Puisque f est continue, alors

f (x̄) ≤ inf f (x) + .
x∈C

Ceci est vrai pour tout  > 0. Donc

f (x̄) ≤ inf f (x) = l.
x∈C

Or
l = inf f (x) ≤ f (x) ∀x ∈ C.
x∈C

Ainsi,
f (x̄) ≤ l ≤ f (x) ∀x ∈ C
Donc,
f (x̄) ≤ l ≤ f (x̄).

Page 20 sur 35 2.2. PRÉLIMINAIRES ET DÉFINITIONS

CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

Par suite,
f (x̄) = l = inf f (x).
x∈C
D’où
∃x̄ ∈ C t.q. f (x̄) ≤ f (x) ∀x ∈ C.
2
Le corollaire suivant du théorème 2.1 est immédiat, mais est souvant utile dans les applications, par
exemple dans le cas de l’optimisation sans contraintes où l’on cherche un optimum sur Rn tout entier.

Corollaire 2.1.

Soit f : Rn → R une fonction réelle continue sur Rn . On suppose que f est coersive, i.e.,

lim f (x) = +∞.

kxk→+∞

Alors le problème
min f (x)
x∈Rn

admet une solution globale.

Preuve 15 Soit λ ∈ R tel que λ > inf x∈Rn f (x) Ainsi,

∃x ∈ Rn t.q. λ > f (x).
Alors,
Sλ (f ) = {x ∈ Rn / f (x) ≤ λ} =
6 ∅.
Par suite, le problème de la minimisation de f sur Rn se ramène au problème de minimisation de f
sur Sλ (f ). Ainsi, pour montrer que f atteint son infimum sur Rn , il suffit de montrer que f atteint son
infimum sur Sλ (f ), et donc il s’agit de montrer que Sλ (f ) est compact puis appliquer le théorème 2.1 de
Weirstrass.
• Montrons que Sλ (f ) est fermé
Soit (xn )n ⊆ Sλ (f ) tel que lim xn = x. Montrons que x ∈ Sλ (f ). On a (xn )n ⊆ Sλ (f ). Donc
n→+∞

f (xn ) ≤ λ
Ainsi, puisque f est continue, par passage à la limite lorsque n → +∞, on obtient
f (x) ≤ λ.
i.e.,
x ∈ Sλ (f ).
• Montrons que Sλ (f ) est borné
Supposons que Sλ (f ) est non borné, donc
∃(xk )k ⊆ Sλ (f ) t.q. kxk k → +∞.
Or, f est coersive, alors lim f (xk ) = +∞. D’autre part, (xk )k ⊆ Sλ (f ). Alors
kxk k→+∞

f (xk ) ≤ λ.
Par passage à la limite lorsque kxk k → +∞, on obtient +∞ ≤ λ. Absurde (λ ∈ R). Par suite
Sλ (f ) est borné. Ainsi, Sλ (f ) est compact et puisque f est continue, alors le problème
min f (x)
x∈Sλ (f )

admet au moins une solution (Weirstrass), et ainsi le problème

min f (x)
x∈Rn

admet au moins une solution. 2

Page 21 sur 35 2.2. PRÉLIMINAIRES ET DÉFINITIONS

CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

Corollaire 2.2.

Soit f : Rn → R une fonction coérsive continue sur Rn , et C un sous-ensemble fermé de Rn .

Alors, le problème
min f (x)
x∈C

admet au moins une solution.

Preuve 16 Distinguons les deux cas suivants :

1) Si C est bornée
Puisque C est fermé, alors C est compact. D’après le Théorème 2.1 de Weirstrass, le problème
(P) admet au moins une solution.
2) Si C est non bornée

∀A > 0, ∃r > 0 ∀x ∈ Rn kxk > r on a f (x) > A.

i.e.,
∀A > 0, ∃Bf (0, r) t.q. ∀x ∈ (Bf (0, r))c on a f (x) > A.
Alors,
inf f (x) = inf f (x).
x∈C x∈C∩Bf (0,r)

On a C ∩ Bf (0, r) est un compact, et donc d’après le Théorème 2.1 le problème

min f (x)
x∈C∩Bf (0,r)

admet au moins une solution x̄ ∈ C ∩ Bf (0, r). On a donc

f (x̄) = min f (x) = min f (x).

x∈C∩Bf (0,r) x∈C

Exercice 2.1.

On suppose que C est convexe

1) Montrer que si f est strictement convexe, alors le problème (P) admet au plus une
solution.
2) Montrer que si f est convexe, alors tout minimum local de (P) est un minimum global.

2.3 Optimisation non linéaire sans contraintes : Conditions d’op-

timalité
Soit f : Rn → R une fonction. On cherche à résoudre

(P 0 ) min f (x).
x∈Rn

Il s’agit donc de déterminer un point x∗ de Rn tel que

∀x ∈ Rn f (x∗ ) ≤ f (x) (4)

C’est à dire, un minimum global de f sur Rn .

Lorsque l’inégalité stricte f (x∗ ) < f (x) est vérifiée pour tout x ∈ Rn , x =
6 x∗ , le minimum global x∗ est
unique (Voir figure 2.2). En effet, supposons qu’il existe un autre x̄ ∈ R vérifiant

f (x̄) ≤ f (x) ∀x ∈ Rn , x̄ 6= x∗

Page
2.3.
22 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

On a
f (x̄) ≤ f (x) ∀x ∈ Rn
Pour x = x∗ ,
f (x̄) ≤ f (x∗ )
D’autre part, on a
f (x∗ ) < f (x) ∀x ∈ Rn , x 6= x∗ .
On a donc
f (x̄) ≤ f (x∗ ) < f (x) ∀x ∈ Rn , x 6= x∗ .
Pour x = x̄, on obtient
f (x̄) ≤ f (x∗ ) < f (x̄).
Donc,
f (x̄) < f (x̄).
Absurde.

Figure 2.2 – f a un optimum global x∗ unique.

Néanmoins, il existe aussi bien des situations dans lesquelles le minimum global n’est pas unique (voir
figure 2.3)

Page
2.3.
23 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

Figure 2.3 – Tous les points du segement [x1 , x2 ] sont des optimums globaux.

Pour beaucoup de problèmes d’optimisation sans contraintes, les principales méthodes de résolution
connues ne permettent pas la détermination d’un minimum global : Il faut alors se contenter d’optimums
locaux, c’est à dire de points qui vérifient (4) seulement dans un voisinage de x∗ . Nous allons voir
maintenant comment de tels points peuvent être caractérisés.

2.3.1 Conditions nécessaires d’optimalité : Cas différentiable

Théorème 2.2 (Conditions nécessaires du premier ordre).

Soit x̄ un minimum local de (P 0 ). On suppose que f est différentiable en x̄, alors ∇f (x̄) = 0.

Preuve 17 On a x̄ est un minimum local de f . Alors

∃B(x̄, r) t.q. ∀x ∈ B(x̄, r) f (x̄) ≤ f (x).

Soient h ∈ Rn , t > 0, on a
lim x̄ + th = x̄ ∈ B(x̄, r).
t→0

Ainsi,
∃β > 0 ∀t ∈]0, β[ x̄ + th ∈ B(x̄, r).
Par suite,
f (x̄) ≤ f (x̄ + th).
Donc,
f (x̄ + th) − f (x̄) ≥ 0.
Alors,
f (x̄ + th) − f (x̄)
≥ 0.
t

Page
2.3.
24 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

En faisant tendre t → 0, on obtient

h∇f (x̄), hi ≥ 0. (5)
0 n
Soit h = −h ∈ R , on a aussi
h∇f (x̄), h0 i ≥ 0.
i.e.,
h∇f (x̄), hi ≤ 0 (6)
Par suite, de (5) et (6) on a
h∇f (x̄), hi = 0 ∀h ∈ Rn
Ainsi,
∇f (x̄) = 0
2

Définition 2.1.

Soit f : Rn → R une fonction différentiable et x̄ ∈ Rn . On dit que x̄ est un point stationnaire

ou point critique si ∇f (x̄) = 0.

Remarque 2.2 La stationnarité n’est pas une condition suffisante d’optimalité locale (voir figure 2.4.).

Figure 2.4 – x∗ est un point stationnaire mais pas un optimum local.

Page
2.3.
25 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

Théorème 2.3 (Conditions nécessaire du second ordre).

Soit x̄ un minimum local de (P 0 ). On suppose de plus que f est deux fois différentiable en x̄.
Alors
h∇2 f (x̄)h, hi ≥ 0 ∀h ∈ Rn .
(∇2 f (x̄) est semi-définie positive).

Preuve 18 Soit x̄ un minimum local de (P0 ).

• Si h = 0, inégalité vérifiée.
• Si h 6= 0. Soit t > 0, puisque f est deux fois différentiable, alors on a la formule de Taylor

t2 2
f (x̄ + th) = f (x̄) + th∇f (x̄), hi + h∇ f (x̄)h, hi + t2 khk2 βx̄ (th)
2
avec βx̄ : Rn → R t.q. lim βx̄ (h) = 0. Ainsi,
h→0

f (x̄ + th) − f (x̄) t

= h∇f (x̄), hi + h∇2 f (x̄)h, hi + tkhk2 βx̄ (th). (7)
t 2
Puisque f est deux fois différentiable, alors elle est une fois différentiable, ainsi d’après le théorème
2.2, ∇f (x̄) = 0. Par suite (7) devient

f (x̄ + th) − f (x̄) 1

= h∇2 f (x̄)h, hi + khk2 βx̄ (th). (8)
t2 2
Puisque x̄ est un minimum local de (P 0 ), alors

∃B(x̄, r) ∀x ∈ B(x̄, r) f (x̄) ≤ f (x).

On a
lim x̄ + th = x̄ ∈ B(x̄, r).
t→0

Ainsi,
∃t̄ > 0 ∀t ∈]0, t̄[ x̄ + th ∈ B(x̄, r).
Par suite,
f (x̄) ≤ f (x̄ + th).
Donc,
f (x̄ + th) − f (x̄) ≥ 0.
De (8) on obtient
1 2
h∇ f (x̄)h, hi + khk2 βx̄ (th) ≥ 0
2
En faisant tendre t → 0+ , on obtient
1 2
h∇ f (x̄)h, hi ≥ 0.
2
i.e.,
h∇2 f (x̄)h, hi ≥ 0 ∀h ∈ Rn
2

Page
2.3.
26 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ
CHAPITRE 2. PROBLÈMES D’OPTIMISATION - CONDITIONS D’OPTIMALITÉ

2.3.2 Conditions suffisantes d’optimalité : Cas différentiable

Théorème 2.4 (Conditions suffisantes du second ordre).

Soit x̄ ∈ Rn . On suppose que f est deux fois différentiable en x̄. Si ∇f (x̄) = 0 et ∇2 f (x̄) est
définie positive sur Rn . Alors, x̄ est un minimum local strict de f sur Rn .

Preuve 19 Soit x̄ ∈ Rn . Puisque f est deux fois différentiable, alors on a la formule de Taylor
1
f (x) = f (x̄) + h∇f (x̄), x − x̄i + h∇2 f (x̄)(x − x̄), x − x̄i + kx − x̄k2 β(x̄, x − x̄) (9)
2
avec lim β(x̄, h) = 0. Montrons que
h→0

∃r > 0 ∀x ∈ β(x̄, r) f (x̄) < f (x) avec x 6= x̄.

Supposons que
∀r > 0 ∃xr ∈ B(x̄, r) t.q. xr 6= x̄ et f (x̄) ≥ f (xr ).
1
Donc, pour r = k > 0,
1
∃xk ∈ B(x̄, ) t.q. xk 6= x̄ et f (x̄) ≥ f (xk ).
k
De (9), on a
1
f (xk ) = f (x̄) + h∇f (x̄), xk − x̄i + h∇2 f (x̄)(xk − x̄), xk − x̄i + kxk − x̄k2 β(x̄, xk − x̄).
2
Puisque ∇f (x̄) = 0, alors on a
1
f (xk ) = f (x̄) + h∇2 f (x̄)(xk − x̄), xk − x̄i + kxk − x̄k2 β(x̄, xk − x̄).
2
Donc,
xk − x̄ xk − x̄
Å ≠ ∑ ã
1
f (xk ) = f (x̄) + kxk − x̄k2 ∇2 f (x̄) , + β(x̄, xk − x̄) .
2 kxk − x̄k kxk − x̄k
Ainsi,
f (xk ) − f (x̄) xk − x̄ xk − x̄
≠ ∑
1 2
= ∇ f (x̄) , + β(x̄, xk − x̄).
kxk − x̄k2 2 kxk − x̄k kxk − x̄k
Puisque f (xk ) ≤ f (x̄), alors
xk − x̄ xk − x̄
≠ ∑
1
∇2 f (x̄) , + β(x̄, xk − x̄) ≤ 0. (10)
2 kxk − x̄k kxk − x̄k
xk −x̄
Posons dk = kxk −x̄k . On a kdk k = 1, ainsi dk ∈ Bf (0, 1) qui est compact. Alors,

∃(dkj )j∈N t.q. lim dkj = d ∈ Bf (0, 1).

j→+∞

D’autre part, de (10) on

Æ ∏
1 2 xkj − x̄ xkj − x̄
∇ f (x̄) , + β(x̄, xkj − x̄) ≤ 0.
2 kxkj − x̄k kxkj − x̄k

i.e.,
1
∇2 f (x̄)dkj , dkj + β(x̄, xkj − x̄) ≤ 0.
2
Par passage à la limite lorsque j → +∞, on obtient
1
∇2 f (x̄)d, d ≤ 0 avec d 6= 0.
2
Absurde avec le fait que ∇2 f (x̄) est définie positive. 2

Page
2.3.
27 OPTIMISATION
sur 35 NON LINÉAIRE SANS CONTRAINTES : CONDITIONS D’OPTIMALITÉ