Conditions d’optimalité

Optimisation

Maher Moakher
Ecole Polytechnique de Tunisie

Janvier, 2023
Conditions d’optimalité

Conditions d’optimalité
Plan

1 Conditions d’optimalité

2 Cônes tangent, normal et dual

3 Conditions d’optimalité du 1er et 2nd ordres

• Application aux problèmes sans contraintes

• Application aux problèmes avec contraintes d’égalité

• Application aux problèmes avec contraintes d’égalité et

d’inégalité
Conditions d’optimalité

Conditions d’optimalité

Les conditions d’optimalité sont des équations, des inéquations ou des

propriétés que vérifient les solutions. Ce sont des conditions :
nécessaires (CN) vérifiées par les solutions de (PX ) ;
suffisantes (CS) qui assurent qu’un point est une solution de (PX ).

Elles traduisent l’expression d’optimalité en une forme analytique plus

directement utilisable.

Elles sont :
du premier ordre (CN1) ou (CS1) ne font intervenir que les dérivées
premières de f et des fonctions définissant X ;
du second ordre (CN2) ou (CS2) ne font intervenir que les dérivées
premières et secondes de ces fonctions.
Conditions d’optimalité

Cône tangent
Définition
Soient X ⊂ E et x ∈ X. On dit que d ∈ E est un vecteur tangent à X en x
s’il existe une suite (dk )k≥0 de E et une suite (tk )k≥0 de R+∗ telles que

x + tk dk ∈ X, ∀k ≥ 0, et dk → d quand tk → 0+ .

On note Tx X l’ensemble des vecteurs tangents à X en x et on l’appelle le

cône tangent.
Remarques
d ∈ Tx X ssi il existe des suites (xk )k≥0 de E et (tk )k≥0 de R+∗ telles
que
xk − x
(xk )k≥0 ⊂ X, tk → 0+ , et → d.
tk

Tx X est un cône fermé.

Conditions d’optimalité

Cône normal
Définition
Le cône normal à X en x, noté Nx X, est l’ensemble des vecteurs p ∈ E
vérifiant :
⟨p, d⟩ ≤ 0, ∀ d ∈ Tx X.
Conditions d’optimalité

Cône dual
Définition
Soit P ⊂ E, le cône dual positif de P est

P+ = {x ∈ E | ⟨x, y⟩ ≥ 0, ∀ y ∈ P},

et le cône dual négatif de P est

P− = {x ∈ E | ⟨x, y⟩ ≤ 0, ∀ y ∈ P} = −P+ .

On a donc Nx X = (Tx X)− .

Tx X n’est pas nécessairement convexe. Mais si X est convexe alors

Tx X l’est aussi.

Nx X est toujours convexe.

Conditions d’optimalité

Condition d’optimalité du premier ordre (CN1)

Théorème
Si x∗ est un minimum local de (PX ) et si f est différentiable en x∗ , on a

∀ d ∈ Tx∗ X, ∇f (x∗ ) · d ≥ 0 ou ⟨∇f (x∗ ), d⟩ ≥ 0.

Ceci s’écrit aussi :

∇f (x∗ ) ∈ (Tx∗ X)+ ou − ∇f (x∗ ) ∈ Nx∗ X.

Soit d ∈ Tx∗ X. Pour k ≫ 1 : f (x∗ ) ≤ f (x∗ + tk dk )

f différentiable en x∗ ⇒
f (x∗ + tk dk ) = f (x∗ ) + ∇f (x∗ ) · (tk dk ) + o(∥tk dk ∥). Donc

o(∥tk dk ∥)
0 ≤ ∇f (x∗ ) · dk + .
tk
Par passage à la limite, on obtient le résultat.
Conditions d’optimalité

Cas où X est convexe : CN1 et CS1

Proposition
On suppose que X est convexe et que f admet des dérivées directionnelles
en un point x∗ ∈ X. Si x∗ est un minimum local de (PX ), on a

∀ x ∈ X : Df (x∗ ) · (x − x∗ ) ≥ 0 ou ⟨∇f (x∗ ), x − x∗ ⟩ ≥ 0.

Inversement, si f est convexe sur le convexe X et si l’inégalité précédente

a lieu alors x∗ est un minimum global de (PX ).

f (x∗ + t(x − x∗ )) ≥ f (x∗ ), (t ≪ 1, X convexe)

f convexe : f (x) ≥ f (x∗ ) + ⟨∇f (x∗ ), x − x∗ ⟩.

Remarque : Dans le cas convexe, tout minimum local est global.

Conditions d’optimalité

Problèmes sans contraintes

On considère le problème sans contraintes :
(
min f (x)
(P)
x∈E
Conditions d’optimalité (CN1 et CS1) :
Corollaire
On suppose que f : E → R est différentiable en x∗ ∈ E. Si f a un
minimum local en x∗ , alors

∇f (x∗ ) = 0.

Inversement, si f est convexe et si l’égalité précédente a lieu, alors x∗ est

un minimum global de f sur E.

Tx∗ E = E et Nx∗ E = {0}.

Conditions d’optimalité

CN2 :
Proposition
On suppose que x∗ est un minimum local de f sur E et que f est
différentiable dans un voisinage de x∗ et deux fois différentiable en x∗ .
Alors,
∇f (x∗ ) = 0 et ∇2 f (x∗ ) est semi-définie positive.

CS2 :
Proposition
Si f est différentiable dans le voisinage d’un point x∗ et deux fois
différentiable en x∗ et si ∇f (x∗ ) = 0 et ∇2 f (x∗ ) est définie positive alors
x∗ est un minimum local strict de f .
Conditions d’optimalité

Problèmes avec contraintes d’égalité

On s’intéresse au problème d’optimisation :
(
min f (x)
(PE )
c(x) = 0
où f : E → R, c : E → F et F est un espace euclidien dont le produit
scalaire est aussi noté ⟨·, ·⟩. On note n = dim E et m = dim F.
f est le critère et c est la contrainte du problème de minimisation.
Définition
On dit qu’une application c : E → F est affine s’il existe une application
linéaire L : E → F telle que : c(x) − c(y) = L(x − y), ∀ x, y ∈ E.
Autrement dit, ∀ x ∈ E, c(x) = L(x) + c(0).

Définition
On dit que le problème (PE ) est convexe si le critère f est convexe et la
contrainte c est affine.
Conditions d’optimalité

Conditions de Lagrange
Proposition
Supposons que c : E → F soit différentiable en
x ∈ X = {x ∈ E | c(x) = 0}. Alors,

Tx X ⊂ N (∇c(x)).

Si en plus, ∇c(x) est surjective et c(·) est C1 dans un voisinage de x,

alors, on a l’égalité
Tx X = N (∇c(x)).

N (∇c(x)) est le noyau de la jacobienne ∇c(x).

Si Tx X = N (∇c(x)). On dit, alors, que la contrainte c est qualifiée.
La surjectivité de ∇c(x) est l’une des conditions suffisantes de
qualification, critère permettant de sélectionner les bonnes
représentations de X.
Conditions d’optimalité

Multiplicateur de Lagrange
Proposition
Soit x∗ une solution locale de (PE ). Supposons que f et c soient
différentiables en x∗ et que la contrainte c soit qualifiée en x∗ . Alors, il
existe un vecteur λ∗ ∈ F tel que

∇f (x∗ ) + [∇c(x∗ )]∗ λ∗ = 0, (EL)

où [∇c(x∗ )]∗ : F → E est l’opérateur adjoint de la jacobienne ∇c(x∗ )

pour les produits scalaires donnés sur E et F.

Le vecteur λ∗ est unique si ∇c(x∗ ) est surjective. (λ∗ est appelé le

multiplicateur de Lagrange).
CN1 :

∇f (x∗ ) ∈ [Tx∗ X]+ = [N (∇c(x∗ ))]+ = [N (∇c(x∗ ))]⊥ = R([∇c(x∗ )]∗ ).

∇c(x∗ ) est surjective ⇒ [∇c(x∗ )]∗ est injective. D’où l’unicité de λ∗ .

Conditions d’optimalité

Lagrangien
On dit que :
λ∗ est la solution duale de (PE ).
x∗ est la solution primale.
(x∗ , λ∗ ) est la solution primale-duale.
On appelle point stationnaire de (PE ) un point x∗ tel qu’il existe λ∗ ∈ F
vérifiant : (
∇f (x∗ ) + [∇c(x∗ )]∗ λ∗ = 0,
c(x∗ ) = 0.
Si on introduit le lagrangien
ℓ:E×F→R
(x, λ) 7→ ℓ(x, λ) := f (x) + ⟨λ, c(x)⟩,
alors les CN1 s’écrivent :
(
∇x ℓ(x∗ , λ∗ ) = 0,
∇(x,λ) ℓ(x∗ , λ∗ ) = 0 ou
c(x∗ ) = 0.
Conditions d’optimalité

Conditions d’optimalité d’ordre 1

CS1 :
Proposition
On suppose que le problème (PE ) soit convexe, que x∗ ∈ E vérifie la
contrainte de (PE ), que f soit différentiable en x∗ et qu’il existe un
multiplicateur λ∗ ∈ F tel que (x∗ , λ∗ ) vérifie :
(
∇f (x∗ ) + [∇c(x∗ )]∗ λ∗ = 0,
∇(x,λ) ℓ(x∗ , λ∗ ) = 0 ou
c(x∗ ) = 0.

Alors, x∗ est un minimum global de (PE ).

(PE ) est convexe ⇒ X est convexe, f est convexe et c est affine.

Soit x ∈ X :

⟨∇f (x∗ ), x − x∗ ⟩ = −⟨[∇c(x∗ )]∗ λ∗ , x − x∗ ⟩ = −⟨λ∗ , L(x − x∗ )⟩ = 0.

Conditions d’optimalité

Conditions d’optimalité d’ordre 2

CN2 :
Proposition
Soit x∗ ∈ E est un minimum local de (PE ) et supposons que f et c soient
différentiables dans un voisinage de x∗ et deux fois différentiables en x∗ .
On suppose de plus que la contrainte c soit qualifiée en x∗ . Alors il existe
un multiplicateur λ∗ ∈ F tel que l’on ait

∇f (x∗ ) + [∇c(x∗ )]∗ λ∗ = 0.

Si on note L∗ = ∇2xx ℓ(x∗ , λ∗ ), alors L∗ est semi-définie positive sur

N (∇c(x)) :
∀ d ∈ N (∇c(x)), ⟨L∗ d, d⟩ ≥ 0.

Tx∗ X = N (∇c(x)).
Conditions d’optimalité

Conditions d’optimalité d’ordre 2

CS2 :
Proposition
Supposons que f et c soient différentiables dans un voisinage de x∗ et
deux fois différentiables en x∗ . Supposons que c(x∗ ) = 0 et qu’il existe
λ∗ ∈ F tel que l’on ait

∇x ℓ(x∗ , λ∗ ) = 0, ∀ d ∈ Tx∗ X \ {0}, ⟨L∗ d, d⟩ > 0,

alors x∗ est un minimum local strict de (PE ).

Conditions d’optimalité

Calcul des solutions de (PE )

Pour calculer les solutions de (PE ), on détermine d’abort les points
stationnaires, qui sont solutions de
(
∇f (x∗ ) + [∇c(x∗ )]∗ λ∗ = 0,
c(x∗ ) = 0.

C’est un système (non linéaire en général) de (n + m) équations à

(n + m) inconnues.

Pour déterminer si un point stationnaire x∗ est solution de (PE ), il faut

vérifier les conditions d’optimalité du second ordre :

Si CN2 est non vérifiée, alors x∗ n’est pas un point de minimum

local.
Si CS2 est vérifiée, alors x∗ est un point de minimum local strict.
Conditions d’optimalité

Problèmes avec contraintes d’égalité et d’inégalité

On s’intéresse au problème d’optimisation :

min f (x),

ci (x) = 0, i ∈ E, (PEI )

ci (x) ≤ 0, i ∈ I.


où f , ci : E → R, i ∈ E ∪ I = {1, . . . , m}, E ∩ I = ∅.

On considère l’ensemble admissible :

X = {x ∈ E | cE (x) = 0, cI (x) ≤ 0},

et on suppose que X ̸= ∅.
Définition
Le problème (PEI ) est convexe si la contrainte d’égalité cE est affine, la
contrainte d’inégalité cI est convexe et le critère f est convexe.
Conditions d’optimalité

Définition
Pour i ∈ I, on dit que la contrainte ci est active en x si ci (x) = 0.
On note
I 0 (x) = Ix0 = {i ∈ I | ci (x) = 0} et I∗0 = Ix0∗ .

Proposition
Si x ∈ X et si, pour i ∈ E ∪ Ix0 , ci est différentiable en x, alors

Tx X ⊂ Tx′ X,

où

Tx′ X = {d ∈ E | ∇ci (x)·d = 0 pour i ∈ E, et ∇cj (x)·d ≤ 0 pour j ∈ Ix0 }.

Tx′ X est appelé cône linéarisant.

Remarque
Tx′ X est un convexe.
Conditions d’optimalité

Qualification des contraintes

Définition
On dit que les contraintes de (PEI ) sont qualifiées en x ∈ X si, pour
i ∈ E ∪ Ix0 , ci est différentiable en x et si

Tx X = Tx′ X. (QC)

L’hypothèse (QC) est vérifiée, en particulier, dans les cas où :

(i) Toutes les contraintes sont affines ;
(ii) La famille (∇ci (x)), i ∈ E ∪ Ix0 est libre (QC-MF).
(QC-MF : conditions de qualification de Mangasarian-Fromovitz)
Lemme (de Farkas)
Soient A1 et A2 deux matrices ayant le même nombre de colonnes. Alors,

{y : A1 y = 0, A2 y ≥ 0}+ = {A∗1 x1 + A∗2 x2 ; x1 quelconque, x2 ≥ 0},

où {·}+ désigne le cône dual pour le produit scalaire euclidien.

Conditions d’optimalité

Conditions de Karush, Kuhn et Tucker (KKT)

Système d’optimalité (CN1)
Théorème (KKT)
Soit x∗ un minimum local de (PEI ). Supposons que f et ci , i ∈ E ∪ I∗0
soient différentiables en x∗ et que les contraintes soient qualifiées en x∗ .
Alors, il existe λ∗ ∈ Rm tel que


 (a) ∇f (x∗ ) + ∇c(x∗ )λ∗ = 0,

(b) ci (x∗ ) = 0, i ∈ E,



(c) cj (x∗ ) ≤ 0, j ∈ I, (KKT)

(d) (λ∗ )j ≥ 0, j ∈ I,




 P
(e) j∈I (λ∗ )j cj (x∗ ) = 0.


(a) est la condition d’Euler-Lagrange ;

(b) et (c) est la condition d’admissibilité ;
(e) est la condition de complémentarité.
Conditions d’optimalité

λ∗ est encore appelé le multiplicateur de Lagrange associé aux

contraintes c et à la solution x∗ .
λ∗ est la solution duale de (PEI )
x∗ est la solution primale.
(x∗ , λ∗ ) est la solution primale-duale de (PEI ).
Un point x∗ pour lequel il existe λ∗ ∈ Rm vérifiant (KKT) est dit
stationnaire.
Le lagrangien associé à (PEI ) est la fonction ℓ : E × Rm → R
définie par :
m
X
T
ℓ(x, λ) = f (x) + λ c(x) = f (x) + λi ci (x).
i=1

La première condition du système (KKT) est alors :

m
X
∇x ℓ(x∗ , λ∗ ) = 0 ou ∇f (x∗ ) + (λ∗ )i ∇ci (x∗ ) = 0.
i=1
Conditions d’optimalité

L’ensemble des multiplicateurs optimaux associés à x∗ est noté Λ∗ .

Les conditions (KKT) impliquent que :
n
Λ∗ = λ ∈ Rm : ∇cE (x∗ )∗ λE + ∇cI∗0 (x∗ )∗ λI∗0 = −∇f (x∗ ),
o
λi0∗ ≥ 0, λI\I∗0 = 0 .

Λ∗ est un convexe fermé non vide de Rm .

Sous (QC-MF) en x∗ , Λ∗ est borné.
Conditions d’optimalité

Proposition (CS1)
On suppose que le problème (PEI ) soit convexe et que x∗ ∈ E vérifie les
contraintes de (PEI ). Si f et c sont différentiables en x∗ et s’il existe
λ∗ ∈ Rm tel que les conditions de Karush-Kuhn-Tucker soient vérifiées,
alors x∗ est un minimum global de (PEI ).

⟨∇f (x∗ ), x − x∗ ⟩ ≥ 0, ∀ x ∈ X.
Définition
Si x∗ ∈ X est un point stationnaire alors : On appelle cône critique du
problème (PEI ) en x∗ , l’ensemble défini par :

C(x∗ ) = {d ∈ Rn : ∇cE (x∗ ) · d = 0, ∇cI∗0 (x∗ ) · d ≤ 0}.

On dit qu’il y a complémentarité stricte si

∀ j ∈ I : cj (x∗ ) < 0 ⇔ (λ∗ )j = 0.

Dans ce cas, C(x∗ ) = {d ∈ Rn : ∇cE∪I∗0 (x∗ ) · d = 0}.

Conditions d’optimalité

Théorème (CN2)
Soit x∗ ∈ X un minimum local de f sur X. On suppose que f et ci , i ∈ E
sont de classe C2 dans un voisinage de x∗ , que les ci , i ∈ I∗0 sont deux
fois différentiables en x∗ et que ci , i ∈ I \ I∗0 , soient continues en x∗ . On
suppose aussi que x∗ vérifie les conditions (QC-MF). Alors,

∀ d ∈ C(x∗ ), max dT ∇2xx ℓ(x∗ , λ∗ )d ≥ 0.

λ∗ ∈Λ∗

Théorème (CS2)
On suppose que f et ci , i ∈ E ∪ I∗0 soient différentiables dans un
voisinage d’un x∗ de E et deux fois différentiables en x∗ . Supposons que
l’ensemble des multiplicateurs λ∗ tels que (x∗ , λ∗ ) vérifie les conditions
(KKT) ne soit pas vide, et que

∀ d ∈ C(x∗ ) \ {0}, ∃λ∗ ∈ Λ∗ | dT ∇2xx ℓ(x∗ , λ∗ )d > 0.

Alors, x∗ réalise un miminum local strict de f sur X.