Optimisation avec contraintes

AKadrani

Institut National de Statistique et Economie Appliquée

(INSEA)

Rabat, Mars 2018

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Direction réalisable et direction de descente

On s’intéresse au problème suivant:


 min f (x)
(P) s.à
x ∈X


où X est un sous ensemble non vide de Rn .

Définition
On appelle cône de directions réalisables (admissibles) en x ∗ ∈ X
l’ensemble R(x ∗ ) défini par:

R(x ∗ ) = {d ∈ Rn \ {0} |x ∗ + αd ∈ X , ∀α ∈ (0, αx ∗ ,d ]}

pour un certain αx ∗ ,d > 0

On appelle cône de direction de descente de f en x ∗ ∈ X , l’ensemble
D(x ∗ ) défini par:

D(x ∗ ) = {d ∈ Rn \ {0} |f (x ∗ + αd) < f (x ∗ ), ∀α ∈ (0, αx ∗ ,d ]}

pour un certain αx ∗ ,d > 0.

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Direction réalisable et direction de descente

Remarque: Si f est différentiable en x ∗ , alors

D(x ∗ ) = d ∈ Rn \ {0} |∇f (x ∗ )T .d < 0



Théorème
Si x ∗ est un minimum local du problème (P) alors

D(x ∗ ) ∩ R(x ∗ ) = ∅
Preuve.

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Problème d’optimisation avec contraintes d’inégalités

On s’intéresse au problème d’optimisation (P) où X est défini comme suit:

X = {x ∈ Rn |gi (x) ≤ 0, i ∈ I = {1, . . . , m}}
autrement dit on s’intéresse au problème suivant:

 min f (x)
0
(P ) s.à
gi (x) ≤ 0, i = 1, . . . , m.


Les fonctions gi , i ∈ I sont des fonctions réelles définies sur Rn . Notons I (x)
l’ensemble des contraintes saturées en x:
I(x) = {i ∈ I |gi (x) = 0}
Nous supposons que gi est continue en x pour tout i ∈ / I(x) et est
différentiable en x pour tout i ∈ I(x). On définit les ensembles suivants:
G(x) = d ∈ Rn \ {0} | ∇gi (x)T .d < 0, i ∈ I(x)

0
G (x) = d ∈ Rn \ {0} | ∇gi (x)T .d ≤ 0, i ∈ I(x)


On a le résultat suivant:
Proposition
0
G(x) ⊆ R(x) ⊆ G (x)

Exemple. Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Conditions d’optimalité de Fritz John (FJ)

Théorème
Soit x ∗ ∈ X . Suppososns que f et gi , i ∈ I(x ∗ ) sont différentiables au point x ∗
/ I(x ∗ ) sont continues en x ∗ . Si x ∗ est une solution optimale
et que les gi , i ∈
0
locale de (P ), alors il existe des scalaires λ0 et λi , i ∈ I(x ∗ ) tels que:
X
λ0 ∇f (x ∗ ) + λi ∇gi (x ∗ ) = 0
I(x ∗ )
λ0 ≥ 0, λi ≥ 0 pour tout i ∈ I(x ∗ ).

Si de plus gi , i ∈ / I(x ∗ ) sont différentiables en x ∗ , alors il existe

(λ0 , λ1 , . . . , λm ) ∈ Rm+1 tel que
m
X
λ0 ∇f (x ∗ ) + λi ∇gi (x ∗ ) = 0,
i=1
λi gi (x ∗ ) = 0, et λ0 ≥ 0, λi ≥ 0 pour tout i = 1, . . . , m.
Preuve. (à faire dans la classe)
Les λ0 , λi , i = 1, . . . , m sont appelés les multiplicateurs de Lagrange.
La condition λi gi (x ∗ ) = 0 pour i = 1, . . . , m est appelée la condition de
complémentarité.
Chapitre 4 Optimisation avec contraintes
Conditions nécessaires d’optimalité
Conditions d’optimalité de Fritz John – Exemples

Exemple 1.


 min f (x) = (x1 − 3)2 + (x2 − 2)2
s.à




x12 + x22 ≤ 5


 x1 + 2x2 ≤ 4
−x 1 ≤0




−x2 ≤ 0.


Exemple 2. 

 min f (x) = −x1
 s.à


x2 − (1 − x1 )3 ≤ 0
−x1 ≤ 0




−x2 ≤ 0.


Les conditions d’optimalité de Fritz John ne présentent pas beaucoup

d’intérêt dans le calcul de l’optimum si λ0 = 0. On cherche des
conditions d’optimalité telles que les conditions de Fritz John soient
satisfaites avec λ0 > 0.
Chapitre 4 Optimisation avec contraintes
Qualification des contraintes
Notation: δX dénote l’ensemble des points réalisables sur la frontière de X :
δX = {x ∈ X : ∃i ∈ I , tel que gi (x) = 0}
Définition
Etant donné un point x ∗ ∈ δX . On dit que g1 , . . . , gm satisfont les restrictions
sur les fonctions de contraintes au point x ∗ ou le domaine X défini par les
contraintes gi (x) ≤ 0, i ∈ I satisfait aux qualifications des contraintes (QC) au
point x ∗ si pour tout dˆ solution du système ∇gi (x ∗ )T d ≤ 0, i ∈ I(x ∗ ), il existe
une fonction ϕ : [0, 1]+ −→ X ⊆ Rn continûment différentiable du paramètre
α ≥ 0:

ϕ(0) = x ∗ , et ϕ(α) ∈ X , α > 0 suffisamment petit,

0
ϕ (0) = σ dˆ ∈ R(x ∗ ) pour σ > 0.
Interprétation géométrique:

Chapitre 4 Optimisation avec contraintes

Qualification des contraintes
Interprétation: Se référant à la notion de direction de descente, lorsque
∇gi (x ∗ )T d < 0, alors pour un faible déplacement τ > 0 dans la direction d,
gi (x ∗ + τ d) < gi (x ∗ ) = 0. Ainsi, ce déplacement nous garde dans le domaine
réalisable par rapport à cette contrainte. Les restrictions sur les fonctions de
contraintes prolongent en quelque sorte cette propriété même si ∇gi (x ∗ )T d = 0
puisque la fonction ϕ prend ses valeurs dans le domaine réalisable X .
Lemme
Pour que (QC) soit satisfaite en tout point x ∈ X il suffit que l’une des
conditions suivantes soit réalisée:
(1) les fonctions contraintes gi sont linéaires (Karlin 1959 ).
(2) les fonctions contraintes gi sont convexes et l’intérieur de X
est non vide (Slater 1950 ).
Pour que (QC) soit vérifiée en un point x ∗ ∈ X , il suffit que l’on ait:
(3) les ∇gi (x ∗ ) des contraintes saturées i ∈ I(x ∗ ) en x ∗ sont
linéairement indépendants (Fiacco et McCormick (1968)).

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Conditions d’optimalité de Karuch Kuhn et Tucker(KKT)

Proposition
Soit x ∗ ∈ δX solution optimale de (P 0 ). Si g1 , . . . , gm satisfont aux qualifications
de contraintes en x ∗ , alors le système suivant n’a pas de solution:

∇f (x ∗ )T .d < 0


∇gi (x ∗ )T .d ≤ 0, i ∈ I(x ∗ ).
Preuve.
Interprétation géométrique:

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Conditions d’optimalité de Karuch Kuhn et Tucker(KKT)

Théorème – Conditions Nécessaires de KKT

Soit x ∗ ∈ δX solution optimale de (P 0 ). On suppose que f et g1 , . . . , gm sont
continêment différentiables, (C 1 ), en x ∗ et que les qualifications de contraintes
sont satisfaites au point x ∗ . Si x ∗ est une solution optimale locale de (P 0 ), alors
il existe un vecteur de multiplicateurs λ∗ = [λ∗1 , . . . , λ∗m ] ≥ 0 tel que:
 m
 ∇f (x ∗ ) + Xλ ∇g (x ∗ ) = 0

i i
i=1
∗

λi gi (x ) = 0, i = 1, . . . , m


Preuve.
Remarque. Les conditions de Karuch-Kuhn-Tucker s’étendent sans difficulté à
des problèmes comportant à la fois des contraintes d’égalité et des contraintes
d’inégalité:

X = {x ∈ Rn : gi (x) ≤ 0, (i ∈ I ), et hj (x) = 0, (j = 1, . . . , p)}

Chapitre 4 Optimisation avec contraintes

Conditions nécessaires d’optimalité
Extension à des problèmes avec contraintes d’égalité et d’inégalité

Considérons le problème d’optimisation dont de la forme est la suivante:



 min f (x)
s.à

0
(P1 )

 gi (x) ≤ 0, i = 1, . . . , m
hj (x) = 0, j = 1, . . . , p.


Théorème – Conditions nécessaires de KKT

Soit x ∗ une solution réalisable du problème (P10 ). On suppose que:
f , gi , (i = 1, . . . , m) et hj , (j = 1, . . . , p) sont de C 1 au point x ∗ ,
Les qualifications de contraintes sont satisfaites au point x ∗
Si x est un minimum local de (P10 ), alors il existe des multiplicateurs
∗

λi ≥ 0, (i = 1, . . . , m) et µj , (j = 1 . . . , p) tels que:
m p
X X
∇f (x ∗ ) + λi ∇gi (x ∗ ) + µj ∇hj (x ∗ ) = 0,
i=1 j=1
λi gi (x ∗ ) = 0, et λi ≥ 0 pour tout i = 1, . . . , m.

Preuve.
Chapitre 4 Optimisation avec contraintes
Conditions nécessaires d’optimalité
Extension à des problèmes avec contraintes d’égalité et d’inégalité – Exemples

Exemple 3. 

 min f (x) = (x1 )2 + (x2 )2
s.à




x12 + x22 ≤ 5


 x1 + 2x2 = 4
−x 1 ≤0




−x2 ≤ 0.


Exemple 4. 

 min f (x) = −x1
s.à


 x2 − (1 − x1 )3 = 0
−x2 − (1 − x1 )3 = 0.


L’exemple 4 montre bien que les qualifications des contraintes ne sont

pas satisfaites au point optimale (1, 0).

Chapitre 4 Optimisation avec contraintes

Conditions suffisantes d’optimalité
Fonction Lagrangienne

On considère le problème (P10 ). Le Lagrangien (ou la fonction

Lagrangienne) associé à ce problème est obtenu comme suit en
associant un multiplicateur de Lagrange λi ≥ 0 à chaque fonction
de contrainte gi et un multiplicateur µj à chaque fonction
contrainte hj :
m
X p
X
L(x, λ, µ) = f (x) + λi gi (x) + µj hj (x)
i=1 j=1

Sans faire d’hypothèse particulière sur les fonctions f , gi et hj , nous

pouvons obtenir des conditions suffisantes très générales pour qu’un
point x ∗ soit une solution optimale globale du problème (P10 ).

Chapitre 4 Optimisation avec contraintes

Conditions suffisantes d’optimalité
Conditions d’optimalité de premier ordre de KKT

Théorème
Supposons que le Lagrangien associé au problème (P10 )
m
X p
X
L(x, λ, µ) = f (x) + λi gi (x) + µj hj (x)
i=1 j=1

possède un minimum global x ∗ lorsque les vecteurs de multiplicateurs

λ = λ∗ et µ = µ∗ . Si gi (x ∗ ) ≤ 0, i = 1, . . . , m, hj (x ∗ ) = 0, j =
1, . . . , p, alors x ∗ est une solution optimale globale de (P10 ).
Preuve.

Chapitre 4 Optimisation avec contraintes

Conditions suffisantes d’optimalité
Conditions d’optimalité de KKT de second ordre

Soit x ∗ ∈ X un point KKT avec les vecteurs de multiplicateurs λ = λ∗ et

µ = µ∗ associés respectivement aux contraintes d’inégalités définies par
gi et les contraintes d’égalités définies par hj . On définit les ensembles
des contraintes saturées comme suit:
I + (x ∗ ) = {i ∈ I(x ∗ )|λ∗i > 0}
I 0 (x ∗ ) = {i ∈ I(x ∗ )|λ∗i = 0}

I + (x ∗ ) est appelé l’ensemble des contraintes fortement saturées, et

I 0 (x ∗ ) est appelé l’ensemble des contraintes faiblement saturées.
On définit le cône C suivant:

 d ∈ Rn \ {0} : ∇gi (x ∗ )T d = 0 pour i ∈ I + (x ∗ ),

 

C= ∇gi (x ∗ )T d ≤ 0 pour i ∈ I 0 (x ∗ ) et
∇hj (x ∗ )T d = 0 pour j = 1, . . . , p
 

Chapitre 4 Optimisation avec contraintes

Conditions suffisantes d’optimalité
Conditions d’optimalité de KKT de second ordre

Théorème
Soit x ∗ un point de KKT avec les vecteurs de multiplicateurs λ = λ∗ et
µ = µ∗ . Si la matrice Hessienne de la fonction Lagrangienne associée au
problème (P10 )
m
X p
X
∇2 L(x ∗ , λ∗ , µ∗ ) = ∇2 f (x ∗ ) + λ∗i ∇2 gi (x ∗ ) + µ∗j ∇2 hj (x ∗ )
i=1 j=1

est définie positive sur le cône C , alors x ∗ est minimum local strict du
problème (P10 ). c’-à-d si

d T ∇2 L(x ∗ , λ∗ , µ∗ )d > 0 pour tout d ∈ C ,

alors x ∗ est solution optimale locale de (P10 ).

Chapitre 4 Optimisation avec contraintes

Conditions d’optimalité dans le cas convexe
Conditions nécessaires et suffisantes de KKT

Soient f , gi des fonctions convexes et différentiables.

Théorème
S’il existe un x tel que gi (x) < 0 pour tout i = 1 . . . , m, alors pour que un
point x ∗ soit un optimum global de (P 0 ) il faut et il suffit que les conditions
de KKT en x ∗ soient vérifiées, c’-à-d il existe λ∗ ≥ 0 tel que:
m
X
∗ ∗ ∗
∇L(x , λ , µ ) = ∇f (x ) + ∗
λ∗i ∇gi (x ∗ ) = 0
i=1
λ∗i gi (x ∗ ) = 0, λ∗i ≥ 0
Exemple:


 min f (x) = 2x12 + 2x1 x2 + x22 − 10x1 − 10x2
s.à


 x12 + x22 ≤ 5
3x1 + x2 ≤ 6.


Chapitre 4 Optimisation avec contraintes