Ecole Nationale des Sciences et Technologies Avancées

à Borj Cédria

Chapitre2 :
Optimisation sous contraintes

Y. BOUKARI

5 avril 2020
Plan du chapitre :

1 Définition d’un problème d’optimisation sous contraintes.

2 Existence et unicité de minimum.
3 Rappel sur les multiplicateurs de Lagrange.
4 Optimisation sous contraintes d’égalités.
Condition d’optimalité
5 Optimisation sous contraintes d’inégalités.
Condition d’optimalité
6 Quelques algorithmes
Méthodes du gradient projeté
Pénalisation
Méthode d’Uzawa
Introduction et défintion
Soit J : Rn → R une fonction continue.
Un problème d’optimisation sous contrainte consiste à calculer la solution du
problème suivant :
(P1) min J(x)
x∈K
avec K un ensemble fermé de Rn .
Exemple 1 :
Introduction et défintion
Exemple 2
Chercher le minimum de J(x, y, z) = x2 + y2 + z2
Dans le cas de contrainte d’égalité
K1 = {(x, y, z) tel que x + y + z = 1}
K2 = {(x, y, z) tel que x + y = 1 et x + z = 2}
   
  x  
1 1 0  1

= (x, y, z) tel que y = .
1 0 1 2 
z


Dans le cas des contraintes d’inégalités

K3 = {(x, y, z) tel que x + 2y + z < 2}
K4 = {(x, y, z) tel que x + y + z ≤ 2 et x + 2z ≤ 3}
   
  x  
1 1 1  2

= (x, y, z) tel que y ≤ .
1 0 2 3 
z


Remarque
K est appellé ensemble des solutions admissibles.
K est fermé, si toute suite convergente délèments de K, sa limite est
aussi dans K.
Existence et unicité de minimum
Existence et unicité de minimum

Remarque :
La notion de la convexité de la fonction J sur K est identique à celle
d’une fonction définie sur tout le domaine.
Lorsque K est convexe et la fonction J est convexe, (P1) est un problème
d’optimisation convexe.

T H ÉOR ÈME
Soient K un fermé non vide de Rn et J : K −→ R continue. On suppose que J
est coercive ou que K est non borné, alors le problème de minimisation (P1)
admet au moins une solution. Si de plus K est convexe et J est strictement
convexe sur K, ce minimum est unique.
Existence et unicité de minimum

P ROPOSITION
Soit J : Rn −→ R une fonction différentiable en x̄ et soit K un convexe fermé
de Rn . Si x̄ est un minimum de J sur K, alors

h∇J(x̄), x − x̄i ≥ 0, ∀x ∈ K

Preuve :
pour tout x ∈ K, on a :

tx + (1 − t)x̄ ∈ K, ∀t ∈]0, 1[(K est convexe)

d’autre part on a :
tx + (1 − t)x̄ = x̄ + t(x − x̄)
Comme x̄ est un minimum de J sur K, alors

J(x̄ + t(x − x̄)) ≥ J(x̄)

Par conséquent
J(x̄ + t(x − x̄)) − J(x̄)
lim = h∇J(x̄), x − x̄i ≥ 0
t−→0 t
Cas de contrainte d’égalité linéaire
Nous rappelons que le problème de minimisation avec contraintes d’égalités
linéaire s’écrit sous la forme suivante :
(P2) min J(x)
x∈K
n
avec K = {x ∈ R , tel que Cx = d}, C ∈ Mm,n (R) et d ∈ Rm .

P ROPOSITION
On suppose que J est différentiabe en x̄. Si x̄ est solution de (P2), il existe
alors λ̄ ∈ Rm tel que :
∇J(x̄) + Ct λ̄ = 0 (1)
Le multiplicateur λ̄ est unique si la matrice C est de rang m.(rg(C) = m).

Preuve :
Il est claire K est convexe. x̄ est une solution de P2, on a alors :

h∇J(x̄), x − x̄i ≥ 0, ∀x ∈ K
D’autre part on a :
Cx = Cx̄ = d ⇒ C(x − x̄) = 0
Ainsi x − x̄ ∈ Ker(C).
Rappel sur l’algèbre linéaire
Cas de contrainte d’égalité linéaire

On a alors
h∇J(x̄), yi ≥ 0, ∀y ∈ Ker(C)
Comme Ker(C) est un sous espace vectoriel, on a alors :

y ∈ Ker(C) ⇒ −y ∈ Ker(C)

On endéduit alors
h∇J(x̄), yi = 0, ∀y ∈ Ker(C)
Par conséquent :
∇J(x̄) ∈ (Ker(C))⊥
D’autre part on sait
(ker(C))⊥ = Im(Ct )
Ainsi, il existe λ̄ ∈ Rm , tel que :

∇J(x̄) + Ct λ̄ = 0
Cas de contrainte linéaire
Cas de fonction quadratiques

Un problème quadratique avec contraintes linéaires d’égalité

1
min hAx, xi − hb, xi (P3)
Cx=d 2
avec A ∈ Mn (R) une matrice symétrique, C ∈ Mm,n (R), b ∈ Rn et d ∈ Rm .

P ROPOSITION
Si A est symétrique définie positive, alors le problème (P3) admet une
solution unique x̄ caractérisée par :

A Ct
    
x̄ b
∃λ̄ ∈ Rm tel que =
C 0 λ̄ d
Cas de fonction quadratique

Idées sur la preuve

Il est claire que :

∇J(x) = Ax − b
Si x̄ es un minimum, on a alors

Ax̄ − b + Ct λ̄ = 0
D’autre part, on a Cx̄ = d, ainsi on a le système suivant :

A Ct
    
x̄ b
=
C 0 λ̄ d
Remarque

On retrouve alors un système finale avec une matrice de taille n + m.

Cas de fonction quadratique
Exemple
Soit le problème

min J(x)
x∈K

avec
1 2 1 2 1 2
J(x) = x + y + z − xy − x − 2y − z
2 2 2
et
K = (x, y, z)t ∈ Rn

tel que x + y − z = 1, 2z + y = 2
Il s’agit d’un problème quadratique avec,
  
1 −1 0 1
A =  −1 1 0  et b= 2 
0 0 1 1

On a Sp(A) = {0, 1, 2}, d’ou A est définie et positive. D’autre part, on a :

   
  x  
1 1 −1  1

K = (x, y, z) tel que y =
0 1 2 2 
z

Cas de fonction quadratique

Ainsi  
  1 0
1 1 −1 t
C= et C = 1 1 
0 1 2
−1 2
D’ou x̄ et λ̄ vérifient :
    
1 −1 0 1 0 x 1
 −1 1 0 1 1  y   2 
    
 0 0 1 −1 2  z = 1 
λ¯1
    
 1 1 −1 0 0    1 
0 1 2 0 0 λ¯2 2

Ainsi la solution de ce sytème est donnée par

 
1  
1
x̄ =  1  et λ̄ =
1
0
Fonction quadratique

Remarque
Si J est convexe et le Lagrangien s’annule en x̄ alors x̄ est le minimum.
Dans notre cas, si J est C2 il suffit de chercher le zéro du Lagrangien, de
Calculer la hessienne en ce point et de vérifier qu’elle est définie et
positive.
Dans l’exemple précédent, nous avons
 
1
x̄ =  1  .
0

la Hessienne de J est donnée par :

Hess(J) = ∇(∇t J) = A

Comme A est définie et positive donc x̄ est un minimum.

Il est à noter que le dernier critère n’est pas toujours applicable il nous faut
une condition supplémentaire.
Cas de contrainte d’égalité non linéaire

Les contraintes d’égalité h(x) = 0 décrivent une surface dans Rn .

K = {x ∈ Rn , tel que hi (x) = 0}

avec
h : Rn −→ Rm
7−→ (h1 (x), h2 (x), ..., hm (x))
Si les points de K sont réguliers alors K est de dimension (n − m).
Une courbe C sur la surface K est un ensemble de points paramétrés :

C = {t ∈ R, x(t) ∈ K}
∗
dx(t )
Le vecteur dt
est tangent à C en x∗ = x(t∗ ). Il est claire qu’on a :

dx(t∗ )
 
J(x∗ ), =0
dt
Cas de contraintes non linéaire

Definition (Cône tangent)

Soient X ⊂ E et x ∈ E. On dit que le vecteur d ∈ E est tangent à X en x. s’il
existe une suite {dk } ⊂ E et une suite {tk } ⊂ R++ telles que :

dk −→ d, tk & 0, x + tk dk ∈ X

On note Tx X l’ensemble des vecteurs tangents à X en x. On l’appelle le cône

tangent. Il est à noter que Tx X est un ensemble fermé.

Exemple :
n o
X = x ∈ R2 : x12 ≤ x2 ≤ 2x12
Si x = 0 alors Tx X = R × {0}

Definition (Cône normal)

Soient X ⊂ E et x ∈ E. On dit que p ∈ E est normal à X en x si

∀d ∈ Tx X; hp, di ≤ 0

On note Nx X l’ensemble des vecteurs normaux à X en x et on l’appelle le

cône normal.
Cas de contraintes nonlinéaire

Definition (Cône normal (2))

On appelle cône normal régulier ; le dual négatif du cône tangent :

Nx X = {Tx X}−

autrement dit :

Nx = {v ∈ E = Rn tel que hv, y − xi ≤ 0, ∀y ∈ X}

Exemple

F IGURE – Cône tangent (bleu clair) et normal (en rose) à quelques ensembles
Cas de contrainte nonlinéaire

Theorem (CN1)
Si x∗ est un minimum local de (PX ) et si f est différentiable en x∗ , on a :

∀d ∈ Tx X; h∇Jx∗ , di ≥ 0
Ceci s’écrit aussi

∇J(x∗ ) ∈ (Tx X)+ ou − ∇J(x∗ ) ∈ Nx X

où ∇J(x∗ ) est le gradient de f en x∗ pour le produit scalaire dans E

P ROPOSITION (CNS1)
Soit x∗ une solution locale de (P1 ). Supposons que J et h soient deux fois
différentiable en x∗ alors, il existe un vecteur λ∗ ∈ F tel que :

∇J(x∗ ) + ∇h(x∗ )t λ = 0

et on a
(∇∇t Jx∗ + ∇∇t h(x∗ )t )d, d ,


∀d ∈ Tx∗ X
Condition nécéssaire et suffisante

On définit la fonction de Lagrange suivante :

l(x, λ) = ∇Jx + λt ∇h(x)

Soit L(x, λ) la Hessienne de l(x, λ), on a alors :

L(x, λ) = ∇(∇t Jx ) + λ1 H1 (x) + λ2 H2 (x) + ..... + λm Hm (x)

X m
= H(x) + λi Hi (x)
i=1

avec H est la Hessienne de J et Hi est la Hessienne de hi .

P ROPOSITION
x∗ est le minimum de J sous la contrainte h(x) = 0 ssi

∃λ∗ tels que 1. ∇l(x∗ , λ∗ ) = ∇Jx + λt ∇h(x) = 0 et h(x∗ ) = 0

2. hL(x∗ , λ∗ )y, yi ≥ 0 (∀y ∈ Tx∗ X ⇐⇒ h∇h(x), yi = 0)
Contraintes d’égalité non linéaire
Exemple
On s’intéresse à la recherche du minimum de J
J(x1 , x2 ) = x12 + x22
sachant que :
x12 + 2x22 = 1
Ainsi, on définit la fonction contrainte h par :
h(x) = x12 + 2x22 − 1
On a alors    
2x1 2x1
∇J(x) = et ∇h(x) =
2x2 4x2
Ainsi, on a :
∇J(x∗ ) + λ∇h(x∗ ) = 0
h(x∗ ) = 0
Par conséquent :
x1∗ + λ∗ x1∗ = 0 ⇐⇒ x1∗ = 0 ou λ∗ = −1
x1∗ + 2λ∗ x1∗ =0 ⇐⇒ x1∗ =0 ou λ∗ = −1/2
D’autre part on a (x1∗ )2 + (x2∗ )2 − 1 = 0.
Contraintes d’égalité non linéaire
Contraintes d’égalité non linéaire
Contraintes d’égalité non linéaire
Contraintes non linéaires
Conditions de Karush-Kuhn-Tucker
Contraintes non linéaires
Conditions de Karush-Kuhn-Tucker
Contraintes non linéaires
Conditions de Karush-Kuhn-Tucker
Contraintes non linéaires
Conditions de Karush-Kuhn-Tucker
Contraintes non linéaires
Contraintes non linéaires
Contraintes non linéaires
Références

Michel de Mathelin : Cours d’Optimisation et programmation mathématique,

Universitée de Strastboug.
Maher Moakher et Radhia Tbessi : Cours d’optimisation linéaire, École
Nationale d’Ingénieurs de Tunis.
J-C Gilbert : Optimisation différentiable, Ecole Nationale Supérieure des
Techniques Avancées de Paris.