Université Abdelmalek Essaadi

Faculté des sciences

Tétouan

Filière Sciences Mathématiques Appliquées

Programmation Mathématique
SMA- S5

Département de Mathématiques

Naji YEBARI

2020/2021
 1 Chapitre3 :Optimisation non linéaire avec contraintes

1. Préliminaires

Théorème 1. (Théorème de Farkas et Minkowski (≈ 1900))

m
 m × n et b ∈ R
Soit A une matrice

 Ax = b

le système (S ) : x ∈ Rm admet une solution ssi u T .b Ê 0 ∀ u ∈ Rm tel que A T .u Ê 0


x Ê 0

∀ u ∈ { u ∈ R m / A T u Ê 0}
¡ ¢
ou u T .b É 0 ∀u ∈ Rm tel que A T .u É 0



 Ax É b

(S ) x ∈ Rn admet une solution ssi u T .b Ê 0 , ∀u ∈ {u ∈ Rm / u Ê 0 et A T u Ê 0}


x Ê 0



 Ax É b
 h i
(S ) x ∈ Rn admet une solution ssi ∀u ∈ Rm , u Ê 0 tel que A T .u = 0 =⇒ u T .b Ê 0


 x est de signe quel conque

Théorème 2. (Téorème de Gordon (1873))

Soit A une matrice m × n alors

¶ ou bien ; ∃ x ∈ Rn tq Ax < 0
· ou bien ; ∃ u ∈ Rm \{0} tq A T .u = 0 et u Ê 0

Preuve.

Supposons 2) : ∃ u ∈ Rm \{0} tel que A T .u = 0 et u Ê 0

alors ∀b ∈ Rm de composantes < 0 on a u T .b É 0
d’où d’aprés Farkas & Minkowski (2ème variante) Ax < b n’a pas de solution / ∀b < 0 , d’où Ax < 0 n’a pas
de solution non plus.
Supposons non 2)
A T .u = 0 et u Ê 0 =⇒ u = 0
=⇒ u T .b = 0 ∀ b < 0
F.M =⇒ Ax É b < 0 a une solution

2. Condition nécessaires d’optimalité

2ème variante de Farkas & Minkowski

2
 2. CONDITION NÉCESSAIRES D’OPTIMALITÉ Faculté des sciences

2.1. Introduction
On s’intéresse au problème suivant :



 min f ( x)
( P 0 ) S / c : g i ( x) É 0 i ∈ I = {1, 2, · · · , m} où f ; g i : Rn −→ R de classe C 1


 x ∈ Rn

χ = { x ∈ Rn / g i ( x) É 0, ∀ i ∈ I } = ensemble des solutions de (P 0 )

On suppose χ 6= ; ¡ ¢
⋆ x0 ∈ χ et soit φ : R+ → Rn θ 7→ φ(θ ) = φ1 (θ ), · · · , φn (θ ) de classe C 1 vérifiant :
(i) φ(0) = x0
(ii) φ([0, θ ]) ⊂ χ, ∀θ > 0 suffisamment petit
i.e g i [φ(θ ]) É 0; ∀ ∈ I, ∀θ ∈]0, r [ pou un certain r > 0 assez petit.

dφ ¡ ¢
On appellera direction admissible en x0 tout vecteur y = (0) = φ0(0) = φ01 (0), · · · , φ0n (0) et φ est une
dθ
courbe admissible.
Déf © ª
On notera C ad ( x0 ) = C ad = y ∈ Rn / y direction admissible en x◦
Déf © ª
I 0 ( x0 ) = I 0 = i ∈ I / g i ( x0 ) = 0 = ensemble des contraintes saturées en x◦
Considérons le cône G fermé défini par :
n o
G = y ∈ Rn /[∇ g i ( x0 )]T .y É 0; (∀ i ∈ I 0 )

Lemme 1

Soit y une direction admissible en x0 . Alors nécessairement y vérifie les relations :

£ ¤T
(1) ∇ g i ( x0 ) .y É 0 (∀ i ∈ I 0 )

Autrement dit : C ad ⊂ G

Preuve.

Soit φ une courbe admissible en x0 = φ(0)

dφ ¡ ¢
y = φ0 (0) = (0) pour θ > 0 petit et i ∈ I 0 on a g i φ(θ ) É 0
dθ ¡ ¢
En utilisant le D.L de Taylor de θ 7−→ g i φ(θ ) au voisinage de θ = 0, on obtient :
¡ ¢ ¡ ¢ £ ¤T
g i φ(θ ) = g i x0 + θ ∇ g i ( x0 ) .y + θε(θ ) É 0 ε(θ ) −→ 0
θ →0+
£ ¤
0 T 0
d’où ∇ g i ( x ) .y É 0 (∀ i ∈ I ) c.à.d y∈G
On a donc y ∈ C ad =⇒ y ∈ G : C ad ⊂ G c.q.f.d

YEBARI NAJI 3 2020/2021

Faculté des sciences 4

Remarque 1
La réciproque est fausse en générale.

Voici un contre exemple :

© ª
χ = x = ( x1 , x2 ) ∈ R2 / g 1 ( x) = − x1 É 0; g 2 ( x) = − x2 É 0; g 3 ( x) = −(1 − x1 )3 + x2 É 0


 0
 g 1 ( x ) = − x1 É 0

Au point x◦ = ( x10 = 1; x20 = 0); g 2 ( x0 ) = − x2 É 0


 g ( x0 ) = −(1 − x )3 + x É 0
3 1 2
donc I 0 = {2, 3}  
∂ g2 0 µ ¶
 ∂x (x ) = 0  0
0 
d’autre part ; ∇ g 2 ( x ) =  ∂ g  ◦
 ; ∇ g3(x ) = 1
1
2 0
( x ) = −1
∂ x2
µ ¶
y1
∀ i ∈ I 0 = {2, 3} soit y = qui vérifie la condition (1)
y2
µ ¶ µ ¶
0 y1
(∇ g 2 )T ( x0 ).y = . = − y2 É 0
−1 y2
µ ¶ µ ¶
0 y1
(∇ g 3 )T ( x0 ).y = . = y2 É 0
1 y2
µ ¶
1
le vecteur y = satisfait ces inégalités ( y ∈ G ) mais ∀θ > 0; x0 + θ y = (1 + θ , 0) ∉ X
0
car g 3 (1 + θ , 0) = θ 3 Ê 0 ∀θ > 0
Définition 1
On dit que l’ensemble des solutions χ satisfait l’hypothèse de Qualification des contraintes (Q C)
si C ad = G

YEBARI NAJI 4 2020/2021

 3. LES CONDITIONS NÉCESSAIRES D’OPTIMALITÉ DE KUHN & TUCKER
Faculté des sciences

Lemme 2. Lemme important sur la condition de Q C

1. Pour que la condition de (Q C) soit vérifiée en tout point x ∈ χ, il suffit que l’une des
conditions ( i ) ou ( ii ) soit réalisée :
(i) toutes les fonctions g i sont linéaires (Karlin 1959).
(ii) toutes les fonctions g i sont convexes et X̊ 6= ; (Slater 1950)
2. Pour que la condition
©
de (Qª C) soit vérifiée en x0 ∈ χ, il suffit que l’on ait :
0 0 0 0
I (x ) = I = i ∈ I / g i (x ) = 0
© ª ¡ ¢
∇ g i ( x0 ) ( i ∈ I 0 ) sont linéairement indépendants dans ce cas on dit que x0 est régulier
(Fiacco Cormick 1968)

Preuve.

1. i ) Supposons que les g i sont linéaires alors g i ( x) = xT v i v i = vecteur

£ ¤T
Soit (y ∈ G =⇒ ∇ g i ( x0 ) y = yT v i É 0 ∀ i ∈ I 0 ( x0 ) = I 0
φ(θ ) = x0 + θ y
Soit =⇒ ϕ0 (0) = y
θÊ0
g i (ϕ(θ )) = g i ( x0 ) + θ yT v i .
Pour les autres, considérons le cône R défini par :
n £ ¤T o
R = y ∈ Rn / ∇ g i ( x̊ .y < 0, ∀ i ∈ I 0

R ⊂ C ad , en effet ; soit y ∈ R et φ(θ ) = x◦ + θ y ; θ > 0 assez petit

£ ¤T
alors g i (φ(θ )) = g i ( x0 ) + θ ∇ g i ( x0 ) y + θε(θ ).
Il suffit de montrer que R = G , pour θ > 0 assez petit ceci suffit de montrer que R 6= ; En effet,
¤T
supposons qu’il existe y ∈ R c-à-d [∇ g i ( x0 ) .y < 0 (∀ i ∈ I̊ )
¤ T
et soit y ∈ G c-à-d [∇ g i ( x0 ) .y É 0 (∀ i ∈ I 0 )
Alors ∀λ ∈ [0, 1[ on a λ y + (1 − λ) y ∈ R
En faisant tendre λ −→ 1− , on engendre une suite de directions contenus dans R et dont la limite
est y ∈ R =⇒ G ⊂ R ⊂ G
d’où R = G 1)( ii ) =⇒ R 6= ;?
Puisque X̊ 6= ;; ∃ x ∈ X tel que g i ( x) < 0 (∀ i ∈ I )
Alors soit ∈ χ, on peut écrire, en utilisant la convexité de g
£ ¤T
0 > g i ( x) Ê g i ( x0 ) + ∇ g i ( x0 ) ( x − x0 )
si £ ¤T
i ∈ I◦ =⇒ ∇ g i ( x0 ) ( x − x0 ) < 0
=⇒ x − x0 ∈ R
=⇒ R 6= ;
2. =⇒ R 6= ;? Supposons que (2) soit vérifiée. X £ ¤T
Alors 6 ∃λ i ( i ∈ I 0 ) non tous nuls tel que : λ i ∇ g i ( x0 ) = 0
i∈ I 0
£ ¤T   
∇ g i 1 ( x0 ) λi1
 
A=
.. ; u =  . 
 .. 
 . 
£ ¤T
∇ g i k ( x0 ) λi k

6 ∃ u 6= 0 tq A T .u = 0 (Théorème de Gordon) =⇒ ∃ y ∈ Rn tq A y < 0

£ ¤T
⇐⇒ ∇ g ik ( x0 ) .y < 0 ∀ i ∈ I 0
=⇒ y∈R

3. Les conditions nécessaires d’optimalité de Kuhn & Tucker

YEBARI NAJI 5 2020/2021

Faculté des sciences 6

Théorème 3. (Kuhn et Tucker)(K.T 1951)

On suppose que les fonction f et g i ( i ∈ I ) sont de classe C 1 et que l’hypothèse de (Qc) [qualifica-
tion des contraintes] est vérifiée en x0 ∈ χ = { x ∈ Rn / g i ( x) É 0 ∀ i ∈ I } (
min f ( x)
Alors une condition nécessaire [CN] pour que x0 soit un optimum local de (P 0 ) est
x∈χ
qu’il existe des scalaires (λ i ) i∈ I Ê 0 appelés multiplicateurs de Kuhn et Tucker, tels que :
 X
∇ f ( x0 ) + λ i ∇ g i ( x0 ) = 0
(K T ) : i∈ I

λ i g i ( x0 ) = 0 (∀ i ∈ I )

Remarque 2
0
X ⇐⇒ ∃(0λ i ) i∈ I 0 Ê 0 tq
CN de (KT)
0
∇ f (x ) + λi ∇ g i (x ) = 0
i∈ (
0 λ i = λ0i si i ∈ I 0
En effet (λ i ) i∈ I 0 :
λ i = 0 si i ∈ I \ I 0
Pour i ∈ I 0 =⇒ g i ( x0 ) = 0
=⇒ λ i g i ( x0 ) = 0 (∀ i ∈ I )
0
Pour i ∈ I \ I ; λ i g i ( x0 ) = 0 (λ i = 0)
| {z }
6=0

Preuve.

Pour que x◦ soit un minimum local de (P 0 ), il suffit que pour toute courbe admissible φ :
f (φ(θ )) Ê f (φ(0) = x◦ ) pour θ > 0 assez petit.
£ ¤T
f (φ(θ )) = f ( x◦ ) + θ ∇ f ( x◦ ) .y + O (θ ) ; y = φ0 (0)
£ ¤T £ ¤T
d’où ∇ f ( x◦ ) .y Ê 0; ∀ y ∈ C ad aussi on a ∇ f ( x◦ ) .y Ê 0; ∀ y ∈ G = C ad
£ ¤
et ∇ g i ( x◦ ) .y É 0 ; ∀ i ∈ I ◦ (CN : x◦ Min local de (P 0 ))
T

£ ¤
Posons A = − ∇ g i 1 ( x◦ ); · · · ; −∇ g i k ( x◦ ) ; i j ∈ I ; j = 1, · · · , k
u= y ; b = ∇ f ( x◦ ) ∈ R n
Appliquons le théorème de Farkas et Minkowski

Rappel : A une matrice n × k; b ∈ Rn . Alors pour qu’il existe x Ê 0, x ∈ Rk tel que Ax = b

⇐⇒ u T .b Ê 0 ∀ u ∈ Rn tel que u T A Ê 0
£ ¤T
Dans notre cas, u T .b = yT .∇ f ( x◦ ) = ∇ f ( x◦ ) .y Ê 0 ∀ y ∈ G
£ ¤
tel que u T A = yT .A = − ∇[ g i 1 ( x◦ )]T .y; · · · ; −∇[ g i k ( x◦ )]T .y Ê 0; ∀ i, j ∈ I ◦ ; j = 1 à k
Donc ∃(λ i ) i∈ I ◦ Ê 0 tel que : X
A λ = b ⇐⇒ (−λ i )∇ g i ( x◦ ) = b = ∇ f ( x◦ )
i∈ I ◦

En choisissant λ i = 0 pour i ∈ I \{ I }, ce qui s’exprime par les conditions λ i g i ( x◦ ) = 0 , on obtient le C

◦

de KT en x◦

YEBARI NAJI 6 2020/2021

 4. EXTENSION À DES PROBLÈMES AVEC CONTRAINTES D’ÉGALITÉS ET
D’INÉGALITÉS. CONDITIONS DE LAGRANGE Faculté des sciences

4. Extension à des problèmes avec contraintes d’égalités et d’inégalités. Conditions

de Lagrange


 M in f ( x)





 s/ c
(P10 ) : g i ( x) É 0 ; i ∈ I = {1, 2, · · · , m} f , g i , h l sont de C 1




 h l ( x) = 0 ;


l ∈ L = {1, 2, · · · , p}

x ∈ Rn
© ª
χ = x ∈ R n / g i ( x ) É 0 ( ∀ i ∈ I ), h l ( x ) = 0 ( ∀ l ∈ L )
- On définit C ad comme auparavant
-On montre qu’une C.N pour que y ∈ C ad et que l’on ait

y ∈ G 1 = { y ∈ Rn /[∇ g i ( x◦ )]T .y É 0( i ∈ I ◦ ); [∇ h j ( x◦ )]T .y = 0( j ∈ L)}

où I ◦ = { i / g i ( x◦ ) = 0} . (Qc) C ad = G 1
On peut alors montrer :

Théorème 4. K.T

On suppose que f , g i , h j sont de C 1 et que la (QC) est vérifiée en x◦ , solution de (P 0 )

Alors, une CN pour que x◦ soit un minimum local de (P 0 ) est qu’il existe des scalaires (λ i ) i∈ I Ê 0
et ( r j ) j∈L (de signe quelconque) tels que
 X X
∇ f ( x◦ ) + λ i ∇ g i ( x◦ ) + r j ∇ h j ( x◦ ) = 0
(K T ) : i∈ I j ∈L

λ i g i ( x ◦ ) = 0 (∀ i ∈ I )

Remarque 3
X
Dans le cas des contraintes égalités ces conditions deviennent ∇ f ( x◦ ) + r j ∇ h j ( x◦ ) = 0 (condition
j ∈L
de Lagrange)

5. Conditions suffisantes d’optimalité ¿ Points cols À et fonction de Lagrange




 M in f ( x) X
(P ) : g i ( x) É 0 ( i ∈ I ) −→ L( x, λ) = f ( x)+ λ i g i ( x) [Fonction de Lagrange] , 0 É λ i = multiplicateur de La grange


 x ∈ S ⊂ Rn i∈ I

Définition 2

Soit x ∈ S et λ Ê 0, on dit que ( x, λ) est un point-col (point-selle) de L( x, λ) si :

(i) L( x, λ) É L( x, λ) , ∀ x ∈ S [i.e min L( x, λ) = L( x, λ)]
x∈ S
(ii) L( x, λ) É L( x, λ) , ∀λ Ê 0 [i.e max L( x, λ) = L( x, λ)]
λÊ0

YEBARI NAJI 7 2020/2021

Faculté des sciences 8

Théorème 5. C.N.S d’existence d’un point-Col

.
Soit x ∈ S et λ Ê 0 ; ( x, λ) est un point-col pour L( x, λ) ssi
(i) L( x, λ) = min L( x, λ)
x∈ S
(ii) g i ( x) É 0 (∀ i ∈ I )
(iii) λ i g i ( x) = 0 (∀ i ∈ I )

Preuve.

(i) Clair
(ii) ∀λ Ê 0X, L( x, λ) Ê L( x, λ) X X
f ( x) + λ i g i ( x) Ê f ( x) + λ i g i ( x) =⇒ (⋆) (λ i − λ i ) g i ( x) É 0 ∀λ > 0
i∈ I i∈ I i∈ I
=⇒ g i ( x) É 0 ; ∀i ∈ I
sinon ∃ k ∈ I t.q g k ( x) > 0, puisque (⋆) est vérifiée ∀λ > 0, il suffit de choisir λk > 0 assez grand pour
obtenir une contradiction. X
(iii) (⋆) est vraie pour λ = 0 ce qui donne λ i g i ( x) Ê 0
X X i∈ I
Mais λ i g i ( x) É 0 ; d’où λ i g i ( x) = 0
i∈ I i∈ I
Alors : λ i g i ( x) = 0, ∀ i ∈ I
Réciproque : supposons que les conditions ( i ), ( ii ), ( iii ) soient vérifiées alors
( i ) =⇒ L( x, λ) É L( x, λ) ∀ x ∈ S
d’autre part : ( iii ) =⇒ LX ( x, λ) = f ( x) .
En fin , L( x, λ) = f ( x) + λ i g i ( x) É f ( x) = L( x, λ) ∀λ Ê 0
i∈ I
Donc L( x, λ) É L( x, λ) É L( x, λ) ∀λ Ê 0 ∀ x ∈ S

Théorème 6

Si ( x, λ) est un point-col de L( x, λ) alors x est un minimum global de (P )

Preuve.
X X
i ) =⇒ f ( x) + λ i g i ( x) É L( x, λ) = f ( x) + λ i g i ( x) ∀ s ∈ S
i∈ I i∈ I
or
iii ) =⇒ λ i g i ( x ) = 0 (∀ i ∈ I )
X
=⇒ f ( x) É f ( x) + λ i g i ( x)∀ x ∈ S
i∈ I
=⇒ f ( x) É f ( x) ∀ x ∈ S c.q.f.d

Contre exemple : On peut avoir un minimum mais pas de point col


 2
 M in(− x ) S = [0, 1]

s/ c : 2 x − 1 É 0 L( x, λ) = − x2 + λ(2 x − 1); λ Ê 0


0 É x É 1 fonction de Lagrange
x 7−→ L( x, λ) est concave sur [0, 1] =⇒ min soit en 0 soit en 1 .
1
Mais le min de (P ) est en x⋆ = , par suite il n’existe pas de point-col.
2
2. C.N.S d’existence d’un point-col : fonctions de perturbation
 
y1
 
Soit y =  ...  ∈ Rm , On considère le Problème perturbé :
ym

YEBARI NAJI 8 2020/2021

5. CONDITIONS SUFFISANTES D’OPTIMALITÉ ¿ POINTS COLS À ET FONCTION DE
LAGRANGE Faculté des sciences



 M in f ( x) = (ϕ( y))


 s/ c
(P y ) : ; ϕ fonction de perturbation.

 g i ( x) É yi (∀ i ∈ I )



x∈S
Notons que : y0 É y =⇒ ϕ( y0 ) Ê ϕ( y) et min(P ) = ϕ(0)

Théorème 7

Supposons que (P ) admet un minimum x de valeur finie. Alors ( x, λ) est un point-col de L( x, λ) si

T
et seulement si ∀ y ∈ Rm : ϕ( y) Ê ϕ(0) − λ .y
T
C.à.d l’hyperplan z = ϕ(0) − λ .y est un hyperplan d’appui à ϕ en 0

Preuve.

La CN =⇒ ( x, λ) est un point-col
T T
f ( x) + λ g( x) Ê f ( x) + λ g( x) ; ∀ x ∈ S ; ϕ : Rm −→ R
| {z } |{z} | {z }
P =ϕ(0) =0
= λ i g i ( x)
T
donc f ( x) Ê ϕ(0) − λ g( x)
En particulier , ∀ y ∈ Rm tel que (P y ) ait une solution, ∀ x ∈ S solution de (P y ) on a :
T T
f ( x) Ê ϕ(0) − λ g( x) Ê ϕ(0) − λ y
T
On en déduit que : ϕ( y) Ê ϕ(0) − λ y (⋆)
Si y ∈ Rm est tel que (P y ) n’ait pas de solution, alors ϕ( y) = +∞ et (⋆) est encore vérifiée.
T
La condition suffisante : supposons que : ϕ( y) Ê ϕ(0) − λ .y (∀ y ∈ Rm )

+∞ ϕ( y) −→
– Montrons que λ Ê 0 sinon ∃λ i < 0 alors +∞ yi →
0 ∀ k 6= i
yk =
or ∀ y Ê 0 : ϕ( y) É ϕ(0) [propriété de monotonie de ϕ] ce qui implique +∞ É ϕ(0) absurde donc :
λÊ0
T
– Par définition de ϕ( y) on a ∀ x ∈ S : f ( x) Ê ϕ( g( x)) Ê ϕ(0) − λ .g( x)
T
f ( x) + λ .g( x) Ê f ( x) ∀ x ∈ S
En particulier pour x = x on obtient )
T
T ⇒ λ .g( x) É 0
f ( x) + λ .g( x) Ê f ( x) T
or λ .g( x) Ê 0
T
=⇒ λ .g( x) = 0
T T
alors la relation : f ( x) + λ .g( x) Ê f ( x) = f ( x) + λ .g( x) ∀ x ∈ S
m.q L( x, λ) = min L( x, λ)
x∈ S
T
ce qui avec λ Ê 0 et λ .g( x) = 0 montre que ( x, λ) est un point-col.

Exemple d’application :
  Ã ! Ã ! Ã !
 2 2 
 M in( x1 + x2 )
 
(∇ f ( x) = 2 x 1
) + (λ∇ g( x) = λ.
2
)=
0
(P ) : s/ c : C.K.T : 2 x2 1 0

 

2 x + x É −4 λ.g( x) = 0
1 2
Si λ = 0 =⇒ x1 = x2 = 0 impossible.


 g( x) = 2 x1 + x2 + 4 = 0
 )
donc λ > 0 =⇒ 2 x1 + 2λ = 0

 =⇒ 2 x2 = −λ = x1
 2x + λ = 0
2

YEBARI NAJI 9 2020/2021

 Faculté des sciences 10

−4 −8 8
0 = 2 x1 + x2 + 4 = 4 x2 + x2 + 4 =⇒ x2 = ; x1 = ; λ = − x1 =
5 5 5
8 4 80 10 × 5 16
M in(P ) = ( )2 + ( )2 = = =
5 5 25 25 5 
( 
2 2
M in( x1 + x2 ) = ϕ( y) 0 si y Ê 4
(P y ) : a pour solution : ϕ( y) = µ 2 y − 8 ¶2 µ y − 4 ¶2 1 2 8 16
s/ c : 2 x1 + x2 + 4 É y 
 + = y − y+ si y É 4
5 5 5 5 5
−8 8
ϕ est convexe qui admet une tangente de pente = −λ au point y = 0 et λ = on déduit du théorème
5 5
8
l’existence d’un point-col avec le multiplicateur de point-colλ = .
5

6. L’existence du point-col dans le cas convexe - Multiplicateurs de Lagrange

comme sous-∇ de la fonction de perturbation

Définition 3

(i) On appelle sous-gradient de f en x◦ ∈ Rn , tout vecteur r = (r 1 , r 2 , · · · , r n )T ∈ Rn vérifiant

f ( x ) Ê f ( x ◦ ) + r T .( x − x ◦ )
© ª
(ii) Le sous-différentiel de f en noté ∂ f ( x0 ) = des
©
sous-gradients
ª
de f en x0
0 0 0
De plus, si f est différentiable en x , ∂ f ( x ) = ∇ f ( x )
(iii) f , fonction
©
convexe est propre
ª
si
n
dom( f ) = x ∈ R f ( x) < +∞ est non vide et f ( x) > −∞∀ x ∈ dom( f )
Déf

Propriété 1

Soit f une fonction convexe propre alors minimise f ssi 0 ∈ ∂ f ( x0 )

En effet ; 0 ∈ ∂ f ( x0 ) ssi f ( x) Ê f ( x0 ) + 0.( x − x0 ) = f ( x0 ); ∀ x ∈ Rn c.q.f.d

considérons le Problème : 


min f ( x)
(P ) : s/ c g i ( x) É 0


 x ∈ S ⊂ Rn ; S convexe

Théorème 8

On suppose que les fonctions f et g i ; ( i ∈ I ) sont convexes , que S ⊂ Rn est convexe et qu’il existe
x ∈ S tel que g i ( x) < 0 (∀ i ∈ I )
Alors si (P ) admet une solution optimale x, existe un vecteur de multiplicateurs r Ê tel que ( x, r )
soit un point-col de la fonction de Lagrange L( x, λ)

Preuve. Indication

on utilise le Théorème ci-dessus :

(i) y 7−→ ϕ( y) est une fonction convexe propre .
(ii) y = 0 appartient à l’intérieure de dom(ϕ)
=⇒ ϕ admet un sous-gradient r au point y = 0
ϕ( y) Ê ϕ(0) + r T y (∀ y ∈ Rm )
En posant r = − r l’existence d’un point-col en découle.

YEBARI NAJI 10 2020/2021

 7. MÉTHODES PRIMALE (OU DIRECTES) Faculté des sciences

Corollaire 1. Lien avec les conditions de K.T dans le cas convexe différentiable

Sous les hypothèses du théorème précédent avec S = Rn , f , g i sont de classe C 1 , alors x est
optimum
( du Problème (P 0 ) si les conditions de Kuhn-Tucker sont vérifiées pour x c.à.d ∃λ Ê 0 tel
∇ x L( x, λ) = 0
que
λ g i ( x) = 0 ∀ i ∈ I

Preuve.

D’après le Théorème précédent, x optimum globale si et seulement si ∃λ Ê 0 tel que ( x, λ) point-col c.à.d
vérifie
(i) x minimise L( x, λ) sur Rn
(ii) g i ( x) É 0 ∀ i ∈ I
(iii) λ i g i ( x) = 0 ∀ i ∈ I
comme f et les g i ( i ∈ I ) sont convexes et différentiable, L( x, λ) est convexe et différentiable en x, et par
suite la condition ( i ) ⇐⇒ ∇ x L( x, λ) = 0 qui combine avec ( ii ) et ( iii ) donne les conditions de K.T en x

7. Méthodes primale (ou directes)

7.1. Méthodes de directions réalisable




min f ( x)
(P 0 ) : g i ( x) É 0 ; i ∈ I = {1, 2, · · · , m} f , g i de classe C 1


 x ∈ Rn

On voudrait adapter les méthodes d’optimisation sous contraintes, c.à.d définir des directions yk tel
que f ( x k + λk yk ) mais en respectant les contraintes.
Pour le choix de y à partir de , on voudrait :
£ ¤T
– ∇ g i ( x0 .y É 0 ∀ i ∈
£ ¤T
– ∇ f ( x0 ) .y < 0
ceci conduit à résoudre le Problème (P.L) :
Méthode de Zoutendjik
 £ ¤T

min ∇ f ( x0 ) .y

 y
 £ ¤
0 T
( I ) s/ c : ∇ g i ( x ) .y É 0 ∀ i ∈

 X
m


 | yi | = 1
i =1

Mais le Problème ci-dessus peut ne pas converger pour k yk2 É α, α assez petit, f et g i ( i ∈ I ) puissent
être approchées par le D.L de Taylor à l’ordre 1. La recherche d’une direction de déplacement tenant
compte de toutes les contraintes pourrait être résolu par le Pb :
 £ ¤
 0 T
 min ∇ f ( x ) .y (1)
0
£ 0
¤T
(I I ) : s/ c : g i ( x ) + ∇ g i ( x ) .y É 0 (∀ i ∈ I ) (2)

 T
y .y = k yk2 É α (3)

(3) est non linéaire, de plus si pour une contrainte i ∈ la solution de ( I I ) vérifie [∇ g i ()]T .y = 0, alors
tout petit déplacement faisant sortir de l’ensemble des solutions
C’est pourquoi Topkis et Veinot (1967) ont proposé de remplacer ( I I ) par le Problème (très voisin) de

YEBARI NAJI 11 2020/2021

 Faculté des sciences 12

PL : 

 min £Z ¤T
(I I I ) : s/ c : ∇ f ( x0 ) .y − Z É 0

 £ ¤T
g i ( x0 ) + ∇ g i ( x0 .y − u i Z É 0 (∀ i ∈ I )
dans lesquels les inconnues sont yi ( i ∈ I ) et z, et ( u i ) i∈ I sont des paramètres > 0 fixés.

Théorème 9

Si en un point x0 ∈ χ, x0 régulier, la valeur optimale du Pb ( I I I ) vérifie Z ⋆ = 0, alors les conditions

de Kuhnet Tucker sont satisfaites en ⋆

Preuve.

Supposons Z ⋆ = 0 .
En associant aux contraintes de ( I I I ) des variables duales r i Ê 0 et r i Ê 0 ( i ∈ I ) le dual
 X

 Maximiser r i g i ( x0 )



 i∈ I

 s/ c

 £ ¤T X £ ¤T
( IV ) : − r o ∇ f ( x0 ) − γ i ∇ g i ( x0 ) = 0

 X i∈ I



 ro + ri ui = 1



 i∈ I
ro Ê 0 , ri Ê 0
(où les contraintes suit des contraintes d’égalité, car dans ( I I I ) les variables y et Z sont libres en signe)
D’aprèsXle théorème de la dualité en PL :
Z⋆ = r i g i ( x0 ) = 0 =⇒ r i g i ( x0 ) = 0 ∀ i ∈ I
i∈ I
=⇒ r i = 0 , ∀i ∉
X £ ¤T
=⇒ r i ∇ g i ( x0 ) = 0
i∈ I
=⇒ r i = 0 ∀i ∈
=⇒ r i = 0 (∀ i ∈ I )
=⇒ r o 6= 0impossible .... (∀ i ∈ I )
 X
ri ∇ f ( x0 ) + λ i [∇ g i ( x)]T = 0
Posons λ i = tels que : i∈ I
ro 
λ i g i ( x0 ) = 0 ∀ i ∈ I )
L’algorithme : On part d’un point x0 , on résout ( I I I )
Si Z ⋆ = 0 stop
⋆
£ ¤T
Si Z < 0 ; ∇ f ( x0 ) .y < 0
£ ¤T
g i ( x0 ) + ∇ g i ( x0 ) .y < 0
on définit x1 par f ( x1 ) = min f ( x0 + θ y)
θ >0 x0 +θ y∈χ
1
et on résout ( I I I ) en x .

7.2. Méthode du ∇ projeté (Rosen 1960)

On considère le Pb :


min f ( x)


 s/ c
( x) = { i / i ∈ I 1 ; a i x = b i } ∪ I 2

 a i x É b i ; i ∈ I1



a j x = b j j ∈ I2
Résultat préliminaire :
Si A ◦ est une matrice ( q × n) de rang q É n, la solution optimale du problème :

YEBARI NAJI 12 2020/2021

7. MÉTHODES PRIMALE (OU DIRECTES) Faculté des sciences


 T
 M in [∇ f ( x)] .d

y © ª
s/ c A ◦ d = 0 est d = où y est la projection de −∇ f ( x) sur S ◦ = y/ A ◦ y = 0 donnée par

 k yk
k d k = 1
µ h i−1 ¶
◦ ◦T ◦ ◦T ◦
y = − P ∇ f ( x) = − I − A A A .A
((P ) est appelée la matrice de projection sur S ◦ )
◦

Preuve.
M
1. Rn = S ◦ S ◦T
−∇ f ( x) = y + s , y ∈ S ◦ , s ∈ S ◦T
∀ d ∈ S ◦ ; − [∇ f ( x)]T .d = yT d + yT d
y
or [∇ f ( x)]T .d sera minimal lorsque yT d sera maximal c.à.d lorsque d =
k yk
2. Calcul de ny : o
S ◦T = vect vecteurs colonnes de A ◦T
d’où s = A ◦T .u, où u ∈ R q à déterminer
−∇ f ( x) = y + A ◦T u ³ ´
0 = A ◦ y∈S ◦ = − A ◦ ∇ f ( x) − A ◦ A ◦T u
³ ´−1
u = − A ◦ A ◦T A ◦ ∇ f ( x)
· h i−1 ¸
◦T ◦T ◦ ◦T
y = −∇ f ( x) − A u = − I − A A A A ◦ ∇ f ( x)

Remarque 4

Si y 6= 0 =⇒ [∇ f ( x)]T y = −( y)T ( y + s) = − yT .y < 0 ( y direction de )

On pose© alors αmax = Max {α Ê 0/ x + α.y ∈ X } ª
où X = x ∈ Rn /a i x É b i ( i ∈ I 1 ) ; a i x = b i ( i ∈ I 2 )
on détermine x0 / f ( x0 ) = min f ( x + α y)
0ÉαÉαmax
on détermine le nouveau ensemble et la nouvelle matrice P ◦ permettant de calculer la nouvelle
direction de déplacement y0 = −P ◦ ∇ f ( x0 ) et ainsi de suite.

L’algorithme se poursuit tant que y = −P ◦ ∇ f ( x) 6= 0

Si y = 0 dans ce cas ∇ f ( x) + A ◦T u = 0 (⋆)
h i−1
avec u = A ◦ A ◦T .A ◦ ∇ f ( x) (⋆⋆)

comme les colonnes de A ◦T sont les gradients des contraintes saturées en x, on vooit que u Ê 0
(⋆) n’exprime rien que les conditions de KT (en x)
C.à.d x est un optimum local du Pb.
sinon alors < 0 (soit u i < 0 (par exemple le plus faible))
on forme A ◦0 à partir de A ◦ en supprimant la i ème ligne et on recommence.
Algorithme :
(a) point de départ .
(b) A l’itération k on est en x k .
calculer l’ensemble ( x k ) des indices des contraintes saturées. Poser L◦ = ( x k )
(c) A ◦ = matrice formée des lignes correspondent aux contraintes i ∈ L◦ .
³ ´−1
calculer la matrice de Projection P ◦ = I − A ◦T A ◦ A ◦T .A ◦ , puis yk = −P ◦ ∇ f ( x k ) si yk = 0
aller en ( e)
n o
(d) si yk 6= 0 déterminer αmax = Max α Ê 0/ x k + α yk ∈ X
n o
puis x k+1 tel que f ( x k+1 ) = min f ( x k + α.yk )
0ÉαÉαmax

YEBARI NAJI 13 2020/2021

 Faculté des sciences 14

Faire k ⇐= k + 1 et retourner en ( b)
h i−1
(e) Soit u = − A ◦ A ◦T .A ◦ ∇ f ( x k )
Si u Ê 0, Fini : x k satisfait les conditions de K.T
Sinon soit u i la composante la plus négative de u
Faire L◦ ⇐= L◦ − { i } et retourner en ( c)

7.3. La méthode de Frank & Wolfe (1956)



 M in f ( x)


 s/ c

 Ax = b



xÊ0

La méthode de Frank et Wolfe engendre une suite x k ainsi donné, x k définie et x k+1 déterminer à
partir de x k en résolvant le PL suivant :
 h iT

 M in ∇ f ( x k ) .x




k s/ c
PL( x )

 Ax = b




xÊ0

k+1
Soit yk un point extrême
h
k
i de χ solution optimale de PL( x ). Alors x est choisi de façon à minimiser
k k
f sur le segment x , y

Théorème 10

On suppose f de classe C 1 et que l’une des conditions suivantes est satisfaite :

(i) Le polyèdre X = { x Ê 0/ Ax = b} est borné.
(ii) lim f ( x) = +∞.
k xk→+∞
Alors ∀ ∈ χ, la méthode de Frank et Wolfe converge vers un optimum local du Problème min f ( x)
x∈χ

YEBARI NAJI 14 2020/2021