Académique Documents
Professionnel Documents
Culture Documents
Conditions d’optimalité
Multiplicateurs de Lagrange
Considérons le problème de programmation mathématique suivant
Min f ( x )
Sujet à fi ( x ) = 0 i = 1,… , m (4.1)
x∈ X
où X ⊂ R n et les fonctions f : X → R1 , fi : X → R1 , i = 1,… , m.
Preuve. La preuve se fait par contradiction en supposant que x* n'est pas une
solution optimale de (4.1). Alors il existe un x tel que f i ( x ) = 0 pour tout
( )
i = 1,… , m, et f ( x ) < f x* .
Théorème 4.1: Supposons que le lagrangien associé au problème (4.1)
m
L (λ, x) = f ( x ) + λ f ( x)
i =1
i i
*
possède un minimum global x sur X lorsque le vecteur de multiplicateurs
( )
λ = λ * . Si fi x* =0 pour tout i = 1,… , m, alors x* est une solution optimale
globale de (4.1).
Preuve. La preuve se fait par contradiction en supposant que x* n'est pas une
solution optimale de (4.1). Alors il existe un x tel que fi ( x ) =0 pour tout
i = 1,… , m, et f ( x ) < f x* . ( )
Par conséquent, pour tout λ
m m
λi fi ( x ) = λi fi ( x* ) = 0
i =1 i =1
et ainsi
m m
f (x)+ λi fi ( x ) < f ( x* ) + λi fi ( x* ).
i =1 i =1
En prenant λ = λ * la relation précédente contredit le fait que x* est un
minimum global du lagrangien sur X lorsque λ = λ * . □
Exemple:
Min f ( x, y ) = x 2 + 2 y 2
Sujet à f1 ( x, y ) = x + y − b = 0.
( )
L ( λ , x, y ) = x 2 + 2 y 2 + λ ( x + y − b )
2 x + λ 0 λ = −2 x
∇ x , y L ( λ , x, y ) = = ⇔ ⇔ x = 2y
4 y + λ 0 λ = − 4 y
b
x + y − b = 2 y + y − b = 3y − b = 0 ⇔ y =
3
2b
Donc x = 2y =
3
4b
λ = −2 x = −
3
Considérons maintenant le problème de programmation mathématique suivant
Min f ( x )
Sujet à fi ( x ) ≤ 0 i = 1,… , m (4.2)
x∈ X
*
possède un minimum global x sur X lorsque le vecteur de multiplicateurs
( ) ( )
λ = λ * . Si fi x* ≤ 0 , λi* ≥ 0 et λi* fi x* = 0 pour tout i = 1,… , m, alors x* est
une solution optimale globale de (4.2).
Exemple:
Min f ( x ) = x 2
Sujet à f1 ( x ) = 2 x + 5 ≤ 0.
L ( λ , x ) = x2 + λ ( 2 x + 5)
∇ x L ( λ , x ) = 2 x + 2λ = 0 ⇔ x = −λ
5
2 x + 5 = −2λ + 5 = 0 ⇔ λ =
2 5
λ = ≥0
2
5
Donc x = −λ = − 2 x + 5 = 0 ( 2 x + 5) λ = 0
2
Conditions d’optimalite de
Karush-Kuhn-Tucker (KKT)de premier ordre
Pour obtenir des conditions plus facilement vérifiables, il faut poser des
hypothèses sur X et les fonctions f et fi .
Si X est convexe, si f et fi sont différentiables et convexes dans le
problème (4.2)
Min f ( x )
Sujet à fi ( x ) ≤ 0 i = 1,… , m (4.2)
x∈ X
et si λi ≥ 0, i = 1,… , m,
m
alors le lagrangien L (λ, x) = f ( x) + λ f ( x)
i =1
i i
( )
∇ x L λ * , x = ∇f ( x ) + λi*∇fi ( x ) = 0.
i =1
Alors le Théorème 4.2 peut s'écrire:
K-K-T
Théorème 4.2: Supposons que
le lagrangien associé au problème (5.2) S'il existe un λ * tel que
m m
L ( λ, x ) = f ( x ) + λi fi ( x ) ( )
∇x L λ , x * *
= ∇f x +( )
*
λi*∇fi ( x* ) = 0
i =1 i =1
λ f (x ) = 0
*
possède un minimum global x sur X *
i i
*
i = 1,… , n
lorsque le vecteur de multiplicateur λ * . *
f (x ) ≤ 0 i = 1,… , n
( ) ( )
i
Si fi x* ≤ 0 , λi* ≥ 0 et λi* fi x* = 0
λi* ≥ 0 i = 1,… , n
pour tout i = 1,… , m,
alors x* est une solution optimale globale de (4.2).
Exemple.
Min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2
( ) = ∇f ( x ) + λ ∇f ( x ) = 0
∇x L λ , x * * * * *
λ1 ( x + x − 5 ) = 0
i i
2 2
i =1
λ f (x ) = 0
1 2
λ2 ( 3x1 + x2 − 6 ) = 0 i = 1,… , n
* *
i i
f (x ) ≤ 0
*
i = 1,… , n
x + x −5 ≤ 0
2
1
2
2
i
λ1 , λ2 ≥ 0
Exemple.
Min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2
Sujet à x12 + x22 ≤ 5 ⇔ x12 + x22 − 5 ≤ 0 λ1
3x1 + x2 ≤ 6 ⇔ 3 x1 + x2 − 6 ≤ 0 λ2
4 x1 + 2 x2 − 10 + λ 2 x1 + λ 3 = 0
2 x1 + 2 x2 − 10 1 2 x2 2 1 Nous pouvons faire différentes
hypothèses sur quelle contrainte
λ1 ( x12 + x22 − 5 ) = 0 est active dans le but d'identifier
λ2 ( 3x1 + x2 − 6 ) = 0 des valeurs de x1 , x2 , λ1 , λ2
satisfaisant les conditions KKT.
x12 + x22 − 5 ≤ 0
3x1 + x2 − 6 ≤ 0 Supposons que la première est
λ1 , λ2 ≥ 0 active et que la seconde ne l'est pas:
x12 + x22 − 5 = 0
3 x1 + x2 − 6 < 0 λ2 = 0.
Exemple.
Min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2
Sujet à x12 + x22 ≤ 5 ⇔ x12 + x22 − 5 ≤ 0 λ1
3x1 + x2 ≤ 6 ⇔ 3 x1 + x2 − 6 ≤ 0 λ2
Théorème 4.3: Supposons que X est convexe et que les fonctions f et fi sont
différentiables et convexes. Si les conditions de K-K-T sont vérifiées à x* ,
alors x* est un minimum global du problème ( 4.2 ) .
Conditions K-K-T nécessaires
Revenons à l'analyse de la nécessité des conditions K-K-T .
( )
Supposons que x* ∈ X , f i x* ≤ 0, i = 1,… , m, est une solution locale du
problème ( 4.2 ) . Min f ( x )
Sujet à fi ( x ) ≤ 0 i = 1,… , m (4.2)
x∈ X
Notation: Dénotons l'ensemble des contraintes actives
( ) { ( ) }
A x* = i : f i x* = 0 = {i1 ,… , ik } ⊂ {1,… , m} .
∇f ( x )*
T
d < 0.
( )
∇fik x
*
( ) + λ ∇f ( x ) = 0
∇f x * *
i i
*
i =1
λ f (x ) = 0
*
i i
*
i = 1, … , n
f (x ) ≤ 0
i
*
i = 1, … , n
λi* ≥ 0 i = 1, … , n
Malheureusement
HYPOTHÈSE À VÉRIFIER : Supposons que nous pouvons démontrer
qu'il n'existe pas de vecteur d ∈ R n tel que
( ) ( )
T
∇f i x *
d ≤0 i ∈ A x* ( 4.3)
∇f ( x )
T
*
d <0
f 2 ( x1 , x2 ) = − x1 ≤ 0
f3 ( x1 , x2 ) = − x2 ≤ 0.
L'ensemble des solutions réalisables de ce problème est
représenté par la region en-dessous de la courbe de f1 ( x1 , x2 )
au-dessus de l'axe des x1 et à droite de l'axe des x2 .
x2
x1
Min f ( x1 , x2 ) = − x1
Sujet à f1 ( x1 , x2 ) = ( x1 − 1) + x2 ≤ 0
3
f 2 ( x1 , x2 ) = − x1 ≤ 0
f3 ( x1 , x2 ) = − x2 ≤ 0.
L'ensemble des solutions réalisables de ce problème est
représentée par la region en-dessous de la courbe de f1 ( x1 , x2 )
au-dessus de l'axe des x1 et à droite de l'axe des x2 .
x2 Il est facile de vérifier que
x* = [1, 0] est une solution
T
f 2 ( x1 , x2 ) = − x1 ≤ 0
f3 ( x1 , x2 ) = − x2 ≤ 0.
Or ∇f x ( ) = [−1, 0]
* T
,
( )
T
∇f1 ( x ) = 3 ( x1 − 1) ,1 et ∇f1 x = [ 0,1]
2 * T
x2 ( )
∇f3 x* = [ 0, −1]
T
•
x* x1
( )
Or ∇f x* = [ −1, 0] ,
T
2
( )
∇f1 ( x ) = 3 ( x1 − 1) ,1 et ∇f1 x = [ 0,1]
* T
( ) = [0, −1]
∇f 3 x * T
Ainsi le système
( ) d = −d < 0
T
*
∇f x 1
∇f ( x ) d = d ≤ 0
T
*
1 2
∇f ( x ) d = − d ≤ 0
x2 T
*
3 2
•
x* x1
Ainsi le système
( ) d = −d < 0
T
*
∇f x 1
∇f ( x ) d = d ≤ 0
T
*
1 2
∇f ( x ) d = − d ≤ 0
T
*
3 2
x2
pointe directement à l'extérieur du domaine réalisable.
Nous allons donc imposer certaines
restrictions sur les contraintes des
problèmes considérés pour éliminer
d
•
de telles situations.
x* x1
Restrictions sur les fonctions de contraintes de
Kuhn-Tucker
Interprétation géométrique.
∇f1 ( x ) dˆ ≤ 0
T
∇f 2 ( x )
T
dˆ ≤ 0 α (θ ) = x + θ dˆ
x α (0) = x
α ′ ( 0 ) = dˆ
x + dˆ
f2 ( x ) f1 ( x )
Définition. Étant donné un point x ∈ δ Rɶ , f1 , … , f m satisfont les restrictions
sur les fonctions de contraintes au point x si pour tout vecteur dˆ solution du
système ∇f i ( x ) d ≤ 0, i ∈ A ( x ) , il existe une fonction différentiable
T
Interprétation
Se référant à la notion de direction de descente, lorque ∇fi ( x ) d < 0, alors pour
T
( )
∇f x * + λi*∇fi ( x* ) = 0
i =1
λi* fi ( x* ) = 0 i = 1,… , m.