4.

Optimisation avec contraintes

méthodes primales
 4.1 Approche générale

Considérons le problème général de programmation

mathématique suivant:
Min

f  x  4.1
xR

où le domaine réalisable R est en général défini à l'aide

d'un ensemble de contraintes de type gi  x   0, i  1, , m

  
i.e., R  x  R n : gi  x   0, i  1, , m .
Considérons le problème général de programmation
mathématique suivant:
Min

f  x.  4.1
xR

Approche de résolution: méthode itérative

i ) Itération initiale
Déterminer une solution initiale x 0  R .
ii ) Itération générale  k  1
Déterminer une direction d k et un pas  k dans cette direction
pour s'éloigner de la solution actuelle x k en prenant
x k 1 = x k + d k  R .
k
iii ) Répéter l'itération générale jusqu'à ce qu'un critère d'arrêt soit
satisfait.
La direction d k varie selon la méthode.

Par contre, les méthodes utilisent en général un "pas" optimal

déterminé comme suit:
Étant donné x k et d k , dénotons par  k la plus grande valeur que peut
prendre le pas  k de sorte que x k   k d k  R .
Alors le "pas" optimal  k* satisfait la relation
 
f x k   k* d k  Min
0  k  k
 f x k
 k d k   4.2 
 4.2 Méthode des directions réalisables
Soit le problème  4.1 où f  C1 / R et où R est défini à l'aide d'un ensemble
de contraintes linéaires. Ce problème prend la forme suivante:
 P Min f  x 
iT
Sujet à a x  bi i  1, , m.

Étant donné une solution réalisable x k de  P  définissons l'ensemble des

indices des contraintes actives
 iT
I k  i : a x k  bi . 
Puisque le pas  k  0, alors pour que x k + k d k  R , il faut que
iT iT
a x + k a d k  bi
k
i  I k
iT
i.e., k a d k  0 i  I k .
 P Min f  x 
iT
Sujet à a x  bi i  1, , m.

 iT
I k  i : a x k  bi . 
Puisque le pas  k  0, alors pour que x k + k d k  R , il faut que
iT iT
a x + k a d k  bi
k
i  I k
iT
i.e., k a d k  0 i  I k .

k
Par conséquent la direction d est définie à l'aide d'une solution optimale
du problème
 
T
 Pk  Min f x k
d
iT
Sujet à a d  0 i  Ik
1  d j  1 j  1, , n
 k
Par conséquent la direction d est définie à l'aide d'une solution optimale
du problème
 
T
 Pk  Min f x k d
T
Sujet à ai d  0 i  I k
1  d j  1 j  1, , n

Les contraintes additionnelles  1  d j  1 j  1, , n permettent de

 
T
comparer les quantités f x k
d sur une base équitable pour toutes
les directions.

 
T
Si la valeur optimale f x k
d k  0 de  Pk  , alors la direction d k est une
direction de descente de f au point x k et par conséquent la fonction économique
f décroît dans la direction d k dans le voisinage de x k .
  
T
Si la valeur optimale f x k
d k  0 de  Pk  , alors la direction d k est une
direction de descente de f au point x k et par conséquent la fonction économique
f décroît dans la direction d k dans le voisinage de x k .
Plus grand pas  k
Étant donné x k et d k , dénotons par  k est la plus grande valeur que peut
prendre le pas  k de sorte que x k   k d k  R .
Ainsi, dans le cas de contraintes linéaires,  k est la plus grande valeur que peut
prendre le pas  k de sorte
a iT
x k

  k d k  bi i  1, , m
iT iT
a x   k a d k  bi
k
i  1, , m .
Or puisque la direction d k a été choisi de telle sorte
 
T
ai x k   k d k  bi i  Ik
pour toute valeur de  k  0,
alors il suffit de choisir  k comme étant la plus grande valeur que peut prendre
le pas  k de sorte
x 
T
ai k
  k d k  bi i  Ik
T T
a i x k   k a i d k  bi i  Ik .
Il suffit de choisir  k comme étant la plus grande valeur que peut prendre
le pas  k de sorte
a iT
x k

  k d k  bi i  Ik
iT iT
a x   k a d k  bi
k
i  Ik .
iT
Or puisque a x k  bi lorsque i  I k , il s'ensuit que
iT iT iT
si a d  0, alors a x   k a d k  bi pour toute valeur  k  0;
k k

T T T T T
si ai d k  0, alors ai x k   k a i d k  bi   k a i d k  bi  a i x k
iT
bi  a x k
 k  .
iT
a dk

Par conséquent
 b  aiT x k T k

 k = Min  i T : a d  0 .
i
iI k i k
 a d 
  
T
Le critère d'arrêt est satisfait lorsque f x
k
d k  0 pour un certain indice k ,
sinon la méthode s'arrête à la limite quand k  .
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x0 0 x1  x2  5
d  x2  2
x2  2

f  x    x1 , x2 
T

Itération 1: x   2,3 . Alors I 0  .

0 T

La direction est solution du problème

 P0  Min f x  0 T
d  2d1  3d 2 

  d  1, 1
0 T

Sujet à  1  d j  1 j  1, 2 
Exemple numérique:

 P
1 2
Min f  x   x1  x22
2
 
Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5  x2  2
x2  2 T T T T
si ai d k  0, alors ai x k   k a i d k  bi   k a i d k  bi  ai x k
T

T
bi  ai x k
 k  .

f  x    x1 , x2 
T T
ai d k

Par conséquent

Itération 1: x   2, 3 , d  1, 1

0 T 0 T  b  aiT x k T

 k = Min  i
T
: ai d k  0 .
iI k i k
 a d 

x 0   0 d 0   2,3   0 1, 1   2   0 , 3   0  .

T T T

La plus grande valeur  0 :

a d 0  11  11  2  0 
1T
 3T 0
2T 0  b3  a x 2  3
a d  1  1  1 1  0  0    0   1
3T 0 1
T  a d
a3 d 0  1 1  1  0 
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5  x2  2
x2  2

f  x    x1 , x2 
T

Itération 1: x 0   0 d 0   2, 3   0 1, 1   2   0 , 3   0  .

T T T

La plus grande valeur  0 que peut prendre  0 pour que

x 0   d 0  R : lorsque la troisième contrainte devient active
0
 3   0  2   0  1
Exemple numérique:

 P Min f  x  
1 2
2

x1  x22 
Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
 x2  2
x2  2 1
x
f  x    x1 , x2 
T

Itération 1: x   0 d   2,3   0 1, 1   2   0 , 3   0 

0 0 T T T

 3   0  2   0  1
Le pas optimal  0* est déterminé en solutionnant le problème:

   
1
1 Min 13  10 0  2 02
Min
0 0 1 2
  2   0
2
  3   0
2
  0*  1. 0 0 1 2

d
 10  4 0  0
d 0
Donc x1   1, 2 .
T
5
0 
2
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x2  x1  7 x1  x2  5
x d 0 x1  x2  5
0
 x2  2
x2  2 1 1
xd
f  x    x1 , x2 
T

Itération 2: x1   1, 2 . Alors I1  3 .

T

La direction est solution du problème

 d  d1  2d 2 
T
 P1  Min f x 1


  d  1, 0
1 T
Sujet à  d2  0
 1  d j  1 j  1, 2 


Exemple numérique:

 P
1 2
Min f  x   x1  x22
2
 
Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
 x2  2
x2  2 1 1
xd T T T T T
si ai d k  0, alors ai x k   k a i d k  bi   k a i d k  bi  ai x k

f  x    x1 , x2 
T bi  ai x k
T

 k  T
.
ai d k

Par conséquent
 b  aiT x k 

Itération 2: x1   1, 2 , d 1  1, 0

T T  k = Min  i T
iI k
T
: ai d k  0 .
 ai d k 

x1  1d 1   1, 2  1 1, 0   1  1 , 2 .

T T T

La plus grande valeur 1:

1T 1
a d  11  0  1  0   2T 1
b2  a x 5  1
  1  T
 4
T
a 2 d 1  11  0  1  0  a2 d1 1
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
 x2  2
x2  2 1 1
xd
f  x    x1 , x2 
T

Itération 2: x  1d   1, 2  1 1,0   1  1 , 2 .

1 1 T T T

La plus grande valeur 1 que peut prendre 1 pour que

x1   d 1  R : lorsque la deuxième contrainte devient active
1
 1  1  2  5  1  4
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x2  x1  7 x1  x2  5
x d 0 x1  x2  5
0
2  x2  2
x2  2 x
1 1
xd
f  x    x1 , x2 
T

Itération 2: x  1d   1, 2  1 1, 0   1  1 , 2 .

1 1 T T T

 1  1  2  5  1  4
Le pas optimal 1* est déterminé en solutionnant le problème:
1
   
1

 1  1    2 
2 2 Min 5  21  12
Min  1*  1. 01 1 2

01  4 2 d
 2  21  0
d1

Donc x   0, 2 .
2 T 1  1
Exemple numérique:

 P
1 2

Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
2
 x2  2
x2  2 x
1 1
xd
f  x    x1 , x2 
T

Itération 3: x 2   0, 2 . Alors I1  3 .

T

La direction est solution du problème

  
T
 P2  Min f x 2
d  2d 2 

Sujet à  d2  0   d 2
  
0, 0
T

1  d j  1 j  1, 2 


Donc x 2   0, 2 est une solution optimale de  P  .
T
Extension de la méthode au cas où R est défini à l'aide de contraintes
non linéaires:
 PNL  Min f  x 
Sujet à gi  x   0 i  1,, m.
Étant donné une solution réalisable xk , soit I k l'ensemble des indices des
contraintes actives à xk
   
I k  i : gi x k  0 .

Nous recherchons une direction d telle que f diminue f x   

k
T
d 0 

et telle que gi , i  I k , diminue gi x  
k
T
d 0 ; 
i.e., telle que


 
Max f x k

T

d , Max gi x k
iI k
 
T
 
d 0

i.e., d telle que

 
Max f x k

T

d , Max gi x k
iI k
 
T
 
d 0


La direction est donc une solution optimale du problème suivant

 PNLk  Min 
Sujet à   Max f x   
k
T

d , Max gi x
iI k
 
k
T
d 
1  d j  1 j  1, , n

Ainsi la direction est une solution optimale du problème suivant

 PNLk  Min 
Sujet à   Max f x   
k
T

d , Max gi x
iI k
 
k
T
d 
1  d j  1 j  1, , n
i.e., d telle que

 
Max f x k

T

d , Max gi x k
iI k
 
T
 
d 0


La direction est donc une solution optimale du problème suivant

 PNLk  Min 
Sujet à   Max f x   
k
T

d , Max gi x
iI k
 
k
T
d 
1  d j  1 j  1, , n
Ainsi la direction est une solution optimale du problème suivant
 PNLk  Min 
  d 
T
Sujet à f x k

g  x  d  
T
i
k
i  Ik
1  d j  1 j  1, , n
i.e., d telle que

 
Max f x k

T

d , Max gi x k
iI k
 
T
 
d 0


Ainsi la direction est une solution optimale du problème suivant

 PNLk  Min 
  d 
T
Sujet à f x k

g  x  d  
T
i
k
i  Ik
1  d j  1 j  1, , n

ou encore une solution optimale du problème suivant

 PNLk  Min 
  d   0
T
Sujet à f x k

g  x  d    0
T
i
k
i  Ik
1  d j  1 j  1, , n
La direction est une solution optimale du problème suivant
 PNLk  Min 
  d   0
T
Sujet à f x k

g  x  d    0
T
i i  Ik
k

1  d j  1 j  1, , n.
Si la valeur optimale k  0, alors la solution optimale d k est une direction
de descente pour les fonctions f et gi , i  I k au point x k .
Alors il existe un pas  k  0 tel que

f xk   d k  f xk   
g x
i
k
 d k   g x   0
i
k
i  Ik
pour tout    0,  k  .
 4.3 Méthode de Frank-Wolfe

La méthode de Frank-Wolfe résout de façon itérative le problème

Min f  x
xR
où R est un ensemble convexe de R n .
Elle est amorcée avec une solution initiale x 0  R .
À une itération générale, étant donnée une solution réalisable x k , la
prochaine solution réalisable x k 1 est déterminée comme suit:

x k 1  k* y k  1  k* x k 
où y k est une solution optimale du problème auxiliaire
 
T
 PFWk  Min f x k
y
Sujet à y  R
et où k* est solution optimale du problème
     
f k* y k  1  k* x k  Min f k y k  1  k x k
0  k 1
  .
À une itération générale, étant donnée une solution réalisable x k la
prochaine solution réalisable x k 1 est déterminée comme suit:

x k 1  k* y k  1  k* x k 
où y k est une solution optimale du problème auxiliaire
 
T
 PFWk  Min f x k
y
Sujet à y  R
et où k* est solution optimale du problème
    
f k* y k  1  k* x k  Min f k y k  1  k x k
0  k 1
   .
Critère d'arrêt:
La méthode s'arrête à l'itération k lorsque x k est solution optimale de  PFWk  .

Sous l'hypothèse que f est convexe sur R , alors x k est une solution optimale du
problème lorsque le critère d'arrêt est satisfait. En effet, dans ce cas
      
y  R
T T T
f x k
x  f x
k k
y  f x k
y  xk  0
et se référant à l'inégalité du gradient
   f  x   y  x   f  x  y  R .
T
f  y  f x k k k k
Direction de descente sous-jacente
Définissons y k  d k  xk .
Alors x k 1
 k y
* k
 
1  k
*
x k


x k 1  k* d k  x k   1    x*
k
k

x k 1  x k  k*d k .

d k est une direction de descente car

 
f x k T
  
d k  f x k T
y k  xk

f  x  y  f  x  x
k T k k T k
0

puisque f  x  y  f  x  x .
k T k k T k
Lorsque le domaine réalisable R est défini avec des contraintes
linéaires, nous pouvons comparer cette méthode avec celle
des directions réalisables. Nous notons alors les différences
suivantes:     
f k* y k  1  k* x k  Min f k y k  1  k x k
0  k 1
  

1. k qui correspond au pas est toujours restrient à appartenir à

l'intervalle  0,1 .  
T
 PFWk  Min f x k y
Sujet à y  R

2. Toutes les contraintes sont considérées dans le problème

auxiliaire  PFWk  pour déterminer y k , alors que seules les
contraintes actives dans I k étaient utilisées dans le problème
auxiliaire  Pk  de la méthode des directions réalisables.
Lorsque le domaine réalisable R est défini avec des contraintes
linéaires, nous pouvons comparer cette méthode avec celle
des directions réalisables. Nous notons alors les différences
suivantes:

3. Si la méthode du simplexe est utilisé pour résoudre  PFWk  ,

alors y k est un point extrême appartenant à la frontière de R . Par

   
conséquent pour que le point k y k  1  k x k  R , la valeur
de k ne doit pas excéder 1. D'où la minimisation sur  0,1
pour déterminer k .
Exemple numérique:


1 2
 P  Min f  x   x1  x22
2

 1, 6 Sujet à  x1  x2  7 

x2  x1  7 x1  x2  5   R
x0 x1  x2  5 
 5, 2 0  x2   2 
x2  2  y
3, 2
f  x    x1 , x2 
T

Itération 1: x   2, 3 .
0 T

y 0 est solution du problème

 
y  2 y1  3 y2 
T
 PFW0  Min f x 0

  y  3, 2
0 T

Sujet à y 0  R 
Exemple numérique:
1 2
 P  Min f  x   x1  x22
2
 
 1, 6 Sujet à  x1  x2  7 

x2  x1  7 x1  x2  5   R
x0 x1  x2  5 
 5, 2 0  x2  2 
x2  2  y
3, 2
f  x    x1 , x2 
T

Itération 1: x 0   2,3 , y 0  3, 2

T T

0* est solution optimale du problème


Min f 0 y 0  1  0 x 0
0 0 1
  
1
     2    
2 2
Min  30  2 1  0 0  3 1  0
00 1 2 
Itération 1: x   2, 3 . y  3, 2
0 T 0 T

0* est solution optimale du problème

 
Min f 0 y 0  1  0 x0
0 0 1
 
1
      
2 2
Min  30  2 1  0  20  3 1  0
00 1 2 

Min
1
00 1 2
50  2    0  3

2 2

g  0 

dg  0 
 5  50  2    0  3
d 0
1
 250  10  0  3  260  13  0 lorsque 0 
2
Itération 1: x   2, 3 . y  3, 2
0 T 0 T

0* est solution optimale du problème

 
Min f 0 y 0  1  0 x 0
00 1
 
1
0*
Donc  .
2
Par conséquent

x1  0* y 0  1  0* x 0 
 1 1 1 1 1 5
  2  3 , 3  2    , 
 2 2 2 2 2 2
Exemple numérique:

1 2
 P  Min f  x   x1  x22
2

 1, 6 Sujet à  x1  x2  7 
 
x2  x1  7 x 0 1 x  x  5 x1  x2  5   R
 5, 2 x 1 2 0  x2  2 
x2  2  y
3, 2
f  x    x1 , x2 
T

Itération 1: x   2, 3 , y  3, 2

0 T 0 T

 
x1  0* y 0  1  0* x 0
 1 1 1 1 1 5
  2  3 , 3  2    , 
 2 2 2 2 2 2
Exemple numérique:


1 2
 P  Min f  x   x1  x22
2

 1, 6 Sujet à  x1  x2  7 
 
x2  x1  7 x 0 1 x  x  5 x1  x2  5   R
 5, 2 x 1 2 0  x2  2 
x2  2y1  y
3, 2
f  x    x1 , x2 
T

T
1 1 5
Itération 2: x   ,  .
2 2
y1 est solution du problème

  1 5 
T
 PFW1  Min f x 1
y y1  y2 
2   y1   5, 2
T
2
Sujet à y  R 

Exemple numérique:

 1 2
 P  Min f  x   x1  x22
2

 1, 6 Sujet à  x1  x2  7 
 
x2  x1  7 x 0 1 x  x  5 x1  x2  5   R
 5, 2 x 1 2 0  x2  2 
x2  2y1  y
3, 2
f  x    x1 , x2 
T

T
1 5
Itération 2: x1   ,  , y1   5, 2
T

2 2
1* est solution optimale du problème


Min f 1 y1  1  1 x1
0 1 1
  

1 
2 2
 
1
2
 
 
 5

Min  51  1  1    21  1  1  
0 1 1 2  2  
 

 T
1 5
Itération 2: x   ,  . y   5, 2
1 1 T

2 2
1* est solution optimale du problème

1 
2 2
 
1
2
  
 
 5
Min  51  1  1    21  1  1  
01 1 2  2  
 


1  11
2
1  1
2
5 
Min   1      1   
01 1 2 
 2 2  2 2  
 
g  1 
dg  1  1
   1211  11  1 1  5 
d 1 4
1 16
 1221  16  0 lorsque 1   0.13
4 122
 T
1 5
Itération 2: x   ,  . y   5, 2
1 1 T

2 2
1* est solution optimale du problème

1 
2 2
 

1
2
 
 
 5

Min  51  1  0    21  1  1  
01 1 2  2  


16
Donc 1  *
 0.13
122
Exemple numérique:

 1 2
 P  Min f  x   x1  x22
2

 1, 6 Sujet à  x1  x2  7 
 
x2  x1  7 x 0 1 x  x  5 x1  x2  5   R
 5, 2 x 1 2 0  x2  2 
x2  2y1 x2  y
3, 2
f  x    x1 , x2 
T

T
1 5
Itération 2: x   ,  , y   5, 2
1 1 T

2 2
16
1 
*
 0.13
122
2  1 5
x   0.13  5  0.87 , 0.13  2  0.87 
 2 2
  0.215, 2.435
 4.5 Méthode du gradient projeté
Considérons le même problème  P  que dans la méthode des directions
réalisables où f  C1 / R et où R est défini à l'aide d'un ensemble de contraintes
linéaires:
 P Min f  x 
iT
Sujet à a x  bi i  1, , m.

Étant donné une solution réalisable x k de  P  définissons l'ensemble des

indices des contraintes actives
 iT

I k  i : a x k  bi .

 
La direction (de descente) est obtenue en projetant le vecteur  f x k sur
le sous espace
 iT
x  R : a x k  0, i  I k .
n

Étant donné une solution réalisable x k de  P  définissons l'ensemble des
indices des contraintes actives
 T
I k  i : a i x k  bi . 
La direction (de descente) d k est obtenue en projetant le vecteur  f x k sur  
le sous espace
x  R : an iT
x  0, i  I k . 
Pour dériver une formulation explicite de d k , dénotons Ak la matrice I k  n
iT
dont les lignes sont les vecteurs a dont les indices i  I k . De plus supposons
iT
que les vectuers a dont les indices i  I k sont linéairement indépendants de
sorte que la matrice Ak soit de rang I k  n.

 iT

Ainsi, le sous espace x  R : a x  0, i  I k est orthogonal au sous
n


espace x  R n : x  AkT v, v  R  et de plus
Ik

n

R  xR :a n iT
x  0, i  I    x  R : x  A v, v  R  .
k
n T
k
Ik
a1x  b1
 
f x k

x k
k
 2 1T
d  xR :a x  0 
Étant donné une solution réalisable x k de  P  définissons l'ensemble des
indices des contraintes actives
 T
I k  i : a i x k  bi . 
La direction (de descente) d k est obtenue en projetant le vecteur  f x k sur  
le sous espace
x  R : an iT
x  0, i  I k . 
Pour dériver une formulation explicite de d k , dénotons Ak la matrice I k  n
iT
dont les lignes sont les vecteurs a dont les indices i  I k . De plus supposons
iT
que les vectuers a dont les indices i  I k sont linéairement indépendants de
sorte que la matrice Ak soit de rang I k  n.

 iT

Ainsi, le sous espace x  R : a x  0, i  I k est orthogonal au sous
n


espace x  R n : x  AkT v, v  R  et de plus
Ik

n

R  xR :a n iT
x  0, i  I    x  R : x  A v, v  R  .
k
n T
k
Ik
  
La direction (de descente) d k est obtenue en projetant le vecteur  f x k sur
le sous espace
x  R : an iT

x  0, i  I k .

Pour dériver une formulation explicite de d k , dénotons Ak la matrice I k  n

T
dont les lignes sont les vecteurs a i dont les indices i  I k . De plus supposons
iT
que les vectuers a dont les indices i  I k sont linéairement indépendants de
sorte que la matrice Ak soit de rang I k  n.

 iT

Ainsi, le sous espace x  R : a x  0, i  I k est orthogonal au sous
n


espace x  R n : x  AkT v, v  R
Ik

 iT
 
En effet, si y  x  R : a x  0, i  I k et t  x  R n : x  AkT v, v  R
n Ik
,
alors il existe un v  t  tel que t  AkT v  t  , et ainsi
y T t  y T AkT v  t   0T v  t   0.
La direction (de descente) d k est obtenue en projetant le vecteur  f x k sur  
le sous espace
x  R : a
n iT
x  0, i  I k . 
Pour dériver une formulation explicite de d k , dénotons Ak la matrice I k  n
T
dont les lignes sont les vecteurs a i dont les indices i  I k . De plus supposons
iT
que les vectuers a dont les indices i  I k sont linéairement indépendants de
sorte que la matrice Ak soit de rang I k  n.

 iT

Ainsi, le sous espace x  R : a x  0, i  I k est orthogonal au sous
n


espace x  R n : x  AkT v, v  R  et de plus
Ik

n

R  xR :a n iT
x  0, i  I    x  R : x  A v, v  R  .
k
n T
k
Ik

Puisque d est la projection de  f x

k
  sur x  R
k n iT

: a x  0, i  I k ,

 iT

alors d  x  R : a x  0, i  I k et de plus il existe v k  R
k n Ik
tel que

 
 f x k  d k  AkT v k .
  x  R 2 : x  a1v, v  R1 

a1x  b1
a1v k f x
k
 
x k
k
 2
d  xR :a x  0 1T

  iT

R  x  R : a x  0, i  I k  x  R n : x  AkT v, v  R
n n Ik
.
Puisque d est la projection de  f x
k
  sur x  R
k n iT

: a x  0, i  I k ,

 T

alors d k  x  R n : a i x  0, i  I k et de plus il existe v k  R
Ik
tel que

 
 f x k  d k  AkT v k .

Ainsi  
 Ak f x k  Ak d k  Ak AkT v k
 A f  x   A A v
k
k
k
T k
k puisque Ak d k  0.
Ceci implique que
   
1
v   Ak A
k T
k Ak f x k
et par conséquent
   Ak  f x k .   
1
d  f x  A v   I  Ak Ak Ak
k k T k T T

k 
(Notons que la matrice Ak AkT de dimension I k  I k est non singulière puisque
la matrice Ak de dimension I k  n est de plein rang par hypothèse.)
  iT
R  x  R : a x  0, i  I k  x  R n : x  AkT v, v  R
n n
 Ik
.
   A v    I  AkT Ak AkT    
Ak  f x k .
1
d  f x
k k T k
k  

Nous devons analyser les deux cas où d k  0 et d k  0.

Cas 1: Si d k  0, alors d k est une direction de descente de f au point x k .

En effet
      d  d  d   f  x   d  d
T T T
kT
f x k
d  f xk k k k k k k k
 d dk.
Or puisque A v  f  x   d est orthogonal à d , alors
T k
k
k k k

f  x   d  d  0,
T
k k k

et il s'ensuit que
     
T T T T
f x k
d  f x
k k
d k
d k  d k d k  d k d k  0 si d k  0.
  T

R n  x  R n : a i x  0, i  I k  x  R n : x  AkT v, v  R
Ik
.
  
 A v    I  AkT Ak AkT   
Ak  f x k .
1
d  f x
k k T k
k  

Nous devons analyser les deux cas où d k  0 et d k  0.

Cas 2: Si d k  0, alors il y a deux possibilites

i ) x k satisfait les conditions d'optimalité KKT pour le problème (P )
ii ) une nouvelle direction de descente d k peut être définie

i ) Supposons que v k  0.
T
Dénotons Ak la matrice n  I k  n dont les lignes sont les vecteurs a i dont
les indices i  I k . Alors la matrice de contrainte A du problème (P ) peut être
partitionnée comme suit (en supposant que les I k contraintes actives sont les
 Ak 
I k premières) A   .
 Ak 
  iT

R  x  R : a x  0, i  I k  x  R n : x  AkT v, v  R
n n Ik
.
  
 A v    I  AkT Ak AkT   
Ak  f x k .
1
d  f x
k k T k
k  

i ) Si d k  0.Supposons que v k  0.
iT
Dénotons Ak la matrice n  I k  n dont les lignes sont les vecteurs a dont
les indices i  I k . Alors la matrice de contrainte A du problème (P ) peut être
partitionnée comme suit (en supposant que les I k contraintes actives sont les
 Ak 
I k premières) A   .
 Ak 
Considérons vk comme étant le vecteur des multiplicateurs associés aux
contraintes actives, et supposons que les multiplicateurs associés aux autres
contraintes sont tous égaux à 0. Alors le gradient du lagrangien au point x k est
 
   
k
v
f x   Ak Ak    = f x k  AkT v k .
k T T

0 
Min f  x 
T
Sujet à a i x  bi i  1, , m.
  iT

R  x  R : a x  0, i  I k  x  R n : x  AkT v, v  R
n n Ik
.
  
 A v    I  AkT Ak AkT   
Ak  f x k .
1
d  f x
k k T k
k  

i ) Si d k  0.Supposons que v k  0.
Considérons vk comme étant le vecteur des multiplicateurs associés aux
contraintes actives, et supposons que les multiplicateurs associés aux autres
contraintes sont tous égaux à 0. Alors le gradient du lagrangien au point x k est
T v 
   
k
f x   Ak Ak    = f x k  AkT v k .
k T

0 
Or  
f x k  AkT v k =  d k  0, et par conséquent
v k 
f  x    A
k
A    = f x k  AkT v k  0
T
k
T
k  
Min f  x 
0 
iT
Ax  0
k
Sujet à a x  bi i  1, , m.
vkT Ak x k  0 (puisque Ak x k  0)
0T Ak x k  0
v k  0.
Ainsi les conditions d'optimalité KKT sont vérifiées à x k .
  T

R n  x  R n : a i x  0, i  I k  x  R n : x  AkT v, v  R
Ik
.
  
 A v    I  AkT Ak AkT   
Ak  f x k .
1
d  f x
k k T k
k  

Nous devons analyser les deux cas où d k  0 et d k  0.

Cas 2: Si d k  0, alors il y a deux possibilites

i ) x k satisfait les conditions d'optimalité KKT pour le problème (P )
ii ) une nouvelle direction de descente d k peut être définie

ii ) Supposons que v k  0. Alors il existe un indice i  I k tel que vik  0.

Dénotons
Ik =I k  i
Ak la matrice obtenue en éliminant la ligne i de Ak
 k k
  
d la projection de  f x sur le sous espace x  R : a x  0, i  I
n iT
k 
Alors d k possède les propriétés énoncées dans le théorème suivant.
  iT

R  x  R : a x  0, i  I k  x  R n : x  AkT v, v  R
n n Ik
.

  
Ak  f x k .   
1
d  f x  A v   I  Ak Ak Ak
k k T T T k
 k 
ii ) Supposons que v k  0. Alors il existe un indice i  I k tel que vik  0.
Dénotons
Ik =I k  i
Ak la matrice obtenue en éliminant la ligne i de Ak
 k k
 
d la projection de  f x sur le sous espace x  R : a x  0, i  I
n iT
 k 
Alors d k possède les propriétés énoncées dans le théorème suivant.
Théorème 4.3: d k la projection de  f x k sur le sous espace  
x  R : an iT

x  0, i  Ik possède les propriétés suivantes:
a) d k  0
  d k  0
T
b) f x k
(direction de descente)
c) a T d k  0
i
(direction réalisable)
  T

R n  x  R n : a i x  0, i  I k  x  R n : x  AkT v, v  R
Ik
.
  
 A v    I  AkT Ak AkT   
Ak  f x k .
1
d  f x
k k T k
k  
Dénotons
Ik =I k  i
Ak la matrice obtenue en éliminant la ligne i de Ak
 
Théorème 4.3: d k la projection de  f x k sur le sous espace

x  R : an iT

x  0, i  Ik possède les propriétés suivantes:
a) d k  0
  d k  0
T
b) f x k
(direction de descente)
c) a T d k  0
i
(direction réalisable)
Une fois que la direction est déterminée, il suffit de poursuivre
comme dans la méthode des directions réalisables pour déterminer

a) le plus grand pas dans cette direction

b) le pas optimale dans cette direction.

Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x0 0 x1  x2  5
d  x2  2
x2  2

f  x    x1 , x2 
T

Itération 1: x   2,3 . Alors I 0  .

0 T

La direction d  f x 0
    2, 3
0 T
Exemple numérique:

 P
1 2
Min f  x   x1  x22
2
 
Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5  x2  2
x2  2 T T T T
si ai d k  0, alors ai x k   k a i d k  bi   k a i d k  bi  ai x k
T

T
bi  ai x k
 k  .

f  x    x1 , x2 
T T
ai d k

Par conséquent

Itération 1: x   2, 3 , d   2, 3

0 T 0 T  b  aiT x k T

 k = Min  i
T
: ai d k  0 .
iI k i k
 a d 

x 0   0 d 0   2,3   0  2, 3   2  2 0 , 3  3 0  .
T T T

La plus grande valeur  0 :

a d 0  1 2  1 3  5  0 
1T
 3T 0
2T 0  b3  a x 2  3 1
a d  1  2  1  3  1  0    0   
3T 0 3 3
T  a d
a3 d 0  1 3  3  0 
 Exemple numérique:

 P
1 2

Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5  x2  2
x2  2

f  x    x1 , x2 
T

Itération 1: x 0   0 d 0   2,3   0  2, 3   2  2 0 , 3  3 0  .

T T T

La plus grande valeur  0 que peut prendre  0 pour que

x 0   d 0  R : lorsque la troisième contrainte devient active
0
1
 3  3 0  2   0 
3
 Exemple numérique:

 P
1 2
Min f  x   x1  x22
2
 
Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5  x2  2
x2  2 1
x
f  x    x1 , x2 
T

Itération 1: x   0 d   2,3   0  2, 3   2  2 0 , 3  3 0 

0 0 T T T

1
 3  3 0  2   0 
3
Le pas optimal  0* est déterminé en solutionnant le problème:

Min
0 0  2
1
1
 
2  2 0    3  3 0 
2 2
   0*
1
 .
3
Min
0 0  2
1
3
1

13  26 0  13 02 
3
d
T  26  26 0  0
 4  d 0
1
Donc x    , 2 . 0  1
 3 
 Exemple numérique:

 P
1 2

Min f  x   x1  x22
2

Sujet à  x1  x2  7
x2  x1  7 x1  x2  5
x d 0 x1  x2  5
0
 x2  2
x2  2 1
 
x f x1

f  x    x1 , x2 
T

T
 4 
Itération 2: x1    , 2  . Alors I1  3 .
 3 
La direction d 1 est obtenue en faisant la projection de

 1  4  n
3T
f x     , 2  sur x  R : a x   x2  0
 3 

 T
 4 
Itération 2: x    , 2  . Alors I1  3 .
1

 3 
La direction d 1 est obtenue en faisant la projection de

 
1  4 
n 3T
f x     , 2  sur x  R : a x   x2  0
 3 


d k    I  AkT Ak AkT   
Ak  f x k
1

 
 0   1
  4
0     
d    I      0, 1     0, 1 3
1

  1   1    2 
 
 4
 1 0  0 0   
d   
1
     3
 0 1 0 1 
 2 
 4 4 
 1 0     
d 
1
 3  3
 0 0    
 2   0
Exemple numérique:

 P
1 2

Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
 x2  2
x2  2 1
x d1
f  x    x1 , x2 
T

T T
1  4  1 4 
Itération 2: x    , 2  , d   , 0 
 3  3 
T T T
 4  4   4 4 
x1  1d 1    , 2   1  , 0      1 , 2  .
 3  3   3 3 
 T T
1  4  1 4 
Itération 2: x    , 2  , d   , 0 
 3  3   x1  x2  7
T T T x1  x2  5
 4  4   4 4 
x1  1d 1    , 2   1  , 0      1 , 2  .
 3  3   3 3 

4 4 
T T T T T
T si ai d k  0, alors ai x k   k a i d k  bi   k ai d k  bi  ai x k
1 1
a d  1  0    0   k 
T
bi  a i x k

.
3 3 T
ai d k

4 4
Par conséquent

a 2 d 1  1  0   0 
T  b  a iT x k 
T
 k = Min  i
: ai d k  0 .

T

3 3
iI k i k
 a d 

 4  13
T 5     2 
b2  a 2 x1  3  3 13
1    =
2T 1
a d 4 4 4
3 3
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
 x2  2
x2  2 1 1
xd
f  x    x1 , x2 
T

T T T
 4  4   4 4 
Itération 2: x  1d    , 2   1  , 0     1 , 2 .
1 1

 3  3   3 3 
La plus grande valeur 1 que peut prendre 1 pour que
x1   d 1  R : lorsque la deuxième contrainte devient active
1
4 4 13
  1  2  5  1 
3 3 4
Exemple numérique:

 P 
1 2
Min f  x   x1  x22
2

Sujet à  x1  x2  7
x2  x1  7 x1  x2  5
x d 0 x1  x2  5
0
2  x2  2
x2  2 1 1x
xd
f  x    x1 , x2 
T

T T T
 4  4   4 4 
Itération 2: x  1d    , 2   1  , 0      1 , 2  .
1 1

 3  3   3 3 
Le pas optimal 1* est déterminé en solutionnant le problème:
1  4 4  2
2

Min    1    2    1*  1.
1 16 2
  1  1   2 
2
Min
01 
13 2 9 

01  2   3 3 
13 4

4
 d
d1
 2  21  0

1  1

Donc x 2   0, 2 .
T
Exemple numérique:

 P
1 2

Min f  x   x1  x22
2

Sujet à  x1  x2  7
x1  x2  5
x2  x1  7 x 0 d 0 x1  x2  5
2
 x2  2
x2  2 1 1x
xd
f  x    x1 , x2 
T

Itération 3: x   0, 2 . Alors I1  3 .

2 T

La direction d 1 est obtenue en faisant la projection de

  
f x    0, 2 sur x  R : a x   x2  0
1 n 3T

Itération 2: x   0, 2 . Alors I1  3.
1 T

La direction d 1 est obtenue en faisant la projection de

  
f x    0, 2 sur x  R : a x   x2  0
1 n 3T


d k    I  AkT Ak AkT   
Ak  f x k
1

 

 0    0  
1
 0 
d 1    I      0, 1     0, 1  
  1   1    2 

 1 0  0 0   0 
d   
1
  
 0 1 0 1   2 

 1 0  0  0 
d  1
    
 0 0   2  0 
Itération 2: x1   0, 2 . Alors I1  3.
T

La direction d 1 est obtenue en faisant la projection de

  
f x    0, 2 sur x  R : a x   x2  0
1 n 3T

d   0, 0
1 T

Calculons  :    
1 1
v k   Ak AkT Ak f x k

1
 0   0 
     0, 1   
1
0, 1  
  1   2
Le point  0, 2 satisfait les
T

0  0  conditions KKT pour

    0, 1     0,1    2
1

2 2 le problème puisque

d 1   0, 0
T

 1  2  0.
Remarque:
La méthode peut être généralisée au cas où les contraintes sont non linéaires.
 
Dans ce cas, la projection de  f x k s'effectue sur l'hyperplan tangeant aux
contraintes actives. Par contre, le pas doit être ajusté pour que x k 1 appartienne
au domaine réalisable.