4.1 Introduction La relaxation lagrangienne est une manipulation classique en optimisation sous contraintes. Bien quintimement lie la convexit, elle est couramment utilise dans le cas non convexe. En particulier, elle permet dobtenir des bornes de la valeur optimale de certains problmes doptimisation combinatoire durs. Lide consiste relaxer une partie des contraintes (en principe, celles qui rendent le problme compliqu) qui sont introduites dans la fonction objectif sous la forme dune pnalit qui combine linairement les contraintes relaxes. Les coefficients de cette combinaison linaire sont appeles les variables duales associes la relaxation lagrangienne. Considrons le problme doptimisation dans IRn suivant :
Minimiser f (x) (P) g(x) 0 xS o S est un sous-ensemble de IRn , f : S 7 IR et g : S 7 IRp . (P) sera appel le problme primal. Ici, les contraintes g(x) 0 sont considres comme les contraintes complicantes (on dit aussi couplantes) dans le sens o on suppose que lon dispose dun algorithme efficace pour minimiser une fonction de IRn sur lensemble S. Observez quaucune hypothse particulire na t formule sur le problme primal.
4.2 Lagrangien et fonction duale
On dfinit le Lagrangien du problme (P) comme la fonction L : S (IRp )+ 7 IR suivante : L(x, u) = f (x) + hu, g(x)i o u IRp , u 0 est appel le vecteur des multiplicateurs (de Lagrange dans le cas de contraintes galits ou de Kuhn-Tucker dans le cas de contraintes ingalits, cf. chap. I-4) ou vecteur des variables duales. On appelle alors fonction duale associe au problme (P) la fonction h : (IRp )+ 7 IR telle que : h(u) = inf L(x, u) xS
dfinie sur U = {u (IRp )+ | inf xS L(x, u) > }.
1 2 CHAPITRE 4. RELAXATION LAGRANGIENNE
Thorme 4.1 La fonction h est concave sur tout sous-ensemble convexe de U .
Dmonstration Pour chaque x S, f (x) + hu, g(x)i est une fonction affine en u. Or, len- veloppe infrieure dune collection de fonctions affines est concave sur tout sous-ensemble convexe ferm de son domaine. 2 En plus de cette proprit remarquable, la fonction duale fournit une borne infrieure pour le problme (P) :
Thorme 4.2
h(u) f (x), u U et x S tel que g(x) 0
Dmonstration Par dfinition, h(u) f (x) + hu, g(x)i, x S et u U . Donc, h(u)
f (x) si hu, g(x)i 0, c.a.d. si g(x) 0. 2 Il est naturel de rechercher la meilleure borne infrieure de (P), c.a.d. la plus grande afin dapprocher, voire datteindre, la valeur optimal de(P). En effet, on peut crire :
sup h(u) inf{f (x) | x S, g(x) 0}
u0
Corollaire 4.1 En notant sup h et Si sup h = +, le problme primal na pas de solution
ralisable. Si inf f = ?, le problme dual na pas de solution ralisable.
Le problme dual associ (P) est donc :
Maximiser h(u) (D) uU
On appellera solution primale ralisable ou P-ralisable tout x S tel que g(x) 0.
De mme, tout u U est une solution duale ralisable ou D-ralisable.
4.3 Point-selle du Lagrangien
Dfinition 4.1 On appelle point-selle de la fonction Lagrangien L toute paire (x , u ) telle que : u 0, L(x , u) L(x , u ) L(x, u ), x S
Le point-selle signifie donc que x minimise L(x, u) par rapport x sur S et que u maximise L(x, u) par rapport u sur u 0 (voir reprsentation sur la figure 4.1).
Thorme 4.3 (x , u ) est un point-selle de L(x, u) si et seulement si :
i) x minimise L(x, u ) sur S ii) g(x ) 0 iii) hu , g(x )i = 0 4.3. POINT-SELLE DU LAGRANGIEN 3
Figure 4.1 Point-selle du Lagrangien
Dmonstration i) correspond naturellement lingalit de droite de la dfinition.
Lingalit de gauche scrit : u 0, f (x ) + hu, g(x )i f (x ) + hu , g(x )i h(u u ), g(x )i 0 Quand ui tend vers +, on doit donc avoir gi (x ) 0. Par ailleurs, si u = 0, hu , g(x )i 0. Comme u 0 et g(x ) 0, on obtient : hu , g(x )i = 0. 2
Thorme 4.4 Si (x , u ) est un point-selle de L, alors x est solution de (P).
Dmonstration Daprs le thorme prcdent, si (x , u ) est un point-selle de L, x
minimise L(x, u ) sur S. Donc, f (x ) f (x)+hu , g(x)i, x S. Do, f (x ) f (x), x S et tels que g(x) 0. Cest--dire, x est solution de (P). 2 Limplication rciproque nest en gnral pas vraie. Quand sup h < inf f , on dit quil y a un saut de dualit.
Corollaire 4.2 Sil existe x P-ralisable et u D-ralisable tels que h(u ) = f (x ), alors (x , u ) est un point-selle de L. Par consquent, x est solution optimale de (P) et u est solution optimale de (D).
Il est difficile de donner une condition ncessaire et suffisante dexistence dun point- selle. Le thorme dexistence le plus prcis est d Karlin :
Thorme 4.5 Supposons S convexe et les fonctions f, g1 , . . . , gp convexes sur S. Suppo-
sons de plus quil existe x0 S tel que g(x0 ) < 0. Si x S est une solution optimale de (P), alors il existe un vecteur de multiplicateurs u 0 tel que (x , u ) est un point-selle du Lagrangien L(x, u).
Dmonstration cf. Mangasarian, p. 79. 2
Lide est donc bien de substituer la rsolution de (P) juge difficile par la rsolution du problme dual. On a suppos en effet que le calcul de la fonction h en un point u de U est relativement simple. On va voir dans la section suivante que le prix payer pour cette relaxation est le fait que la fonction duale nest en gnral pas diffrentiable. 4 CHAPITRE 4. RELAXATION LAGRANGIENNE
4.4 Diffrentiabilit de la fonction duale
Pour simplifier ltude, on suppose S compact et les fonctions f, g1 , . . . , gp continues sur S. Cela implique U = (IRp )+ . La fonction h est alors sous-diffrentiable sur U (on emploiera par abus de langage les mots sous-diffrentiel et sous-gradient mme sil sagit dune fonction concave, les supports affines correspondants tant alors des majorants de la fonction). Soit X(u) = {x S | x minimise L(x, u) sur S}. Daprs les rsultats du chapitre II-3 (Thorme de Danskin), on a :
h(u) = conv{g(x) | x X(u)}
Donc, h sera diffrentiable en u U si g(x) est constant sur X(u), ou de manire plus pratique, si le sous-problme inf xS f (x) + hu, g(x)i possde un unique minimum. Cela sera le cas en particulier si f est strictement convexe, g1 , . . . , gp convexes sur S convexe born.
Exemples : a) Programmation Linaire. Soit le programme linaire :
Max z = cT x Ax b x0
Relaxons les contraintes Ax b pour obtenir le Lagrangien :
L(x, u) = cT x + uT (b Ax) pour tout u 0 La fonction duale scrit :
h(u) = inf{(c AT u)T x | x 0} + bT u
( bT u si c AT u 0, u 0 = sinon
b)
Min (x1 1)2 + (x2 2)2
x1 + x2 2 x1 , x2 0
Relaxons la contrainte x1 + x2 2. La fonction duale dune seule variable u est :
Remarques : 4.5. DUALIT ET PERTURBATIONS DES CONTRAINTES 5
Figure 4.2 Fonction duale diffrentiable
Le calcul a t spar en deux calculs indpendants sur x1 et x2 (on dit quon a
dcompos le problme). La fonction h est concave, donc continue aux points de jonction des diffrents morceaux et galement diffrentiable sur u 0 (cf. figure 4.2). c)
Min x2 1 2x = 0 0x1
La solution est bien sr x = 0.5 avec f (x) = 0.25.
En relaxant la contrainte 1 2x = 0, on obtient la fonction duale : ( u si u 1/2 h(u) = 1 u si u > 1/2 Ici, u nest pas astreint tre 0 car la contrainte relaxe est une galit. On remarque que h nest pas diffrentiable en u = 1/2 qui est dailleurs le maximum de h et que max h = 1/2 < min f . On a ici un saut de dualit car le problme nest pas convexe (Fig. 4.3).
4.5 Dualit et perturbations des contraintes
On associe (P) le problme perturb suivant : 6 CHAPITRE 4. RELAXATION LAGRANGIENNE
Figure 4.3 Saut de dualit
Minimiser f (x) (P y) sous g(x) y xS
o y IRp est un vecteur de perturbations du second membre. Le problme (P) cor-
respond bien sr y = 0. Soit w(y) la fonction perturbation :
w(y) = min{f (x) | g(x) y, x S}
dfinie sur Y = {y IRp | x S tel que g(x) y}
Proposition 4.1 La fonction w est monotone non croissante sur Y
Si f, g sont des fonctions convexes et S est convexe ferm, alors Y est un ensemble convexe et w est convexe sur Y .
Dmonstration : exercice
La figure 4.4 montre lpigraphe de la fonction w dans IRp+1 .
Thorme 4.6 La fonction duale h associe (P) satisfait :
h(u) = w (u)
Dmonstration Montrons que, pour un u 0 tel que h(u) soit fini, on a :
! y y0 + hu, yi h(u), epi(w) y0
S est tel que h(u) = f (
Observez que, si !x x) + hu, g( x)i, la relation ci-dessus signifie y que H = { IRp+1 | y0 + hu, yi = h(u)} est un hyperplan support de lpigraphe y0 4.6. RELAXATION LAGRANGIENNE ET OPTIMISATION COMBINATOIRE 7
Figure 4.4 Fonction w(y)
! g(x) de la fonction w en x, u) f (x) + hu, g(x)i, x S, ce qui . En effet, h(u) = L( f ( x) implique que h(u) y0 + hu, yi pour tout y0 f ( x) et tout y g(x). On vrifie alors que f ( x) = w(y). En se reportant la dfinition de la fonction conjugue (chap.3), on retrouve la relation cherche entre h et w . 2
4.6 Relaxation Lagrangienne et optimisation combinatoire
De nombreux problmes doptimisation combinatoire peuvent se modliser sous la forme :
Minimiser cT x (IP) Ax b Ex d, x Z n
Ici encore, on suppose que les contraintes Ax b sont complicantes et quon dispose dun outil pour minimiser une fonction linaire sur S = {x Z n | Ex d}. Soit vRL = supu0 inf xS cT x + uT (b Ax), la valeur maximale du dual associ la relaxation la- grangienne des contraintes complicantes dans (IP). Le rsultat suivant est d Geoffrion (1974) :
Thorme 4.7 Soit vRC la valeur optimale de la relaxation de (IP) obtenue en remplaant S par convS, lenveloppe convexe de S. Alors
vRL = vRC
Dmonstration On remarque dabord quon peut remplacer S par convS dans la dfi- nition de la fonction duale h. En effet, le Lagrangien tant linaire en x, le minimum est 8 CHAPITRE 4. RELAXATION LAGRANGIENNE
atteint en un sommet de S (suppos born pour simplifier lexpos). Soient xk , k K un
sommet de S. On a alors :
h(u) = min[cT xk + uT (b Axk )]
kK
La fonction duale est donc concave linaire par morceaux, chaque support affine tant associ un sommet de S. Le problme dual peut donc scrire comme un programme linaire :
Maximiser w w uT (b Axk ) cT xk , k K u0
dont le dual est, en appelant k la variable duale associe la contrainte k :
Minimiser cT ( k k xk ) P
A( k k xk ) b P P k k = 1 k 0, k
et on retrouve bien lenveloppe convexe de S donne par :
X X conv(S) = {x = k xk , k = 1, k 0} k k
2 Observation : Si vLP est la valeur optimale de la relaxation continue de (IP), on a la hirarchie suivante entre les bornes infrieures :
vLP vRL v
On aura de plus vLP = vRL si conv(S) = {x IRn | Ex d, x 0} (ce qui revient dire que le sous-problme a la proprit dintgralit de ses solutions de base). 4.6. RELAXATION LAGRANGIENNE ET OPTIMISATION COMBINATOIRE 9
Rfrences : L.S. Lasdon, Optimization for Large Systems, Mac Millan, 1970 C. Lemarchal, Lagrangian Relaxation, INRIA Report, 2000 O. Mangasarian, Nonlinear Programming, Prentice-Hall, 1969
