Chapitre 4

RELAXATION LAGRANGIENNE

4.1 Introduction
La relaxation lagrangienne est une manipulation classique en optimisation sous contraintes.
Bien quintimement lie la convexit, elle est couramment utilise dans le cas non convexe.
En particulier, elle permet dobtenir des bornes de la valeur optimale de certains problmes
doptimisation combinatoire durs. Lide consiste relaxer une partie des contraintes (en
principe, celles qui rendent le problme compliqu) qui sont introduites dans la fonction
objectif sous la forme dune pnalit qui combine linairement les contraintes relaxes. Les
coefficients de cette combinaison linaire sont appeles les variables duales associes la
relaxation lagrangienne.
Considrons le problme doptimisation dans IRn suivant :

Minimiser f (x)
(P) g(x) 0
xS
o S est un sous-ensemble de IRn , f : S 7 IR et g : S 7 IRp .
(P) sera appel le problme primal. Ici, les contraintes g(x) 0 sont considres comme
les contraintes complicantes (on dit aussi couplantes) dans le sens o on suppose que lon
dispose dun algorithme efficace pour minimiser une fonction de IRn sur lensemble S.
Observez quaucune hypothse particulire na t formule sur le problme primal.

4.2 Lagrangien et fonction duale

On dfinit le Lagrangien du problme (P) comme la fonction L : S (IRp )+ 7 IR
suivante :
L(x, u) = f (x) + hu, g(x)i
o u IRp , u 0 est appel le vecteur des multiplicateurs (de Lagrange dans le cas de
contraintes galits ou de Kuhn-Tucker dans le cas de contraintes ingalits, cf. chap. I-4)
ou vecteur des variables duales. On appelle alors fonction duale associe au problme (P)
la fonction h : (IRp )+ 7 IR telle que :
h(u) = inf L(x, u)
xS

dfinie sur U = {u (IRp )+ | inf xS L(x, u) > }.

1
2 CHAPITRE 4. RELAXATION LAGRANGIENNE

Thorme 4.1 La fonction h est concave sur tout sous-ensemble convexe de U .

Dmonstration Pour chaque x S, f (x) + hu, g(x)i est une fonction affine en u. Or, len-
veloppe infrieure dune collection de fonctions affines est concave sur tout sous-ensemble
convexe ferm de son domaine. 2
En plus de cette proprit remarquable, la fonction duale fournit une borne infrieure
pour le problme (P) :

Thorme 4.2

h(u) f (x), u U et x S tel que g(x) 0

Dmonstration Par dfinition, h(u) f (x) + hu, g(x)i, x S et u U . Donc, h(u)

f (x) si hu, g(x)i 0, c.a.d. si g(x) 0. 2
Il est naturel de rechercher la meilleure borne infrieure de (P), c.a.d. la plus grande
afin dapprocher, voire datteindre, la valeur optimal de(P). En effet, on peut crire :

sup h(u) inf{f (x) | x S, g(x) 0}

u0

Corollaire 4.1 En notant sup h et Si sup h = +, le problme primal na pas de solution

ralisable.
Si inf f = ?, le problme dual na pas de solution ralisable.

Le problme dual associ (P) est donc :

Maximiser h(u)
(D)
uU

On appellera solution primale ralisable ou P-ralisable tout x S tel que g(x) 0.

De mme, tout u U est une solution duale ralisable ou D-ralisable.

4.3 Point-selle du Lagrangien

Dfinition 4.1 On appelle point-selle de la fonction Lagrangien L toute paire (x , u )
telle que :
u 0, L(x , u) L(x , u ) L(x, u ), x S

Le point-selle signifie donc que x minimise L(x, u) par rapport x sur S et que u
maximise L(x, u) par rapport u sur u 0 (voir reprsentation sur la figure 4.1).

Thorme 4.3 (x , u ) est un point-selle de L(x, u) si et seulement si :

i) x minimise L(x, u ) sur S
ii) g(x ) 0
iii) hu , g(x )i = 0
4.3. POINT-SELLE DU LAGRANGIEN 3

Figure 4.1 Point-selle du Lagrangien

Dmonstration i) correspond naturellement lingalit de droite de la dfinition.

Lingalit de gauche scrit :
u 0, f (x ) + hu, g(x )i f (x ) + hu , g(x )i h(u u ), g(x )i 0
Quand ui tend vers +, on doit donc avoir gi (x ) 0.
Par ailleurs, si u = 0, hu , g(x )i 0. Comme u 0 et g(x ) 0, on obtient :
hu , g(x )i = 0. 2

Thorme 4.4 Si (x , u ) est un point-selle de L, alors x est solution de (P).

Dmonstration Daprs le thorme prcdent, si (x , u ) est un point-selle de L, x

minimise L(x, u ) sur S. Donc, f (x ) f (x)+hu , g(x)i, x S. Do, f (x ) f (x), x
S et tels que g(x) 0. Cest--dire, x est solution de (P). 2
Limplication rciproque nest en gnral pas vraie. Quand sup h < inf f , on dit quil y
a un saut de dualit.

Corollaire 4.2 Sil existe x P-ralisable et u D-ralisable tels que h(u ) = f (x ), alors
(x , u ) est un point-selle de L. Par consquent, x est solution optimale de (P) et u est
solution optimale de (D).

Il est difficile de donner une condition ncessaire et suffisante dexistence dun point-
selle. Le thorme dexistence le plus prcis est d Karlin :

Thorme 4.5 Supposons S convexe et les fonctions f, g1 , . . . , gp convexes sur S. Suppo-

sons de plus quil existe x0 S tel que g(x0 ) < 0. Si x S est une solution optimale de
(P), alors il existe un vecteur de multiplicateurs u 0 tel que (x , u ) est un point-selle
du Lagrangien L(x, u).

Dmonstration cf. Mangasarian, p. 79. 2

Lide est donc bien de substituer la rsolution de (P) juge difficile par la rsolution
du problme dual. On a suppos en effet que le calcul de la fonction h en un point u de U
est relativement simple. On va voir dans la section suivante que le prix payer pour cette
relaxation est le fait que la fonction duale nest en gnral pas diffrentiable.
4 CHAPITRE 4. RELAXATION LAGRANGIENNE

4.4 Diffrentiabilit de la fonction duale

Pour simplifier ltude, on suppose S compact et les fonctions f, g1 , . . . , gp continues
sur S. Cela implique U = (IRp )+ . La fonction h est alors sous-diffrentiable sur U (on
emploiera par abus de langage les mots sous-diffrentiel et sous-gradient mme sil sagit
dune fonction concave, les supports affines correspondants tant alors des majorants de la
fonction).
Soit X(u) = {x S | x minimise L(x, u) sur S}. Daprs les rsultats du chapitre II-3
(Thorme de Danskin), on a :

h(u) = conv{g(x) | x X(u)}

Donc, h sera diffrentiable en u U si g(x) est constant sur X(u), ou de manire plus
pratique, si le sous-problme inf xS f (x) + hu, g(x)i possde un unique minimum. Cela
sera le cas en particulier si f est strictement convexe, g1 , . . . , gp convexes sur S convexe
born.

Exemples :
a) Programmation Linaire.
Soit le programme linaire :

Max z = cT x
Ax b
x0

Relaxons les contraintes Ax b pour obtenir le Lagrangien :

L(x, u) = cT x + uT (b Ax) pour tout u 0
La fonction duale scrit :

h(u) = inf{(c AT u)T x | x 0} + bT u

(
bT u si c AT u 0, u 0
=
sinon

b)

Min (x1 1)2 + (x2 2)2

x1 + x2 2
x1 , x2 0

Relaxons la contrainte x1 + x2 2. La fonction duale dune seule variable u est :

h(u) = inf{(x1 1)2 + ux1 | x1 0} + inf{(x2 2)2 + ux2 | x2 0} 2u

2
1/2u + u si 0 u 2

= 1/4u2 + 1 si 2 < u 4
5 2u

si u > 4

Remarques :
4.5. DUALIT ET PERTURBATIONS DES CONTRAINTES 5

Figure 4.2 Fonction duale diffrentiable

Le calcul a t spar en deux calculs indpendants sur x1 et x2 (on dit quon a

dcompos le problme).
La fonction h est concave, donc continue aux points de jonction des diffrents
morceaux et galement diffrentiable sur u 0 (cf. figure 4.2).
c)

Min x2
1 2x = 0
0x1

La solution est bien sr x = 0.5 avec f (x) = 0.25.

En relaxant la contrainte 1 2x = 0, on obtient la fonction duale :
(
u si u 1/2
h(u) =
1 u si u > 1/2
Ici, u nest pas astreint tre 0 car la contrainte relaxe est une galit. On
remarque que h nest pas diffrentiable en u = 1/2 qui est dailleurs le maximum
de h et que max h = 1/2 < min f . On a ici un saut de dualit car le problme nest
pas convexe (Fig. 4.3).

4.5 Dualit et perturbations des contraintes

On associe (P) le problme perturb suivant :
6 CHAPITRE 4. RELAXATION LAGRANGIENNE

Figure 4.3 Saut de dualit

Minimiser f (x)
(P y) sous g(x) y
xS

o y IRp est un vecteur de perturbations du second membre. Le problme (P) cor-

respond bien sr y = 0.
Soit w(y) la fonction perturbation :

w(y) = min{f (x) | g(x) y, x S}

dfinie sur
Y = {y IRp | x S tel que g(x) y}

Proposition 4.1 La fonction w est monotone non croissante sur Y

Si f, g sont des fonctions convexes et S est convexe ferm, alors Y est un ensemble
convexe et w est convexe sur Y .

Dmonstration : exercice

La figure 4.4 montre lpigraphe de la fonction w dans IRp+1 .

Thorme 4.6 La fonction duale h associe (P) satisfait :

h(u) = w (u)

Dmonstration Montrons que, pour un u 0 tel que h(u) soit fini, on a :

!
y
y0 + hu, yi h(u), epi(w)
y0

S est tel que h(u) = f (

Observez que, si !x x) + hu, g(
x)i, la relation ci-dessus signifie
y
que H = { IRp+1 | y0 + hu, yi = h(u)} est un hyperplan support de lpigraphe
y0
4.6. RELAXATION LAGRANGIENNE ET OPTIMISATION COMBINATOIRE 7

Figure 4.4 Fonction w(y)

!
g(x)
de la fonction w en x, u) f (x) + hu, g(x)i, x S, ce qui
. En effet, h(u) = L(
f (
x)
implique que h(u) y0 + hu, yi pour tout y0 f (
x) et tout y g(x). On vrifie alors que
f (
x) = w(y).
En se reportant la dfinition de la fonction conjugue (chap.3), on retrouve la relation
cherche entre h et w . 2

4.6 Relaxation Lagrangienne et optimisation combinatoire

De nombreux problmes doptimisation combinatoire peuvent se modliser sous la
forme :

Minimiser cT x
(IP) Ax b
Ex d, x Z n

Ici encore, on suppose que les contraintes Ax b sont complicantes et quon dispose
dun outil pour minimiser une fonction linaire sur S = {x Z n | Ex d}. Soit vRL =
supu0 inf xS cT x + uT (b Ax), la valeur maximale du dual associ la relaxation la-
grangienne des contraintes complicantes dans (IP). Le rsultat suivant est d Geoffrion
(1974) :

Thorme 4.7 Soit vRC la valeur optimale de la relaxation de (IP) obtenue en remplaant
S par convS, lenveloppe convexe de S. Alors

vRL = vRC

Dmonstration On remarque dabord quon peut remplacer S par convS dans la dfi-
nition de la fonction duale h. En effet, le Lagrangien tant linaire en x, le minimum est
8 CHAPITRE 4. RELAXATION LAGRANGIENNE

atteint en un sommet de S (suppos born pour simplifier lexpos). Soient xk , k K un

sommet de S. On a alors :

h(u) = min[cT xk + uT (b Axk )]

kK

La fonction duale est donc concave linaire par morceaux, chaque support affine tant
associ un sommet de S.
Le problme dual peut donc scrire comme un programme linaire :

Maximiser w
w uT (b Axk ) cT xk , k K
u0

dont le dual est, en appelant k la variable duale associe la contrainte k :

Minimiser cT ( k k xk )
P

A( k k xk ) b
P
P
k k = 1
k 0, k

et on retrouve bien lenveloppe convexe de S donne par :

X X
conv(S) = {x = k xk , k = 1, k 0}
k k

2
Observation : Si vLP est la valeur optimale de la relaxation continue de (IP), on a la
hirarchie suivante entre les bornes infrieures :

vLP vRL v

On aura de plus vLP = vRL si conv(S) = {x IRn | Ex d, x 0} (ce qui revient dire
que le sous-problme a la proprit dintgralit de ses solutions de base).
4.6. RELAXATION LAGRANGIENNE ET OPTIMISATION COMBINATOIRE 9

Rfrences :
L.S. Lasdon, Optimization for Large Systems, Mac Millan, 1970
C. Lemarchal, Lagrangian Relaxation, INRIA Report, 2000
O. Mangasarian, Nonlinear Programming, Prentice-Hall, 1969