Académique Documents
Professionnel Documents
Culture Documents
net
MATHMATIQUES
Et
APPLICATIONS
Directeurs de la collection :
J. Garnier et V. Perrier
70
www.biblio-scientifique.net
Marc HOFFMANN
LAMA, Univ. Paris-Est, Champs-sur-Marne, FR
marc.hoffmann@ensae.fr
Gregoire ALLAIRE
CMAP, Ecole Polytechnique, Palaiseau, FR
gregoire.allaire@polytechnique.fr
Claude LE BRIS
CERMICS, ENPC, Marne la Vallee, FR
lebris@cermics.enpc.fr
Michel BENAIM
Inst. Math., Univ. de Neuchatel, CH
michel.benaim@unine.ch
Sylvie MELEARD
CMAP, Ecole Polytechnique, Palaiseau, FR
sylvie.meleard@polytechnique.edu
Ma tine BERGOUNIOUX
MAPMO, Universite dOrleans, FR
maitine.bergounioux@univ-orleans.fr
Felix OTTO
Institute of Applied Math., Bonn, GE
otto@iam.uni-bonn.de
Thierry COLIN
Inst. Math., Universite Bordeaux 1, FR
colin@math.u-bordeaux1.fr
Valerie PERRIER
Lab. Jean-Kunztmann, ENSIMAG, Grenoble, FR
valerie.perrier@imag.fr
Marie-Christine COSTA
UMA, ENSTA, Paris, FR
marie-christine.costa@ensta.fr
Philippe ROBERT
INRIA Rocquencourt, Le Chesnay, FR
philippe.robert@inria.fr
Arnaud DEBUSSCHE
ENS Cachan, Bruz, FR
arnaud.debussche@bretagne.ens-cachan.fr
Pierre ROUCHON
Automatique et Syste`mes, Ecole Mines, Paris, FR
pierre.rouchon@ensmp.fr
Isabelle GALLAGHER
Inst. Math. Jussieu, Univ. Paris 7, FR
gallagher@math.jussieu.fr
Bruno SALVY
INRIA Rocquencourt, Le Chesnay, FR
bruno.salvy@inria.fr
Josselin GARNIER
Lab. Proba. et Mod. Aleatoires, Univ. Paris 7, FR
garnier@math.univ-paris-diderot.fr
Annick SARTENAER
Dept. Mathematiques, Univ. Namur, BE
annick.sartenaer@fundp.ac.be
Stephane GAUBERT
INRIA, Saclay - Ile-de-France, Orsay, FR
stephane.gaubert@inria.fr
Eric SONNENDRUCKER
IRMA, Strasbourg, FR
sonnen@math.u-strasbg.fr
Emmanuel GOBET
CMAP, Ecole Polytechnique, Palaiseau, FR
emmanuel.gobet@polytechnique.edu
Alain TROUVE
CMLA, ENS Cachan, FR
trouve@cmla.ens-cachan.fr
Raphaele HERBIN
CMI LATP, Universite dAix-Marseille, FR
raphaele.herbin@latp.univ-mrs.fr
Cedric VILLANI
IHP, Paris, FR
villani@math.univ-lyon1.fr
Enrique ZUAZUA
BCAM, Bilbao, ES
enrique.zuazua@uam.es
Directeurs de la collection :
J. GARNIER et V. PERRIER
www.biblio-scientifique.net
Jean-Baptiste Hiriart-Urruty
123
www.biblio-scientifique.net
Jean-Baptiste Hiriart-Urruty
Institut de Mathmatiques de Toulouse
Universit Paul Sabatier
Toulouse
France
ISSN 1154-483X
ISBN 978-3-642-30734-8
DOI 10.1007/978-3-642-30735-5
ISBN 978-3-642-30735-5
(eBook)
www.biblio-scientifique.net
Avant-propos
J.-B. Hiriart-Urruty
www.biblio-scientifique.net
vii
www.biblio-scientifique.net
Introduction
ix
www.biblio-scientifique.net
.
.
.
.
.
.
1
1
1
2
5
8
.
.
.
.
.
10
10
12
13
16
.
.
16
24
..
25
.
.
.
.
.
.
.
.
26
26
30
34
..
..
37
37
xi
www.biblio-scientifique.net
xii
2.2
Applications en thorie de lapproximation hilbertienne . . .
3
Prolongements possibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Rfrences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
..
..
..
..
..
..
..
..
..
le
..
..
..
..
..
..
..
42
53
58
59
60
60
60
61
62
63
65
68
68
72
77
77
80
84
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
86
86
88
91
91
91
95
95
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
96
98
98
99
100
100
102
www.biblio-scientifique.net
Table des matires
xiii
4.3
Quelques rgles de calcul typiques . . . . . . . . . . . . .
4.4
Sur le besoin dun agrandissement de of . . . . . . . . .
5
Un exemple dutilisation du sous-diffrentiel : les conditions
ncessaires et suffisantes doptimalit dans un problme
doptimisation convexe avec contraintes. . . . . . . . . . . . . . .
Rfrences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
...
...
105
108
...
...
108
116
......
......
117
118
......
118
.
.
.
.
.
.
.
.
119
125
129
140
...
141
...
142
...
144
...
150
...
...
153
156
...
...
158
158
...
...
161
166
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
169
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
www.biblio-scientifique.net
Chapitre 1
- PROLGOMNES : LA SEMICONTINUIT
INFRIEURE ; LES TOPOLOGIES FAIBLES ;
- RSULTATS FONDAMENTAUX
DEXISTENCE EN OPTIMISATION.
1 Introduction
Considrons un problme doptimisation ou variationnel gnral formul
de la manire suivante :
Minimiser f (x),
(P )
x S.
o f : E R {+} et S E. Lobjet de ce chapitre introductif est
de rappeler les notions et rsultats ncessaires conduisant lexistence de
solutions dans (P ). On soccupera donc de ce quil faut supposer sur f (la
semicontinuit infrieure) et sur S (compacit). Il faudra notamment jouer
avec diverses topologies sur E, les topologies faibles notamment. On rappellera cette occasion le rle et lapport de la convexit, aussi bien sur S que
sur f .
Points dappui / Prrequis :
Analyse relle (Topologie ; Analyse fonctionnelle) ;
Convexit de base.
www.biblio-scientifique.net
2
CHAPITRE 1.
cest--dire :
(1.2)
www.biblio-scientifique.net
2. LA QUESTION DE LEXISTENCE DE SOLUTIONS
www.biblio-scientifique.net
4
CHAPITRE 1.
Proposition 1.6
(i) f et g s.c.i en x E (resp. sur E) f + g s.c.i en x (resp. sur E).
(ii) ( f i )iI , I absolument quelconque, f i s.c.i sur E pour tout i I ; alors
f := sup f i est s.c.i sur E .
iI
yx
yx
epi f = epi f ,
ou bien :
x E, f(x) = inf r R | (x, r ) epi f .
Attention ! Obtenir f nest pas une chose facile... a dpend de la topologie avec laquelle on travaille ; mme dans un contexte despace mtrique (E, d) (comme cela arrive parfois en optimisation de formes), la rgularise f peut avoir une expression trs diffrente de f . Prendre la rgularise
s.c.i dune fonction f est aussi une forme de relaxation (de f ), procd sur
lequel on reviendra plus loin.
www.biblio-scientifique.net
2. LA QUESTION DE LEXISTENCE DE SOLUTIONS
pour x S E
pour x E
o f := f + i S (cest--dire, f(x) = f (x) si x S, + sinon).
On a pnalis f ( lextrieur de S) de manire "brute", en faisant
payer + x sil nest pas dans S ("pour du brutal, cest du brutal" disait B. Blier dans Les Tontons flingueurs).
Avantage du procd : on travaille sur tout lespace (de travail) E ; cot : il
faut accepter de travailler avec les fonctions prenant la valeur + (et adapter
toutes les notions et proprits du monde variationnel ce contexte).
www.biblio-scientifique.net
6
CHAPITRE 1.
www.biblio-scientifique.net
2. LA QUESTION DE LEXISTENCE DE SOLUTIONS
J ( f ) := sup
1
2
f (x) div (x) dx C K (, R ),
1 . (1.3)
() telles
que f n k f quand k
+ dans L 1 () (cest--dire
f n k f
L 1 0 quand k +).
www.biblio-scientifique.net
8
CHAPITRE 1.
deuxime rsultat).
Ceci est nonc avec une topologie sur E sous-jacente ; il y a une opposition entre les deux exigences, celle relative la fonction-objectif f et celle
relative lensemble-contrainte S... chacune tirant de son ct.
Dilemme du choix de la topologie :
assez "fine" ou forte ( ouverts, ferms) pour que f soit s.c.i.
assez "conomique" ou faible ( ouverts) pour que S soit compact.
Explicitons quelque peu ces deux exigences qui tirent chacune de leur
ct...
Soit 1 et 2 deux topologies sur E.
Si 1 est plus forte que 2 (i.e., tout ouvert de 2 est aussi un ouvert de 1 ;
"il y a plus douverts pour 1 que pour 2 "), alors
www.biblio-scientifique.net
2. LA QUESTION DE LEXISTENCE DE SOLUTIONS
www.biblio-scientifique.net
10
CHAPITRE 1.
f (x ) = e x
S = [0 , +
www.biblio-scientifique.net
3. LE CHOIX DES TOPOLOGIES
11
Espaces de Hilbert. Ce sont les premiers espaces de travail de dimension infinie, les plus importants sans doute... Ah si on savait tout faire
dans les espaces de Hilbert ! Lorsquun espace de Hilbert (H, , )
est
donn, cest naturellement la norme hilbertienne associe : :=
, quon utilisera. Mais il y a une autre topologie, ladite topologie
faible, quon peut mettre sur H . Cest un cas particulier de ce qui va tre
prsent plus loin ; toutefois il faut dores et dj bien matriser les tenants et les aboutissants de "une suite (u k ) converge faiblement vers u",
et connatre les obstacles empchant une suite faiblement convergente
de converger fortement (i.e., au sens de la topologie dfinie via la norme
hilbertienne). faire : Exercices 4 et 5 ; lire : [H].
Espaces de Banach. Un espace vectoriel norm (E, ) est dit de
Banach lorsquil est complet. On dsigne par E (ou E ) le dual topologique2 de E, cest--dire lensemble des formes linaires continues x
sur E :
x E , x : E R
x x (x),
action de x sur x, que lon note aussi x , x (, est ledit "crochet de
dualit", ne pas confondre avec un produit scalaire). E est structur
en espace vectoriel norm grce la norme duale (de ) dfinie
comme suit :
x E , x := sup |x , x|
x E
x1
(1.6)
x E x x , x E .
Grce lapplication linaire (isomtrique mme) j, on peut identifier E
un sous-espace de E . Attention ! le "trou" entre E et E peut tre
norme ; penser E = L 1 , o E = (L ) est un gros fourre-tout o
se perdent les fonctions de L 1 ...
Quand j (E) = E , on dit que E est rflexif ; dans ce cas on identifie
implicitement E et E (toujours via j). Paralllement (1.6), notons
que
2 Comme tout ce qui nous concerne est de nature topologique, on ne considrera pas le dual
algbrique de E, la notation E ne doit donc pas prter confusion.
www.biblio-scientifique.net
12
CHAPITRE 1.
x E, x = max
|x , x|
x E
x 1
(cest veritablement un max ici).
(1.7)
(xk x) x , xk x , x pour tout x E .
www.biblio-scientifique.net
3. LE CHOIX DES TOPOLOGIES
13
(xk x) (xk x) .
(iii) [Une suite faiblement convergente est fortement borne ; la fonction
est (squentiellement) faiblement s.c.i.]
xk x (dans E)
(xk , xk x , x(dans R)).
xk x (dans E )
i.e.,
xk x
0
Apport de la convexit
Une proprit aussi simple que la convexit, une proprit vectorielle pourtant, va faire que "ferms forts ou ferms faibles, cest la mme chose !".
Thorme 1.15 Supposons C E convexe. Alors :
(C ferme fort) (C ferme pour (E, E ))
[la rciproque tant toujours vraie, que C soit convexe ou pas].
www.biblio-scientifique.net
14
CHAPITRE 1.
xk x
xk
k est borne e .
(iv) [Semicontinuit]
xk x lim inf
xk
x
.
k+
xk x (dans E )
(xk , xk x , x).
xk x (dans E)
(i.e., xk x 0)
www.biblio-scientifique.net
3. LE CHOIX DES TOPOLOGIES
15
B = x E |
x
1
est compacte pour la topologie faible -.
()
(E , )
(E , (E , E))
Ec
()
www.biblio-scientifique.net
16
CHAPITRE 1.
E separable E separable .
(L 1 est sparable, L ne lest pas ; limplication rciproque est donc
fausse).
www.biblio-scientifique.net
3. LE CHOIX DES TOPOLOGIES
17
(1.9)
Exercices
Exercice 1 (Ingalits sur les normes)
Soit (X, ), un espace vectoriel norm. Soit x et y non nuls dans X .
1) Ingalit de Massera- Schffer (1958)
Montrer
x
y
x y
max (x , y) x y .
(1.10)
Vrifier que si
x
k
y
x y
max (x , y) x y pour tous x, y = 0 dans X,
alors 2 k (cest--dire quon ne peut pas faire mieux que 2 dans une
ingalit comme (1.10)).
www.biblio-scientifique.net
18
CHAPITRE 1.
x
vrifie une condition de
x
Lipschitz sur := {x X | x 1} avec une constante de Lipschitz
gale 2.
Avec lexemple de X = R2 et = , montrer quon ne peut pas
faire mieux que 2 comme constante de Lipschitz.
2) Ingalit de Dunkl- Williams (1964)
On suppose ici que (X, , ) est prhilbertien, la norme
sur X tant
celle dduite du produit scalaire , , cest--dire x = x, x.
Montrer
x
2
y
(1.11)
x y
x + y x y
Vrifier que la fonction x = 0
x
y
=
.
x
y
(1.12)
x
y
.
o (x, y) :=
+
x y
Par de simples calculs " la main", montrer que I est borne infrieurement
sur X et quil existe un et un seul lment f X tel que I ( f) = inf I ( f ).
Hint : Utiliser la fonction f, unique solution de
f f = 0, f (a) = A, f (b) = B.
fX
www.biblio-scientifique.net
EXERCICES
19
h2
l(h).
2
www.biblio-scientifique.net
20
CHAPITRE 1.
Concentration. Soit I = ,
, u n L 2 (I ) dfinie comme suit :
2 2
1
1
x
,
n si
u n (x) =
2n
2n
0 sinon.
Evanescence. Soit I = R, u n L 2 (I ) dfinie ci-dessous :
1
1
x n+ ,
n si
u n (x) =
2n
2n
0 sinon.
Dans les trois cas, montrer que u n 0 dans L 2 (I ) mais que u n 0
dans L 2 (I ).
Exercice 6 (Lingalit dOpial)
Soit H un espace de Hilbert : , y dsigne le produit scalaire et la norme
associe. On suppose que la suite (u n ) de H converge faiblement vers u H .
Montrer que pour tout v H , distinct de u, on a
lim inf u n v > lim inf u n u .
n+
n+
Exercice 7 (Le problme des points les plus loigns, dans un Banach)
Soit K un compact non vide dans lespace de Banach (E, ).
Pour tout x E, on pose
www.biblio-scientifique.net
EXERCICES
21
Q K (x) :=
y K x y = sup x y
y K
(Q K (x) est la partie de K constitue des points les plus loigns de x dans K ).
Montrer que si Q K (x) est rduit un seul lment pour tout x E, alors K
lui-mme est un singleton.
Indication : On pourra appliquer un thorme de point fixe lapplication q K issue de Q K (x) = {q K (x)}.
Exercice 8 (Le problme variationnel du brachystochrone ; transformation en un problme de minimisation convexe)
Le problme classique de la courbe brachystochrone (ou du brachystochrone)
consiste chercher la courbe dans un plan vertical sur laquelle un point matriel soumis la seule action de la pesanteur passe en un temps minimum
dun point un autre de ce plan. Aprs normalisation ce problme prend la
forme :
a
l(x(t), x(t))
dt
(P ) min
x 0
l(x, u) =
1 + u2
,
et est lensemble des fonctions x() C ([0, a], R) C 1 (]0, a[, R) telles
que :
x(0) = 0, x(a) = 1, et x(t) > 0 sur ]0, a[.
a
l(x(t), x(t))
dt.
On dfinit de plus J (x) :=
0
La condition classique ncessaire doptimalit dEuler- Lagrange scrirait dans notre cas
l
d l
dt u
x
(1.14)
www.biblio-scientifique.net
22
CHAPITRE 1.
l(x, x)
= l(
z2
, z z ) =
2
2 z 2 + z 2 .
v) = z 2 + v 2 et
= { 2x | x } est lensemble des fonco l(z,
tions z C ([0, a] , R) C 1 (]0, a[ , R) telles que :
l(z,
avec J (z) =
0
Il est alors clair que y est solution de (P ) si et seulement si z = 2y
est solution de (P ).
a) Montrez que
la fonction
fie l(z, v) = (z , v) ).
b) Soit x0 () la solution de
l
d l
(t),
x
(t))
=
(x
(x0 (t), x0 (t)) sur [0, a] ,
0
0
dt u
x
l
l
d
(z 0 (t), z 0 (t)) =
(z 0 (t), z 0 (t)) sur [0, a] ,
dt v
z
(1.15)
(z 0 (0), z 0 (a)) = 0, 2 .
l
l
1
z ) l(z
0 , z 0 ) l (z 0 , z 0 ) (z z 0 ) + l (z 0 , z 0 ) (z z 0 )
l(z,
z
v
et en utilisant (1.15), que z 0 () ralise le minimum de (P ).
www.biblio-scientifique.net
EXERCICES
23
2
tr(AB) = tr(A1/2 A1/2 B 1/2 B 1/2 ) = =
A1/2 B 1/2
.
Exercice 11 (Caractrisation de la positivit dune fonction quadratique
sur Rn )
Soit A Sn (R), b Rn , c R, et
q : x Rn q(x) := Ax, x + 2b, x + c
la fonction quadratique sur Rn associe ces donnes.
Montrer lquivalence suivante :
T
c
b
n
est semidefinie positive .
(q(x) 0 pour tout x R ) A :=
b A
Hint : Passer par la forme quadratique q sur Rn+1 dfinie comme suit :
www.biblio-scientifique.net
24
CHAPITRE 1.
Rfrences
[A] D. Az. lments danalyse convexe et variationnelle. ditions Ellipses,
Paris, 1997.
[B] H. Brzis. Analyse fonctionnelle. ditions Dunod, 2005.
[D] B. Dacorogna. Direct methods in the calculus of variations. (2nd edition),
Springer Verlag, 2008.
[H] G. Helmberg. "Curiosities concerning weak topology in Hilbert space".
Amer. Math. Monthly 113 (2006), p. 447452.
[ABM] H. Attouch, G. Buttazzo et G. Michaille. Variational analysis in
Sobolev and BV spaces. MPS-SIAM Series on Optimization, 2005.
[B], rdit plusieurs fois, illustre lart du raccourci et de la synthse dans la
prsentation et la dmonstration des rsultats.
[A] est une rfrence approprie pour ce chapitre ; nous nous y rfrerons
galement plus loin, loccasion du chapitre sur "lanalyse convexe opratoire".
[A] et [B] sont de niveau M1, ce qui nempche pas quon peut sy pencher
en M2.
[ABM] et [D] sont dun niveau plus lev (carrment M2), et abordent chacun
des aspects plus particuliers de lanalyse variationnelle. Ce sont des livres de
rfrence, trop volumineux pour un seul enseignement (de M2).
www.biblio-scientifique.net
Chapitre 2
CONDITIONS NCESSAIRES
DOPTIMALIT APPROCHE
25
www.biblio-scientifique.net
26
CHAPITRE 2.
f (u) inf f + .
E
(2.1)
Notons que, contrairement la minimisation exacte, lexistence de minimiseurs prs (pour > 0) ne pose aucun problme : il y a toujours des minimiseurs prs ! Cela rsulte de la dfinition mme de inf A lorsque A R.
Lunicit des minimiseurs prs nest pas un problme non plus, il y a,
gnralement, une multitude de minimiseurs prs.
Une situation trs particulire o a nest pas le cas est comme suit :
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
27
Commentaires
Il sagit bien dun thorme dexistence : "il existe v tel que...". Le v
exhib dpend des choix prcdents, on aurait pu noter v,u, .
(i) implique que le v exhib fait aussi bien que u puisque
f (v) f (u) f + ,
v est aussi un minimiseur prs de f sur E.
(ii) exprime que lon contrle la distance de v (exhib) u (donn au
dpart), et cette distance, cest nous qui la contrlons puisque > 0 est
un choix libre de dpart !
Mais il faut compenser quelque part... plus est petit, plus grande est la
perturbation x
x v qui apparat dans la formulation (iii).
(iii) exprime un rsultat de minimisation (globale). En effet, soit
: E R {+}
x
(x) := f (x) +
v x .
www.biblio-scientifique.net
28
CHAPITRE 2.
(2.2)
(ii) v u ;
> 0 fix, on dit que u S est une solution prs de (P ), ou bien est
un minimiseur prs de f sur S, lorsque f (u) inf f + . La condition
S
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
29
x v.
x v pour tout x S, x = v.
(iii) DG f (v ) .
(ii) v u
; ce qui
www.biblio-scientifique.net
30
CHAPITRE 2.
x E, (v ) (x),
(2.3)
o (x) := f (x)+ v x. Ce quexprime (2.3) est que v est un minimiseur (global, dailleurs) de sur E. Mais on ne peut affirmer que D(v ) = 0
car nest pas diffrentiable en v . Rappelons-nous (et revoyons sous forme
dexercice si ncessaire) quune norme sur E (quelle quelle soit) nest
jamais diffrentiable en 0. Exploitons nanmoins (2.3) avec divers choix
de x. Soit d = 0 dans E et > 0 ; avec les choix successifs de x = v + d
et de x = v d, on obtient partir de (2.3) :
f (v + d) f (v ) d ,
f (v d) f (v ) d ,
soit encore
f (v + d) f (v )
d ,
f (v d) f (v )
d .
()
DG f (v ), d d ,
DG f (v ), d d ,
do
|DG f (v ), d|
d .
Par consquent,
DG f (v ) := sup |DG f (v ), d|
. CQFD
d E
d1
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
31
Lemme 2.4 Soit (Sk ) une suite dcroissante (au sens de linclusion) de
ferms de E (espace de Banach, donc complet ). On suppose que
diam(Sk ) := sup x y 0 quand k +.
x,y Sk
Alors,
+
Sk nest pas vide et est rduit un seul point (cest ce quon appelle
k=0
un singleton).
S0
x1
S1
... xk
Sk
xk+1
(xk )
. . . (Sk )
Initialisation du processus :
x0 := u, le minimiseur prs de f sur E figurant comme donne premire
du thorme.
S0 := x E | f (x) + x x0 f (u) .
laquelle est s.c.i. (somme dune fonction s.c.i. et dune fonction continue),
donc S0 est ferm. De plus, S0 nest pas vide puisque x0 S0 .
Ayant xk , comment on dfinit Sk
Ayant xk , on dfinit Sk comme suit :
Sk := x E | f (x) + x xk f (xk ) .
Pour les mmes raisons que celles voques plus haut, pour k = 0, Sk est un
ferm de E et il contient xk .
Ayant Sk , comment on dfinit xk+1
Soit m k := inf f . Comme
Sk
1
[ f (xk ) + m k ] .
2
www.biblio-scientifique.net
32
CHAPITRE 2.
(il nest pas exclu que xk+1 puisse tre pris gal xk si f (xk ) = m k ).
Puis on dfinit Sk+1 comme plus haut, et ainsi de suite.
Analysons les proprits des suites (de points) (xk ) et de ferms (Sk ) que
lon vient de dfinir. Les choses ne sont pas difficiles, mais il faut y aller
progressivement.
(P1 ) (Sk ) est dcroissante : k, Sk+1 Sk .
Soit en effet x Sk+1 . Cela signifie, par dfinition mme de Sk+1 ,
f (x) +
x xk+1 f (xk+1 ).
(2.4)
Do, finalement,
f (x) +
x xk f (xk ),
Sk
1
[ f (xk ) m k ] .
2
En effet,
1
[ f (xk ) + m k ] (par construction de xk+1 ) ,
2
m k m k+1 demontre au point(P2 ) ;
f (xk+1 )
cela implique
(2.5)
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
f (xk+1 ) m k+1
33
1
1
[ f (xk ) + m k ] m k = [ f (xk ) m k ] .
2
2
a xk f (xk ).
a xk f (xk ),
a xk [ f (xk ) m k ] .
mk +
1
[ f (x0 ) m 0 ] .
2k
1
[ f (x0 ) m 0 ] .
2k1
1
[ f (x0 ) m 0 ] ,
2k1
et k 0 quand k +.
Avec toutes ces proprits nonces de (Sk ), on fait appel au lemme
+
rappel en dbut de dmonstration :
Sk = {v}. Montrons que ce v fait
k=0
notre affaire, cest--dire que les proprits (i), (ii) et (iii) annonces du thorme sont bel et bien vrifies.
Proprit (i). Puisque v S0 (forcment...),
f (v) +
do f (v) f (u).
(2.6)
www.biblio-scientifique.net
34
CHAPITRE 2.
v u f (u) f +
rappelons que f = inf f
E
do v u .
Proprit (iii). Cest le point le plus dlicat... On va dmontrer (iii) sous la
forme contrapose suivante
(2.7)
x E, f (x) + x v f (v) (x = v) .
soit encore
f (xk ) puisque v Sk .
En somme :
f (x) +
+
Sk = {v}, donc x = v.
k=0
1.3 Complments
Le thorme dEkeland est un outil dAnalyse applique trs puissant, aussi
puissant sans doute que "la technologie des approximations successives pour
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
35
les points fixes dapplications contractantes" (voir plus loin pour un lien entre
les deux). Deux points que nous soulignons toutefois :
Limportance du caractre complet de E... Il a mme t dmontr que,
peu ou prou, le thorme dEkeland sapplique si et seulement si E est
complet.
Avec = k1 , on exhibe vk tel que f (vk ) f + k1 . On est donc tent
jai vu a plusieurs fois chez les tudiants de passer la limite sur k,
en extrayant une sous-suite convergente (vkn ) de (vk )... sauf que (vk ) na
pas forcment de sous-suite convergente. Si tel tait le cas, si vkn v
quand n +,
lim inf f (vkn ) f (v) car f est s.c.i.,
n+
soit f (v) = f ... On est loin de telles situations, cest plus volontiers
que "vk schappe linfini" (for whatever that means...).
Le contexte classique de la mthode des approximations successives pour
les points fixes des applications contractantes est le suivant :
(E, d) est un espace mtrique complet ; est une contraction sur E, cest-dire il existe 0 < k < 1 tel que :
x, y E, d [(x), (y)] k d(x, y).
(2.8)
Alors a un point fixe et un seul (un seul point x E pour lequel (x) = x).
Lunicit du point fixe ne pose pas problme, cest son existence qui en pose.
Voyons comment le thorme dEkeland permet dy accder facilement.
Dfinissons f : E R par f (x) := d [x, (x)]. Bien sr, f est continue et
borne infrieurement sur E (inf f 0 puisque f 0). Choisissons > 0
E
de telle sorte que < 1 k (possible puisque 1 k > 0). Grce au raccourci
nonc en page 28 (cf. Corollaire 2.2), il existe v E tel que
f (v) f (x) + d(x, v) pour tout x E.
(2.9)
Nous proposons x := (v) ; dmontrons que cet x fait notre affaire, cest-dire que (x) = x.
Premier point : exploitation de la proprit de contraction (2.8) avec x et v,
soit
(2.10)
d x, (x) = d [(v), (x)] k d(x, v).
www.biblio-scientifique.net
36
CHAPITRE 2.
(2.11)
=d[x,(x)]
(ii) v u ;
x u p .
p
www.biblio-scientifique.net
1. PRINCIPE VARIATIONNEL DEKELAND
37
Point (ii). On a
f +
v u p f (v) + p v u p f (u) f + ,
p
do
v u p ,
p
et donc v u .
Point (iii). (v) (x) pour tout x Rn se traduit par :
f (v) +
x Rn , f (v) + v u f (x) + x u .
Il sensuit :
x Rn , f (v) f (x) +
x u v u f (x) + x v ,
www.biblio-scientifique.net
38
CHAPITRE 2.
Contexte :
(H, , ) est un espace de Hilbert ( = , est la norme associe
, ).
f : H R{+}, non identiquement gale +, borne infrieurement
sur H .
f est semicontinue infrieurement sur H .
Un des avantages de la norme hilbertienne = , est quelle est trs
manipulable pour les calculs (rappelons que x + y2 = x2 + y2 +
2 x, y) et que la fonction x
x2 est C sur H .
Thorme 2.7 (J. Borwein et D. Preiss, 1987)
La tolrance > 0 tant donne, soit u tel que f (u) < f + . Alors,
pour tout > 0, il existe v et w dans H tels que :
(i) f (v) < f + ;
(ii) v u < et w v < ;
Commentaires
Cest encore un thorme dexistence : "il existe v et w...", mais cette
fois-ci ce sont deux points qui sont exhibs.
(i) indique que le v exhib fait aussi bien que u.
(ii) contrle les distances de v et w par rapport au u de dpart : v u <
mais aussi w u < 2 .
La fonction perturbant f dans (iii) est C cette fois. Voyons ce que signifie (iii) gomtriquement. Introduisons pour cela p(x) = 2 x w2 ;
le graphe de p est parabolique, tourn vers le bas (car p est quadratique
concave), son sommet est atteint en x = w.
Rcrivons (iii) de manire diffrente mais quivalente :
x H, g(x) g(v)
soit encore :
x H, f (x) f (v) p(x) p(v).
(2.12)
www.biblio-scientifique.net
2.
39
(iii) peut dailleurs tre raffin en prcisant que v est point de minimisation
unique de la fonction perturbe g sur H , bref le point de contact (v, f (v)) =
(v, p(v)) entre les deux graphes est le seul.
En gnral, v = w, il ny a aucune raison pour quils concident.
La pente de p au point v (de contact) est p(v) = 22 (v w). Avec les
estimations donnes en (ii), p(v) < 2
.
Le vecteur p(v) jouerait un rle de "sous-gradient" ou de "gradient par
dessous" de f en x... videmment, si f se trouvait tre diffrentiable en v
(in whatever sense), f (v) = p(v).
Prcisons le rle du point v par rapport f , avec des substituts de conditions
ncessaires doptimalit, du 1er comme du 2nd ordre.
Corollaire 2.8 Le vecteur s := p(v) vrifie :
(C1) [sorte de condition de minimalit du 1er ordre]
lim inf
xv
lim inf
xv
2.
2
x v
www.biblio-scientifique.net
40
CHAPITRE 2.
Dmonstration : Comme
f (x) f (v) s, x v
f (x) f (v) s, x v
= x v
;
x v
x v2
il est facile de voir que (C1) est une consquence de (C2).
(C2) est une condition de "minoration de courbure" de f en v par 2 ,
laquelle est la courbure en tout point de la fonction quadratique p.
Soit (x) := f (x) p(x), mesure lcart entre les deux fonctions f
et p. On a dj observ (cf. (2.12)) que (x) (v) pour tout x H . En
consquence,
(x) (v)
0.
(2.13)
lim inf
xv
x v2
Sachant que p(x) = p(v)+s, x v 2 x v2 (cest le dveloppement
de Taylor lordre 2 de p en x, exact puisque p est quadratique), on a :
(x) = f (x) p(x) = f (x) p(v) s, x v +
(v) = p(v) f (v),
do
(x) (v) = f (x) f (v) s, x v +
x v2 ,
2
x v2 .
2
(2.14)
www.biblio-scientifique.net
2.
41
Il existe alors une suite (vk ) de points de H vrifiant les trois proprits suivantes :
(i) f (vk ) f quand k + [(vk ) est aussi une suite minimisante
pour f ] ;
(ii) vk x k 0 quand k + [lcart entre vk et x k se resserre au fur
et mesure que k augmente].
(iii) G f (vk ) 0 quand k + [condition ncessaire doptimalit du
1er ordre asymptotique].
f (x) f (vk ) G f (vk ), x vk
(iv) lim inf lim inf
0
(2.14 )
xvk
k+
x vk 2
[condition ncessaire doptimalit du 2nd ordre asymptotique ; une sorte
de version "asymptotise" de (2.14)]
Dmonstration : Pour k entier 1, soit k := f (xk ) f + k1 . Par construction, k > 0, et par hypothse k 0. videmment et cela a t fait
pour :
f (xk ) < f + k .
Appliquons le thorme de Borwein- Preiss avec u = xk , = k et k =
(k )1/3 par exemple. Il existe alors vk et wk tels que :
f (vk ) < f + k , do f (vk ) f quand k + ;
vk xk < k = (k )1/3 , do vk xk 0 quand k + ;
2k
sk = G f (vk ) <
= 2(k )2/3 , do G f (vk ) 0 quand k
k
+.
Par ailleurs, appliquant la condition (C2) du corollaire 2.8 de la page 39,
gardant lesprit que sk = p(vk ) = G f (vk ),
lim inf
xvk
www.biblio-scientifique.net
42
CHAPITRE 2.
(Px )
1
2
x c2 )
Comme est la norme hilbertienne, on a bien fait de "lisser" la fonctionobjectif en prenant f (x) := 21 x c2 . La fonction f se trouve tre C et
convexe sur H (quadratique convexe, de fait).
Il y a deux objets mathmatiques importants associs la rsolution de (Px ),
savoir :
la fonction-distance d S (ou ses associs)
dS : H R
x
d S (x) := inf x c .
c S
www.biblio-scientifique.net
2.
u, v H, |d S (u) d S (v)| u v .
43
(2.15)
(2.16)
1
x2 d S2 (x)
2
(2.17)
1
1 2
d S (x) = x2 S (x)
2
2
(2.18)
la fonction-distance d S ;
sa version "adoucie" 21 d S2 (car, lever au carr adoucit les murs...) ;
la fonction convexe S .
La fonction distance d S ne fait pas la diffrence entre la frontire Fr S de S
et son intrieur S :
www.biblio-scientifique.net
44
CHAPITRE 2.
www.biblio-scientifique.net
2.
45
2
En clair :
x
/ S | d S est differentiable en x = x
/ S | d S2 est differentiable en x ,
(d S differentiable sur S c ) (d S2 differentiable sur H )
ce qui a e te signale au point precedent]
[grce
c S, x x, c x
(iii) x S et
1
c x2 ;
2
t ]0, 1] , x PS [x + t (x x)] .
(2.20)
(2.21)
www.biblio-scientifique.net
46
CHAPITRE 2.
On voit sur cette figure que x x, c x peut tre positif, une chose quon
na pas lorsque S est convexe.
Dmonstration du thorme : On allgera lcriture en ne rptant pas
"pour tout c S" dans les assertions.
(i) signifie :
x S et x x x c pour tout c S
x S et x x2 x c2
x S et x x2 x x2 + x c2 + 2 x x, x c
[utilisant le fait que x c2 = x x + x c2 ]
x S et 2 x x, c x c x2 ,
(2.22)
qui nest autre que (ii).
Par ailleurs, (2.22) est quivalent :
1
c x2 pour tout t ]0, 1]
t
x S et 2 [x + t (x x)] x, c x c x2 pour tout t ]0, 1] .
x S et 2 x x, c x
Grce ce qui a t dmontr plus haut, ceci est prcisment la caractrisation du fait que x PS [x + t (x x)].
Remarques :
videmment, PS (x) = {x} lorsque x S.
Si x
/ S et que x PS (x), ds lors que t ]0, 1], x se trouve tre lunique
projet sur S de xt := x +t (x x). Cela se "voit" sur la figure de cette meme
page, et se dmontre facilement. Posons := d S (x). La boule B(x, ) ne
la
peut rencontrer S qu sa frontire (y S et x y < contredit
dfinition de = d S (x)). Donc B(x, ) S = Sphre(x, ) S. Par
suite, B(xt , xt x) ne rencontre S quen x, cest--dire
PS (xt ) = {x} .
www.biblio-scientifique.net
2.
47
La caractrisation (2.20) est une sorte dinquation variationnelle qui rappelle celle caractrisant le projet x de x sur S lorsque S est convexe,
savoir :
x S et x x, c x 0 pour tout c S.
(2.23)
Une question qui vient lesprit naturellement ici est : Comment se fait-il
que le terme quadratique droite de lingalit (2.20) ait disparu quand S
est convexe ? Voici la rponse. Partons de lingalit dans (2.20). Pour un
choix de c S (convexe), considrons c := x + (c x) avec ]0, 1[.
Puisque S est convexe, c est encore dans S ; il vrifie donc lingalit
de (2.20) :
x x, [x (c x)] x
soit
x x, c x
1
[x + (c x)] x2 ,
2
c x2 .
2
x, x H
y PS (x), y PS (x )
y y , x x 0 .
(2.24)
www.biblio-scientifique.net
48
CHAPITRE 2.
2
x y, y y 21 y y (choix particulier de c = y ),
2
x y , y y 21 y y (choix particulier de c = y).
Par suite, en additionnant les deux ingalits au-dessus :
2
x x + y y, y y y y ,
soit
x x , y y 0.
d S (x) =
xx
.
x x
(2.25)
Dmonstration.
(i) Soit x PS (x) (if any !). Considrons t ]0, 1] et formons le quotient
diffrentiel
d S [x + t (x x)] d S (x)
.
qt :=
t
La proprit de 1-Lipschitz sur H de d S fait que :
d S [x + t (x x)] = d S [x + t (x x)] d S (x) (1 t) x x .
Puisque d S (x) = x x,
qt x x .
Comme d S a t suppose Gteaux-diffrentiable en x, un passage la
limite (t 0) dans lingalit au-dessus conduit
www.biblio-scientifique.net
2.
d S (x), x x x x .
49
(2.26)
xx
= 1.
x x
xx
xx
=
.
x x
d S (x)
Le vecteur (unitaire) d S (x) ne peut pointer dans deux directions diffrentes, il ny a donc quun x dans PS (x) (lorsquil y en a).
(ii) La dmonstration de la rciproque est laisse sous forme dexercice.
Remarques.
La Proposition 2.12 ne dit pas quil y a une solution au problme (Px )...
Le test dexistence est le suivant (en prsence de diffrentiabilit de d S en x,
bien sr) :
/ S, (Px )
Si x := x d S (x)d S (x) S, (Px ) a pour solution x ; si x
na pas de solution.
La diffrentiabilit des fonctions cousines 21 d S2 et S est, bien sr, lie
/ S et que PS (x) = {x}, il en est
celle de d S . Si d S est diffrentiable en x
de mme de 21 d S2 et S avec
1
2 (x) = x x,
d
2 S
S (x) = x.
La fonction S apparat donc comme une "fonction primitive de la projection sur S" (for whatever it means).
www.biblio-scientifique.net
50
CHAPITRE 2.
Thorme 2.13 On a :
(i) {x H | PS (x) = } est dense dans H
(ii) {x H , PS (x) est un singleton} est dense dans H .
Dmonstration.
(i) Soit z
/ S et > 0 ; il sagit de trouver z tel que : z z et PS (z ) =
.
Fixons > 0 tel que [d S (z) + 3] < ... choix bizarre, mais nous verrons
pourquoi il a t fait.
Prenons c0 S tel que
c0 z2 < d S2 (z) +
(2.27)
et
c0 z < d S (z) + 1.
(cest tout fait possible, il suffit de penser la dfinition de d S (z)).
Nous allons appliquer le thorme de Borwein- Preiss la function
f : H R {+} que voici :
www.biblio-scientifique.net
2.
51
1
z v + (w v)
, c v c v2 .
1+
2
En dfinissant z := v +
que
(2.29)
z v + (w v)
, on sassure (daprs (2.29))
1+
z v, c v
1
c v2 ,
2
www.biblio-scientifique.net
52
CHAPITRE 2.
=
1 1 + (v z) + 1 + (w v)
v z + w v
v c0 + c0 z + w v
1 + (d S (z) + 1) + 1 (cf. (2.27) et ())
3 + d S (z) .
En somme, on a trouv z tel que : z z et v PS (z ).
/ S, on sait que pour z t = z + t (z
(ii) partir du moment o PS (z) = , z
z), t ]0, 1], z PS (z), PS (z t ) = {z} (cf. la 1re remarque dans la page
46). On peut donc prendre z t aussi proche de z que voulu. Le rsultat de
densit annonc sensuit.
Quand on projette x
/ S sur S, quels points de Fr S touche-t-on ? En fait,
"presque tous" : "presque tout point de Fr S est le projet de quelquun".
En termes mathmatiques, cela donne le thorme suivant.
Thorme 2.14 On a :
PS (S c ) := {x PS (x), x
/ S} est une partie dense de Fr S.
Dmonstration. Soit x f Fr S et > 0. Le rsultat du thorme
prc
dent nous permet daffirmer quil existe x
/ S tel que : x f x 2
et PS (x) = . Ainsi, tout point x de PS (x) est dans {x PS (x), x
/ S}
bien sr, et
x x f x x + x x f 2 x x f .
Le rsultat de densit annonc est ainsi dmontr.
www.biblio-scientifique.net
3. PROLONGEMENTS POSSIBLES
53
3 Prolongements possibles
Les principes variationnels par perturbations de la fonction originelle
minimiser ne sarrtent pas ceux exposs aux 1 et 2. Un exemple
additionnel est le principe variationnel de C. Stegall (1978) ; son nonc
tant simple, donnons-le.
Soit S H ferm born (non vide), soit f : H R {+}, finie en
au moins un point de S, semicontinue infrieurement sur H , et borne
infrieurement sur S. Alors, pour un ensemble dense de points a de H , le
problme de la minimisation de (la fonction perturbe) x
f (x) a, x
sur S a une et une seule solution.
Nous ne faisons que signaler lexistence dun autre principe variationnel
(du mme acabit) dans des espaces de Banach (dun certain type), cest
celui de Deville, Godefroy et Zizler [DGZ]. Traiter de tous ces principes
variationnels occuperait presque tout le Cours... Ce nest pas notre objectif :
les principes variationnels de ce chapitre sont des outils dont chacun pourra
se servir dans le contexte dapplication qui est le sien.
Annexe
www.biblio-scientifique.net
54
CHAPITRE 2.
f (x + d) f (x)
a une limite lorsque 0,
et que cette limite (qui dpend de d) est une forme linaire continue de d :
d E,
f (x + d) f (x)
DG f (x), d.
f (x + d) f (x)
= D H f (x), d uniformement pour d S,
et ce pour tout S B .
(2.30)
Cette manire dexprimer les choses permet une comparaison directe avec
la F-diffrentiabilit et la G-diffrentiabilit.
La F-diffrentiabilit de f en x scrit, de manire quivalente, comme
dans la dfinition (2.30), en prenant pour B la collection des ferms borns de E.
La G-diffrentiabilit de f en x scrit, de manire quivalente, comme
en (2.30), en prenant pour B la collection des ensembles finis de points
de E.
La comparaison entre les trois types de diffrentiabilit est maintenant
claire :
(F-differentiabilite) (H-differentiabilite) (G-differentiabilite).
La H-diffrentiabilit (et donc la F-diffrentiabilit) de f en x implique la
continuit de f en x ; ce nest pas le cas pour la G-diffrentiabilit. La semicontinuit infrieure nest pas acquise non plus avec la G-diffrentiabilit ;
www.biblio-scientifique.net
ANNEXE
55
ce qui fait quon a des noncs de thormes avec des hypothses comme
"soit f s.c.i. et G-diffrentiable sur E", laquelle est assure avec "soit f
F-diffrentiable sur E".
Si E est de dimension finie
(H-differentiabilite) (F-differentiabilite).
Si f vrifie une condition de Lipschitz dans un voisinage de x, alors
(G-differentiabilite en x) (H-differentiabilite en x).
En pratique, dans un contexte de problmes variationnels :
la F-diffrentiabilit est une requte exigente, souvent inaccessible... et
pourtant beaucoup de rsultats du Calcul diffrentiel reposent sur cette
hypothse.
la G-diffrentiabilit est plus accessible, et souvent on commence par
l, mme pour accder la F-diffrentiabilit. Malheureusement, la Gdiffrentiabilit ne permet pas les rgles de calcul la chane ("chain
rules").
La dimension infinie pose des obstacles inattendus ; ainsi, mme si f : O
E R est Lipschitz et convexe dans un voisinage ouvert convexe O de x,
il peut y avoir un "gros trou" entre les diffrentiabilits G-H et F de f en x.
Fonctions continment diffrentiables (de classe C 1 ). L, il ny a pas de
distinguo faire (ouf !). Si O est un ouvert de E, avoir f X-diffrentiable
sur O et D X f : O E continue sur O revient au mme avec X =
G, H ou F.
Exercices
Exercice 1 Soit f : Rn R diffrentiable, telle que f (x)/ x +
quand x + (cest la 1-coercivit de f sur Rn ). Montrer qualors
f (x) | x Rn = Rn .
Hint : Pour v Rn , considrer gv (x) := f (x) v, x.
Exercice 2 Soit f : E R continue et Gteaux-diffrentiable sur E
(espace de Banach). On suppose quil existe r > 0 et c tels que :
www.biblio-scientifique.net
56
CHAPITRE 2.
x E, f (x) r x c.
Montrer que DG f (E) := {DG f (x) | x E} est dense dans r B (B est la
boule unit de X pour la norme ).
Hint : tant donn x r B , considrer la fonction perturbe
g : x E
g(x) := f (x) x , x.
Appliquer g le Corollaire 2.3 de la page 29.
Exercice 3 Soit f : E R de classe C 1 sur E (espace de Banach). On dit
que f vrifie la condition (de compacit) de Palais-Smale lorsque :
(xn ) E, ( f (xn ))n est bornee
il existe une sous-suite de (xn )
.
D f (xn ) 0 dans X
qui converge (pour la topologie forte)
Supposons donc que f vrifie la condition de Palais-Smale et quelle est
borne infrieurement sur E.
Montrer quil existe x E minimisant f sur E.
Hint : Appliquer le thorme dEkeland f , avec =
1
(n N ).
n
www.biblio-scientifique.net
EXERCICES
57
1
y x pour tout y X.
2
f (x)
+ x x
f (x).
1) Montrer quil existe x X tel que f (x) = inf f .
X
1
f (x) inf f pour tout x X.
X
www.biblio-scientifique.net
58
CHAPITRE 2.
quand
k +.
Rfrences
[E1] I. Ekeland. "On the variational principle". J. Math. Anal. Appl. 47
(1974), p. 324353.
[E2] I. Ekeland. "Nonconvex minimization problems". Bull. Amer. Math.
Soc. 1 (1979), p. 443474.
[F] D.G. De Figueiredo. Lectures on the Ekeland Variational Principle with
Applications and Detours. Tata Institute of Fundamental Research, Bombay, 1989.
[BP] J.M. Borwein and D. Preiss. "A smooth variational principle with applications to subdifferentiability and to differentiability of convex functions". Trans. Amer. Math. Soc. 303 (1987), p. 517527.
[L] P.D. Loewen. Optimal Control Via Nonsmooth Analysis. CRM Proceedings & Lecture notes, American Mathematical Society, 1993.
[CLSW] F.H. Clarke, Yu.S. Ledyaev, R.J. Stern and P.R. Wolenski. Nonsmooth Analysis and Control Theory. Graduate texts in mathematics,
Springer Verlag, 1998.
[FHV] M. Fabian, P. Hjek and J. Vanderwerff. "On smooth variational principles in Banach spaces". J. Math. Anal. Appl. 197 (1996), p. 153173.
[St] C. Stegall. "Optimization of functions on certain subsets of Banach
spaces". Math. Ann. 236 (1978), p. 171176.
[DGZ] R. Deville, G. Godefroy and V.E. Zizler. "A smooth variational principle with applications to Hamilton-Jacobi equations in infinite dimensions". J. Funct. Anal. 111 (1993), p. 192212.
[Sc] W. Schirotzek. Nonsmooth Analysis. Universitext, Springer Verlag,
2007.
[BZ] J.M. Borwein and Q.J. Zhu. Techniques of Variational Analysis. CMB
books in mathematics, Springer Verlag, 2005.
Nous signalons les articles dorigine... il vaut mieux souvent revenir aux
sources. Larticle-revue [E2] reste, trente aprs sa publication, une trs
bonne rfrence pour lnonc et quelques-unes des premires applications
du principe variationnel dEkeland. Notre 2, sur le principe variationnel
de Borwein-Preiss est tir de ([L], Chap. 3).
www.biblio-scientifique.net
Chapitre 3
La projection sur un convexe ferm dun espace de Hilbert est une opration
bien tudie par le pass, au niveau du M1 notamment. Nous y revenons
cependant pour, dune part, y apporter des complments (aussi bien thoriques que dapplications) et, dautre part, tudier le cas particulier important
des cnes convexes ferms. La dcomposition de Moreau qui en rsultera
est un outil important utile dans des domaines aussi divers que la Statistique,
lOptimisation matricielle ou la Mcanique.
Points dappui / Prrequis :
Techniques de calcul dans les espaces de Hilbert
Proprits de base des convexes ferms dun espace de Hilbert.
Le contexte gnral dtude dans ce chapitreest le suivant :
(H, , ) est un espace de Hilbert ; = , est la norme (dite hilbertienne) drive de , .
C tant un convexe ferm (non vide) de H , PC (x) = { pC (x)} pour tout x
H (suivant les notations du Chapitre 2) ; lapplication pC : H H est
loprateur (ou lapplication) de projection sur C.
59
www.biblio-scientifique.net
60
CHAPITRE 3.
(ii) Im pV = V , Ker pV =
(iii) V (=:
V ,
H=V
V .
V.
x H, pV (x) = x pV (x).
(v) Dcomposition de tout x H suivant V et V :
(3.1)
1.2 Caractrisation de pV
Nous avons :
(x = pV (x))
x V et
x x V
.
(3.2)
www.biblio-scientifique.net
1. PROJECTION SUR UN SOUS-ESPACE VECTORIEL FERM
61
(x = pC (x))
pour tout c C
x x V
Les trois figures ci-dessous permettent de garder en tte ces rsultats.
Le calcul effectif de pV (x) pour un x donn nest pas toujours chose facile ;
retenons de ce qui prcde que dterminer pV (x) et dterminer pV (x)
sont deux problmes quivalents : quand on a lune on a lautre ( pV (x) =
x pV (x), pV (x) = x pV (x)).
(3.3)
sur H1 admet des solutions ; elles sont caractrises comme tant les solutions
de lquation
(3.4)
(A A) x = A y,
appele "quation normale du problme des moindres carrs (P )". En particulier, si A A ( L (H1 )) est inversible, alors (P ) a pour unique solution
x = (A A)1 A y.
A
H2 H1
A A : H1 H1
(A A)1
H1
Schemas-resumes
x A x V = Im A
A x est la projection
orthogonale de y sur Im A
www.biblio-scientifique.net
62
CHAPITRE 3.
(z
H2 verifiant (A A ) z = y) (x = A z)
des z H2 differents verifiant (A A ) z = y conduisent
au meme x .
www.biblio-scientifique.net
2. PROJECTION SUR UN CONVEXE FERM
63
(3.5)
(3.6)
www.biblio-scientifique.net
64
CHAPITRE 3.
x C c , dC (x) =
x pC (x)
.
x pC (x)
(3.8)
x H, C (x) = pC (x).
(3.9)
www.biblio-scientifique.net
2. PROJECTION SUR UN CONVEXE FERM
65
(3.10)
(3.11)
Ci ,
i=1
avec :
i, Ci "plutt simple" (lorsquil sagira de projeter sur Ci , par exemple) ;
N est grand.
Deux questions essentielles se posent :
Trouver un point de C, en utilisant les oprations de projection sur les Ci .
Dterminer pC (x), en utilisant les projections sur les Ci .
Le prototype de rsultat rpondant ces questions est la mthode des projections alternes de J. Von Neumann.
Thorme 3.3 (J. VON NEUMANN)
Soit V1 et V2 deux sous-espaces vectoriels ferms de H . tant donn x H ,
www.biblio-scientifique.net
66
CHAPITRE 3.
x0 = x ;
k 1, x2k1 = pV1 (x2k2 ), x2k = pV2 (x2k1 ).
(3.12)
Curieusement, (i) nest pas due une limitation dexpertise pour les
dmonstrations... H. S. Hundai a construit un contre-exemple en 2004,
www.biblio-scientifique.net
2. PROJECTION SUR UN CONVEXE FERM
67
1 C2 . . . C N , convexe
N
= x = (x1 , . . . , x N ) H | x1 = x2 = . . . = x N , la "diagonale"
de H N .
Alors, de manire vidente,
(x
Ci ) ( (x, x, . . . , x) C ) .
(3.13)
i=1
i=1
Ci .
i=1
www.biblio-scientifique.net
68
CHAPITRE 3.
(3.14)
un convexe ferm", (x K , 0) (x K ).
www.biblio-scientifique.net
3. PROJ. SUR UN CNE CONV. FERM. DC. DE MOREAU
69
Cn est un cne convexe ferm de Rn+1 , ce qui est loin dtre vident
dmontrer directement... Heureusement, il y a une formulation quivalente
de Cn+1 :
Cn+1 := (x0 , . . . , xn ) Rn+1 | [0, ] ,
x0 + 2
xk cos(k) 0 .
k=1
Ainsi,
Cn+1
1
cos()
www.biblio-scientifique.net
70
CHAPITRE 3.
K 2 := x Rn | x1
Alors :
x1 +x2
2
...
K 1 :=
y Rn | k = 1, . . . , n 1,
x1 +...+xn
.
n
yi 0 et
i=1
K 2 :=
y Rn | y1
...
y1 +...+yn
n
yi = 0 ,
i=1
y1 +y2
2
et
yi = 0 .
i=1
K := Sn+ (R) = A Sn (R) | A est semidefinie positive
a pour cne polaire
K = Sn (R) = B Sn (R) | B est semidefinie negative . (3.15)
www.biblio-scientifique.net
3. PROJ. SUR UN CNE CONV. FERM. DC. DE MOREAU
71
grce
au
produit
scalaire
K = L 2K =
f L 2 (X, , ; Rd ) | f (t) K -p.p. .
(3.16)
n
i=1
www.biblio-scientifique.net
72
CHAPITRE 3.
(3.17)
x K , x x K
.
x = p K (x)
et x x,
x
=0
(3.18)
Cette caractrisation (3.18) est trs "visuelle" (ou gomtrique), trs facile
retenir.
La condition de "verrouillage" x x,
x
= 0 est un peu inattendue ici, il
ny a pas dingalit vrifier comme dans linquation variationnelle (3.5)
(de la caractrisation de pC (x), C convexe ferm).
Dmonstration. Rappelons la caractrisation gnrale de x = pC (x) :
y x
0 pour tout y C .
x = pC (x) x C et x x,
Dsignons par x la projection de x sur K . videmment x K . Mais
comme K est un cne, x K pour tout 0. Il vient alors de la caractrisation au-dessus : x x,
x x
0, soit ( 1)x x,
x
0.
www.biblio-scientifique.net
3. PROJ. SUR UN CNE CONV. FERM. DC. DE MOREAU
73
K := (K ) = K .
(3.20)
www.biblio-scientifique.net
74
CHAPITRE 3.
Comme souvent dans les quivalences, il y a une implication qui est plus
importante que lautre, ici cest [(i) (ii)]. En effet, si on a (i), on a rsolu
les deux problmes de projection de x, sur K et sur K . Comment dans le cas
dun sous-espace vectoriel ferm (contexte du 1), quand on a la projection
sur lun (K , resp. K ), on a la projection sur lautre (K , resp. K ) ; du point
de vue pratique, cela peut faire une grande diffrence !
Dmonstration. [(i) (ii)] : On a x1 K , x x1 K et x1 , x x1 = 0,
cest donc que x1 = p K (x) (grce la caractrisation (3.18)). De mme, x2
K , x x2 K = (K ) et x2 , x x2 = 0 ; cest donc que x2 = p K (x).
[(ii) (i)] : Puisque x1 K est la projection de x sur K , x x1 K
et x x1 , x1 = 0 (toujours daprs la caractrisation (3.18) de p K (x)) ;
cest bien le rsultat escompt (x2 := x x1 ).
La dcomposition de Moreau gnralise la dcomposition classique (fondamentale) tablie lorsque K est un sous-espace vectoriel ferm V de H :
x = pV (x) + pV (x), pV (x), pV (x) = 0.
Il y a nanmoins quelques diffrences essentielles :
p K nest pas un application linaire (voir (3.19) pour les proprits quon
peut esprer).
En projetant x sur K et sur K , on ntait pas sr dobtenir des lments
orthogonaux (alors que pour un sous-espace vectoriel V , tout lment de V
est orthogonal tout lment de V ).
La dcomposition de x H en x = x1 + x2 , o x1 K et x2 K , nest
pas unique.
Proposition 3.9 ("optimalit" de la dcomposition de Moreau)
x = x1 + x2 avec x1 K et x2 K . Alors :
Soit H
(3.21)
www.biblio-scientifique.net
3. PROJ. SUR UN CNE CONV. FERM. DC. DE MOREAU
75
+
T
T
A1 = U diag (+
1 , . . . , n )U , A2 = U diag(1 , . . . , n )U ,
www.biblio-scientifique.net
76
CHAPITRE 3.
n
Dcomposition de fonctions de L 2 ( )
n
Soit f L 2 ( ) . En exprimant la dcomposition de Moreau de f suin
vant K = g L 2 ( ) | g = u pour une fonction convexe u et K =
cone (S id ), on obtient ceci :
Il existe une fonction u H 1 ( ) (unique une constante additive prs),
une unique fonction h cone (S id ) telles que
f = u + h, u, h = 0.
(3.22)
Terminons par des rgles de calcul sur les cnes polaires, simples tablir
partir de la dfinition mme de K et du fait que L = (L ) = L lorsque L
est simplement un cne convexe. Si K 1 , K 2 , . . . , K m sont des cnes convexes
ferms de H , on a :
m
m
m
m
Ki
=
Ki ;
Ki
=
K i ;
i=1
i=1
i=1
Ki
=
m
i=1
i=1
K i .
i=1
www.biblio-scientifique.net
4. APPROXIMATION CONIQUE. DUN CONVEXE
77
(3.23)
(3.24)
d R+ (C x).
(3.25)
rn (xn x) d quand n +.
(3.26)
(iii) (tn ) > 0 qui tend vers 0, (dn ) qui tend vers d , tels que
x + tn dn C pour tout n.
(3.27)
www.biblio-scientifique.net
78
CHAPITRE 3.
(iv) On a :
dC (x, d) = lim
t 0+
dC (x + t d)
= 0.
t
(3.28)
La formulation (3.25) de (i) est sans doute la plus parlante : d est dans le cne
convexe ferm engendr par C x, d cone(C x).
Lavantage des formulations (3.26) et (3.27) est quelles sappliquent mme
lorsque C nest pas convexe.
Cest bien dune drive directionnelle quil sagit en (3.28) puisque dC (x) =
0.
Lquivalence entre les quatre formulations est aise dmontrer ; cela est
laiss sous forme dexercice.
Puisquil y a un cne convexe ferm T (C, x) en jeu, apparat naturellement et
invitablement son cne polaire [T (C, x)] =: N (C, x). Ce cne N (C, x),
appel cne normal C en x peut tre dfini, par exemple, de la manire
suivante :
Dfinition 3.11 Une direction H est dite normale C en x C lorsque :
, c x 0 pour tout c C.
videmment, si x int C, T (C, x) = H et N (C, x) = {0}.
(3.29)
www.biblio-scientifique.net
4. APPROXIMATION CONIQUE. DUN CONVEXE
79
x C, ( pC )1 (x)
(3.30)
Lorsque C est "reprsent" dune manire ou dune autre, sous forme dingalits par exemple, des rgles opratoires permettent dexprimer T (C, x)
et N (C, x) laide des donnes de reprsentation. En voici un exemple.
Supposons C reprsent de la faon suivante :
C = x H | g1 (x) 0, . . . , g p (x) 0 ,
o les gi : H R sont des fonctions convexes continment diffrentiables. On ajoute lhypothse, dite de Slater, que voici :
< 0 pour tout i = 1, . . . , p.
x C tel que gi (x)
= 0} (ensemble des indices
Prenons x C. Notation : I (x)
= {i | gi (x)
Alors on a :
des contraintes gi "actives" ou "satures" en x).
T (C, x)
= d H | gi (x),
d 0 pour tout i I (x)
,
i gi (x)
| i 0 pour tout i I (x)
.
N (C, x)
=
i I (x)
www.biblio-scientifique.net
80
CHAPITRE 3.
Un format un peu plus gnral que ce qui est exprim en (ii) est le suivant :
Soit A : H H un oprateur (pas forcment un gradient) ; trouver
alors x C tel que A(x),
x x
0 pour tout x C. Ce problme
est rpertori sous lappellation dinquation variationnelle.
Terminons par une expression de la drive directionnelle de loprateur de
projection pC .
www.biblio-scientifique.net
4. APPROXIMATION CONIQUE. DUN CONVEXE
81
t 0+
pC (x + t d) x
= pC (x,
d) = pT (C,x)
(d).
t
(3.31)
Cette proprit, trs expressive gomtriquement (faire un dessin !), est trs
utilise en Mcanique du contact (cf. page 79). Elle nest pas trs facile
dmontrer... Le tenter quand mme ; sinon voir ([AHU], Exercice 94).
Une bizarrerie signaler : si x C, mme si on est en dimension finie, il
nest pas assur que pC ait une drive directionnelle en x !
Exercices
Exercice 1 (Variations sur les projections sur deux sous-espaces vectoriels ferms)
Soit H un espace de Hilbert et P une application linaire continue de H dans
lui-mme.
1) Montrer que P est idempotent et auto-adjoint (i.e. P 2 = P et P T = P)
si, et seulement si, P = pV pour un certain sous-espace vectoriel ferm
de H (on dira que "P est une projection orthogonale").
2) Soit prsent deux sous-espaces vectoriels ferms M et N de H . laide
du rsultat de la premire question, montrer :
a) (PM PN est une projection orthogonale ) (PM et PN commutent ).
Dans ce cas, PM PN = PMN .
b) (PM + PN est une projection orthogonale ) (PM PN = 0 ).
Dans ce cas, PM + PN = PM+N .
c) Si PM et PN commutent, alors PM + PN PM PN est une projection
orthogonale.
d) Si PM et PN commutent, alors PM + PN 2 PM PN est une
projection orthogonale.
Exercice 2 (Calcul dun cne polaire dans H 1 (]0, 1[))
On munit X = H 1 (]0, 1[) du produit scalaire
1
f, g = f (0) g(0) +
f (x) g(x) dx
0
www.biblio-scientifique.net
82
CHAPITRE 3.
pour lequel X est un espace de Hilbert, dont la norme associe est quivalente la norme usuelle de H 1 (]0, 1[). On considre le cne convexe K des
fonctions de H 1 (]0, 1[) qui sont positives, et on se propose de calculer son
cne polaire K . Soit g K et 0 x1 x2 1.
1) Utilisant la fonction
si x x1
1
xx1
f (x) = 1 x2 x1 si x1 x x2 ,
0
si x2 x 1
montrer que g(0) g (x) p.p.
2) Utilisant la fonction
x x1
f (x) =
x
+ x2
si x x1
2
si x1 x x1 +x
2
,
x1 +x2
si 2 x x2
si x2 x 1
x x1
f (x) =
x
+ x2
si x x1
2
si x1 x x1 +x
2
,
x1 +x2
si 2 x x2
si x2 x 1
K g H 1 (]0, 1[) | g convexe et g(0) g (x) 0 p.p. .
4) On considre g H 1 (]0, 1[) convexe telle que g(0) g (x) 0 p.p.
On prolonge g en une fonction de L 1loc (R) par 0 sur ]1, +[ et par g(0)
sur ], 0[, on considre pour h > 0 la rgularise par convolution (g )h
et on pose :
x
gh (x) = g(0) +
(g )h (t) dt.
Montrer que g(0) (g )h (x) p.p. sur ]0, 1[, que gh est convexe. Calculer f, gh pour f K . En dduire que
K = g H 1 (]0, 1[) | g convexe et g(0) g (x) 0 p.p. .
www.biblio-scientifique.net
EXERCICES
83
i gi (x)
=0;
i=1
(b) (1 , 2 , . . . , m )
Rm
+
et
i gi (x)
= 0.
i=1
i gi (x)
=0;
i=1
. . . , gm (x))
+ (1 , 2 , . . . , m ) = (g1 (x),
. . . , gm (x))
;
(2) (g1 (x),
+
. . . , gm (x))
+ (1 , 2 , . . . , m ) = (1 , 2 , . . . , m ).
(3) (g1 (x),
Ici, [u]+ (resp. [u] ) dsigne le vecteur partie positive (resp. le vecteur partie
ngative) de u Rm (attention aux signes !).
Exercice 4 (Autour des cnes convexes ferms et de leurs polaires)
Soit (H, , ) un espace de Hilbert o , dsigne le produit scalaire. Soit K
un cne convexe ferm de H , on note K son cne polaire.
Pour x K , on note N (K , x) le cne normal K en x.
1) Soit x K . Montrer
$
%
(y N (K , x)) y K et y, x = 0 .
(3.32)
www.biblio-scientifique.net
84
CHAPITRE 3.
(3.33)
Rfrences
[BZ] J.M. Borwein and Q.J. Zhu. Techniques of Variational Analysis. CMS
books in mathematics, Springer Verlag, 2005.
[D] F. Deutsch. Best Approximation in Inner Product Spaces. CMS books in
mathematics, Springer Verlag, 2001.
[HUM] J.-B. Hiriart-Urruty and J. Malick. "A fresh variational look at the
positive semidefinite matrices world". paratre dans J. of Optimization
Theory and Applications.
[HUS] J.-B. Hiriart-Urruty and A. Seeger. "A variational approach to copositive matrices". SIAM Review 52, 4 (2010), p. 593629.
[F] M. Fuentes. Analyse et optimisation de problmes sous contraintes dautocorrlation. Ph. D Thesis, Paul Sabatier university, Toulouse, 2007.
[CLR] G. Carlier and T. Lachand-Robert. "Representation of the polar cone
of convex functions and applications". J. of Convex Analysis 15 3 (2008),
p. 535546.
[AHU] D. Az et J.-B. Hiriart-Urruty. Analyse variationnelle et optimisation.
Cpadus ditions, Toulouse, 2010.
www.biblio-scientifique.net
Chapitre 4
Dans ce chapitre, nous prsentons lAnalyse convexe sous sa forme opratoire, cest--dire limite aux dfinitions, techniques et outils essentiels,
destins servir dans des contextes qui, eux, nont rien de convexe. ct de
son rle formateur, lAnalyse convexe a aussi celui dexplication de phnomnes intervenant dans des problmes variationnels. Ajoutons quune certaine lgance mathmatique sen dgage, ce qui nest pas pour dplaire aux
tudiants-lecteurs.
Le domaine est bien couvert par de nombreux excellents livres ([A], [ET],
[Z], ...) ; nous ne fournirons donc que quelques dmonstrations, celles qui
illustrent des tours de main spcifiques au sujet.
Notre travail ici a t bien prpar par les gnralits du Chapitre 1 et tout le
Chapitre 3.
85
www.biblio-scientifique.net
86
Contexte gnral
(E, ) est un espace de Banach, E son dual topologique. Les lments
de E sont nots x , mais aussi p ou s ( p car ils peuvent correspondre
des prix ou des pentes dans certains contextes dapplications, s pour
slope (= pente) en anglais). Rappelons (cf. Chapitre 1) que : dsigne
la norme (sur E ) duale de ; le dual topologique de E muni de la topologie (E , E) est E.
Pour y aller progressivement, un modle garder en tte est celui dun espace
de Hilbert (H, , ).
Lorsque nous considrons une fonction f : E R {+}, elle ne sera
pas identiquement gale + et il existera une fonction affine continue la
minorant, cest--dire : pour un certain s0 E et un certain r0 R,
f (x) s0 , x r0 pour tout x E.
(4.1)
(4.2)
lpigraphe strict de f ,
epis f := {(x, r ) E R | f (x) < r }
(4.3)
www.biblio-scientifique.net
1. FONCTIONS CONVEXES SUR E
87
Il est vident que lingalit (4.4) na tre vrifie que pour les x et x
en lesquels f prend des valeurs finies ; bref, la dfinition de la convexit
de f revient la dfinition plus familire de la convexit de f sur le
convexe dom f de E ( f y est valeurs finies).
En fait, tout se passe bien, pour une fonction convexe, sur lintrieur de
son domaine ; les difficults, style "effets de bord", apparaissent aux points
frontires, un peu comme pour la semicontinuit infrieure (cf. page 2 au
Chapitre 1).
En chaussant nos lunettes gomtriques, voici comme se voit la convexit :
( f est convexe) (epi f est une partie convexe (de E R))
(4.5)
(4.6)
( f est convexe) epis f est une partie convexe .
La caractrisation (4.5) sert par exemple dmontrer rapidement que le
supremum dune famille quelconque de fonctions convexes est convexe :
f i : E R {+} convexe
f := sup f i est convexe .
pour tout i I
i I
(4.7)
Il suffit pour cela de se rappeler que epi f =
epi f i et que linterseci I
tion de convexes est convexe. Nous avons utilis le mme procd pour la
semicontinuit infrieure (cf. page 4 du Chapitre 1). Par suite :
f := sup f i
f i : E R {+} convexe
i I
. (4.8)
www.biblio-scientifique.net
88
1.2 Exemples
Fonctions indicatrices. Rappelons que la fonction indicatrice i S de S E
est dfinie par : i S (x) = 0 si x S, + sinon. De manire immdiate :
(i S est convexe) (S est convexe) .
(4.9)
(4.10)
(4.11)
1
A x, x + b, x + c.
2
(4.12)
Alors :
( f est convexe sur H ) (A u, u 0 pour tout u H ) .
Lorsque H = Rn est muni du produit scalaire usuel et repr par la base
canonique, on parle de semidfinie positivit pour la matrice symtrique
reprsentant A.
www.biblio-scientifique.net
1. FONCTIONS CONVEXES SUR E
89
(4.14)
www.biblio-scientifique.net
90
(x(t)) d
f de la forme I : x I (x) :=
T
r
y z2 ;
2
(4.16)
www.biblio-scientifique.net
2.
91
2.2 Inf-convolution
La deuxime est cousine en
g)(x)
u E
inf
x1 , x2 E
x1 +x2 =x
[ f (x1 ) + g(x2 )] .
(4.17)
Lopration dinf-convolution est note de faons diverses dans la littrature : , par exemple. On dit que linf-convolution de f et g est exacte
en x E lorsque la borne infrieure est atteinte dans la dfinition (4.17). Il
existe alors x1 et x2 dans E, de somme x, tels que ( f g)(x) = f (x1 )+g(x2 ).
Voici quelques proprits qui dcoulent immdiatement de la dfinition :
dom( f
epis ( f
g)
g)
www.biblio-scientifique.net
92
Cela induit :
( f et g convexes) ( f g convexe) .
f g = g f (commutativite).
(4.18)
( f g) h = f (g h) (associativite).
f i 0 = f (i 0 , la fonction indicatrice de {0} , est e lement neutre).
La proprit epis ( f g) = epis f + epis g fait que linf-convolution est
parfois appele addition pigraphique.
Examinons deux situations o lopration dinf-convolution apparat, de
manire cache parfois.
En conomie. Soit x Rn reprsentant un total de biens produire. La
production est rpartir entre k units de production, chacune ayant un cot
de production associ f i :
xi biens produits par lunite de production i coute f i (xi ).
Lobjectif est le suivant : produire x, en rpartissant la production dans les
units de production, de sorte que le cot total de production f 1 (x1 ) + . . . +
f k (xk ) soit minimis. Le cot de production optimal ( atteindre) est
inf
x1 +...+xk = x
[ f 1 (x1 ) + . . . + f k (xk )] = ( f 1 f 2 . . .
f k )(x).
www.biblio-scientifique.net
2.
93
p = R I, I .
Quand on met deux rsistances gnralises R1 et R2 en srie, la puissance
totale dissipe est p1 + p2 = R1 I, I + R2 I, I = (R1 + R2 )I, I . Cela
correspond laddition des formes quadratiques p1 et p2 , et donc laddition
matricielle de R1 et R2 .
Supposons prsent quon mette les rsistances gnralises R1 et R2 en
parallle ; quelle serait alors la rsistance gnralise quivalente ?
(4.21)
qui sinterprte comme lgalit des tensions lorsque lon suit soit la branche 1
(avec R1 ), la branche 2 (avec R2 ), soit le dispositif quivalent (avec R). Une
www.biblio-scientifique.net
94
explication dans un contexte plus gnral sera donne plus loin ( 4.3, Infconvolution).
Effets rgularisants de linf-convolution
Comme la convolution (intgrale) usuelle en Analyse, linf-convolution a des
effets rgularisants. Nous en donnons quelques ides.
Soit H un espace de Hilbert, soit f 0 (H ), cest--dire convexe s.c.i. sur H
et finie en un point au moins. Nous indiquons ici deux types de rgularisation
de f , lune avec le noyau r2 2 (r > 0), lautre avec le noyau r (r > 0).
Rgularisation par convolution avec le noyau r2 2 ([M])
La fonction r2 2 a la particularit dtre convexe et de classe C sur H .
Le rsultat de linf-convolution de f avec r2 2 ,
r
2 ,
(4.22)
2
est trs agrable : fr jouit de proprits tout fait intressantes (elle est
par exemple convexe et de classe C 1 sur H ; fr (x) f (x) en tout x H
quand r +). Nous en avons fait un problme (nonc en fin de
chapitre) que nous conseillons au lecteur-tudiant de faire (aprs avoir
tudi ce chapitre).
Le fonction fr sappelle la rgularise (ou approxime) de Moreau-Yosida
de f. Elle apparat, parfois sous forme cache, dans les techniques de rgularisation dans des problmes variationnels (notamment dans le traitement
mathmatique des images), [CP] en fournit des exemples.
Pour x H , lunique lment xr minimisant u f (u) + r2 x u2
dans la dfinition mme de fr (x) se note prox f,r (x). Cette application,
dfinie sur H , appele application proximale, tire son nom du fait que,
lorsque f = i C , prox f,r nest autre que lapplication de projection sur C
(et dailleurs, i C r2 2 = r2 dC2 ). Cette construction est aussi la base
des "mthodes de type proximal" utilises dans lalgorithmique pour la
minimisation de fonctions convexes.
Rgularisation avec le noyau r ([HU1])
Avec ce noyau r , ce sont dautres qualits quon rcupre sur
fr := f
fr := f
r
.
(4.23)
www.biblio-scientifique.net
2.
95
quand on ne sait pas faire avec une fonction gnrale f 0 (E), on commence par faire avec une version rgularise fr de f , et on croise les doigts
pour que tout se passe bien en passant la limite (r +).
Lopration inverse de la convolution consiste en la dconvolution dune fonction convexe par une autre ; une prsentation succincte en est faite en [HU4].
3 La transformation de Legendre-Fenchel
Aprs la transforme de Fourier et la transforme de Laplace que le lecteurtudiant a rencontres lors de sa formation, voici une nouvelle transforme
de fonction, portant le nom de W. Fenchel et A.-M. Legendre (lintervention
de ce deuxime nom sera explique un peu plus loin).
Comme cela a dj t dit en dbut de ce chapitre, ds que nous parlerons
dune fonction f : E R {+}, il sagira dune fonction non identiquement gale + et minore par une fonction affine continue :
f (x) s0 , x r0 pour tout x E,
(4.24)
(4.25)
xE
(4.26)
www.biblio-scientifique.net
96
1
p
|x| p , o p > 1.
1
p
1
q
= 1,
1 q
|s| pour tout s R.
q
1 1
A s, s.
2
www.biblio-scientifique.net
3. LA TRANSFORMATION DE LEGENDRE-FENCHEL
97
Soit K un convexe ferm dun espace de Hilbert (H, , ), soit K son
cne polaire (cf. 3.1 du Chapitre 3). Considrons f = i K . Alors :
f = iK.
Avec deux des exemples au-dessus, on voit apparatre un "jeu de
bascule" :
A A1 et K K . De l penser que ( f ) = f , il y a un pas... que
nous ne pouvons franchir pour linstant.
Ce que vient faire Legendre dans cette affaire
Supposons f : H R diffrentiable sur lespace de Hilbert H . La
dfinition mme de f (s) conduit maximiser x s, x f (x) sur H ,
donc considrer la condition dopimalit f (x) = s. Mettons-nous
dans une situation o cette quation a une et une seule solution, et ce pour
tout s H . La notation x = ( f )1 (s) a alors un sens. La transforme
de Legendre L f de f se trouve tre dfinie par
(L f )(s) = s, ( f )1 (s) f (( f )1 (s)).
(4.29)
1
u(x) p d(x),
J (u) =
p
il se trouve que J sexprime sur E par
1
v(x)q d(x).
J (v) =
q
Plus gnralement, sous des hypothses comme " f (x, ) est convexe s.c.i.
pour tout x", plus des hypothses lgres(mais techniques) sur f , la "fonctionnelle intgrale" u L p J (u) = f (x, u(x))
d(x) a pour transforme de Legendre-Fenchel la fonction v L p f (x, v(x)) d(x)
[la transformation passe travers lintgrale en quelque sorte].
www.biblio-scientifique.net
98
(4.30)
Bien qulmentaire, cette ingalit est source de bien dingalits intressantes de lAnalyse. titre de premier exemple, avec f : x Rn f (x) =
1
2 Ax, x (A dfinie positive), elle conduit :
Pour tout x, y dans Rn , s, x
1
Ax, x + A1 s, s .
2
3.4 La biconjugaison
Ayant dfini f sur E , il est tentant de dfinir ( f ) (note f ) sur E .
Nous ne considrerons que la restriction de f E, en gardant la mme
notation. On peut penser quon va retomber sur nos pieds, cest--dire
avoir f = f , ce qui est sans espoir en gnral puisquune transforme
de Legendre-Fenchel est... toujours convexe. Le rsultat qui suit, donn ici
sans dmonstration, est fondamental dans ce contexte de biconjugaison.
Thorme 4.2 Soit f : E R {+} non identiquement gale + et
minore par une fonction affine continue. Alors :
(i) f f .
(ii) Si f est de plus convexe, alors f (x) = f (x) si et seulement si f est
s.c.i. en x . En particulier :
f = f ( f est convexe et s.c.i. sur E) .
www.biblio-scientifique.net
3. LA TRANSFORMATION DE LEGENDRE-FENCHEL
99
(iii) En rgle gnrale, f est la plus grande fonction convexe s.c.i. minorant f , celle dont lpigraphe est co (epi f ) (laquelle fonction est
note co f ). En clair :
f = co f.
0 (H ).
0 (H )
()
( f + g) = f g
(4.32)
... pas tout fait. Pour que (4.32) soit assure, il faut une condition liant
f et g. Il y a une multitude dexemples de telles conditions, toutes les unes
plus fines (et lgantes) que les autres. Nous nous contentons ici dune
seule : il existe un point en lequel f et g sont finies et f est continue.
Ainsi, quand tout se passe bien, les oprations "+" et " " sont duales lune
de lautre.
(R3 )
inf f i
iI
= sup f i .
iI
(4.33)
www.biblio-scientifique.net
100
sup f i
= co inf f i
iI
iI
vrifiant :
(i) T T = T
et
(ii)
( f g) (T f T g) .
Alors, T est essentiellement la transformation de Legendre-Fenchel, cest-dire : il existe A L (Rn ) inversible, s0 Rn et r0 R tels que
(4.35)
www.biblio-scientifique.net
4. LE SOUS-DIFFRENTIEL DUNE FONCTION
101
Fig. 4.1
www.biblio-scientifique.net
102
(4.36)
Lensemble (i S )(x) est appel cne normal S en x, il est dsormais not N (S, x) (ou N S (x)). La signification gomtrique de lingalit prsente dans (4.36) est claire : s fait un "angle obtus" avec tout
vecteur y x sappuyant sur y S. Quelques petits dessins dans le plan
s.v.p. !
Soit (H, , ) un espace de Hilbert, soit S une partie ferme non vide de H .
Considrons nouveau la fameuse fonction S aborde au Chapitre 2 (cf.
page 43) :
1
x2 d S2 (x) .
S : x H S =
2
La fonction S est toujours convexe et un exercice pas difficile et
intressant consiste dmontrer linclusion gnrale suivante :
co PS (x) S (x) pour tout x H.
(4.37)
Dans le cas plus spcifique o S est convexe, il a t observ (Proposition 3.2 du Chapitre 3) que S est diffrentiable sur H , avec
S (x) = { S (x)} = { p S (x)} pour tout x H.
(4.38)
en (x, f (x)) E R, i.e. (s, 1) Nepi f (x, f (x)) .
(4.39)
www.biblio-scientifique.net
4. LE SOUS-DIFFRENTIEL DUNE FONCTION
103
(4.41)
(4.42)
(4.43)
Mais s nest pas toujours une "direction de descente" ; cela fait une
(grande) diffrence avec le cas des fonctions diffrentiables.
Donnons prsent des proprits plus qualitatives, dont les dmonstrations
sont moins immdiates que celles des proprits nonces au-dessus.
On a :
f (x) est une partie convexe (E , E)-fermee (de E ).
(4.44)
(4.47)
www.biblio-scientifique.net
104
(4.48)
www.biblio-scientifique.net
4. LE SOUS-DIFFRENTIEL DUNE FONCTION
105
(4.51)
cest--dire :
> 0, > 0 tel que
x verifiant x x0 , s f (x), on ait
s f (x0 ) A(x x0 ) x x0 .
Dailleurs, A se trouve tre alors symtrique semidfinie positive. Le
rsultat suivant, d F. Mignot (1976), prcise ce que nous annoncions :
La multiapplication f est differentiable
presque partout.
(4.52)
(S1 )
(4.53)
www.biblio-scientifique.net
106
... pas tout fait. Pour assurer (4.53), il faut une condition liant f et g. Nous
donnons ici un exemple de telle condition : il existe un point x en lequel f
et g sont finies et f est continue.
Attention (pige dans lequel pourrait tomber un lecteur-tudiant) ! Ce nest
pas en ce point x que la rgle de calcul (4.53) est (seulement) valable mais
bien en tout point x (o f et g sont toutes les deux finies, car ailleurs la
formule (4.53) est sans intrt).
Ainsi, si f 0 (E) est finie et continue en un point du convexe ferm C
de E,
( f + i C )(x) = f (x) + (i C )(x)
(4.54)
= f (x) + N (C, x) en tout point x C dom f.
Post-composition par une application linaire continue
Considrons la situation suivante :
Alors :
(S2 )
( f A)(x) = A ( f (Ax))
(4.55)
... pas tout fait. Pour assurer (4.55), il faut une condition liant f et A. Il y en
a une multitude, en voici une : il existe un point y Im A en lequel f est finie
et continue. Moyennant quoi la formule (4.55) est valide pour tout x E.
La formule (4.55) tait attendue car cest celle connue dans le calcul diffrentiel usuel. En voici deux autres, plus spcifiques au contexte dans lequel
nous voluons dans ce chapitre.
Inf-convolution
Soit x E. On suppose que linf-convolution de f et g est exacte en x,
cest--dire quil existe x1 et x2 dans E, de somme x, tels que ( f g)(x) =
f (x1 ) + g(x2 ). Alors,
(S3 )
( f
g)(x)
= f (x1 ) g(x2 ).
(4.56)
g)(x)
(f
g) (s)
+(f
g)(x)
s, x = 0.
(4.57)
www.biblio-scientifique.net
4. LE SOUS-DIFFRENTIEL DUNE FONCTION
107
(4.58)
Chacune des deux expressions entre crochets est 0 (cest lingalit (4.30)
de Fenchel) ; donc lgalit de (4.58) ne peut se produire que si, et seulement
si, on a simultanment
f (s) + f (x1 ) s, x1 = 0
et g (s) + g(x2 ) s, x2 = 0.
Et, faisant appel nouveau la caractrisation (4.39), ce qui est au-dessus
dit exactement que s f (x1 ) et s g(x2 ).
Revenons rapidement sur le deuxime exemple de la page 93 (rsistances gnralises mises en parallle). La "relation loptimum" (4.21) nest autre que
p (I ) = p ( I1 ) = p ( I2 ),
illustration de la rgle (S3 ).
Une autre consquence de la rgle (S3 ) est que si g est (convexe et) diffrentiable, cest--dire si g(x2 ) = {Dg(x2 )}, alors la convole de f (convexe)
avec g se trouve tre (convexe et) diffrentiable. Cest justement cet effet
rgularisant par convolution avec la fonction (convexe) diffrentiable r2 2
quon utilise dans lapproximation-rgularisation de Moreau-Yosida (voir
Problme en fin de chapitre).
Passage au supremum
Pouvoir exprimer (sup f i )(x) en fonction de f i (x) est un problme difficile,
iI
(4.59)
www.biblio-scientifique.net
108
(4.60)
Avoir juste modifi la dfinition de f (x) par une perturbation par > 0 a
eu un effet "robustifiant" ; f (x) est par exemple une notion plus globale
que f (x) (il suffit de connatre f 0 (E) dans un voisinage de x pour
accder f (x), alors que ce nest pas le cas pour f (x)).
Une illustration est propose en exercice (des conditions doptimalit globale
dans un problme doptimisation non convexe).
Dans un contexte algorithmique, ce quoi on a accs aprs calculs (via une
bote noire) en xk est lvaluation de f en xk et un sous-gradient ou k -sousgradient de f en xk . Aprs, il faut faire avec...
www.biblio-scientifique.net
5. UN EXEMPLE DUTILISATION DU SOUS-DIFFRENTIEL :
109
f (x)
N (C, x)
= .
(4.61)
(4.62)
Exercices
Exercice 1 (Fonctions de valeurs propres)
x 0
1) Soit M(x) =
, x R. On pose
0 x
f (x) := la plus grande valeur propre de M(x).
(4.63)
www.biblio-scientifique.net
110
Exercice 2 Soit (H, , ) un espace de Hilbert, soit S une partie ferme non
vide de H , soit S : H R la fonction convexe continue sur H dfinie
par S (x) = 21 x2 d S2 (x) .
Calculer la transforme de Legendre-Fenchel S de S .
Exercice 3 Soit H = Sn (R) structur en espace euclidien grce au produit
scalaire
U, V ! := tr(U V ). Soit K le cne convexe ferm des matrices
de Sn (R) qui sont semidfinies positives.
a) Rappeler ce quest le cne polaire K de K .
b) Soit A une matrice semidfinie positive (A K ). Montrer
N K (A) = {M semidefinie negative | M A = 0}
= {M semidefinie negative | Im A Ker M}.
(4.64)
(4.65)
(4.66)
www.biblio-scientifique.net
EXERCICES
111
o
:= { d E | d, y x
pour tout y C }
N (C, x)
(Attention ! N (C, x)
nest plus un cne ; cest un "agrandissement
par viscosit" du cne normal N (C, x)).
(i) x x0 ;
(ii) s s0 .
Mthodologie prconise :
Appliquer le principe variationnel dEkeland la fonction g(x) :=
f (x) s0 , x avec des seuils appropris (justifier lapplicabilit de ce
principe dans le contexte prsent).
Appliquer ensuite la rgle de calcul du sous-diffrentiel de la somme
de fonctions convexes une somme ad hoc (justifier lapplicabilit de
cette rgle).
3) Dduire de ce qui prcde le rsultat dapproximation-densit suivant :
Pour tout x dom f , il existe une suite (xn ) de dom f telle que
f (xn )
= pour tout n,
xn x quand n +.
(4.67)
www.biblio-scientifique.net
112
(4.69)
(4.70)
c) En crivant les conditions doptimalit pour le problme de minimisation dfinissant fr (x) dans (4.68), montrer que
1
f est une multiapplication surjective de H dans H ;
r
1
1
x H, I + f
(x) = xr
(4.71)
r
I+
www.biblio-scientifique.net
EXERCICES
113
(4.73)
xH
(4.74)
www.biblio-scientifique.net
114
8) Un algorithme de minimisation de f
On suppose que [ f r ] est faiblement compact pour tout r R.
a) Montrer que f est borne infrieurement sur H et quil existe x H
tel que f (x)
= inf f (x).
xH
On pose S := x H f (x) = inf f (x) .
xH
1
1
1
2 + 2 = 2 .
2
2
2
(4.75)
1
2 .
2
(4.76)
www.biblio-scientifique.net
EXERCICES
115
Montrer quil existe 0 (H ), unique la conjugaison prs (cest-dire, si ce nest pas , cest ), telle que
g =
1
1
2 et h = 2 .
2
2
(4.77)
Indications.
Pour (4.75), on utilisera les conditions doptimalit caractrisant la solution du problme doptimisation dfinissant ( 21 2 )(x), puis celui
dfinissant ( 21 2 )(x).
Pour (4.77), on considrera , la "dconvole de g par 21 2 ",
i.e., (x) := sup g(x + u) 21 u2 .
uH
= f g (0).
(4.78)
(4.79)
(4.80)
www.biblio-scientifique.net
116
Rfrences
[A] D. Az. lments danalyse convexe. ditions Ellipses, Paris, 1997.
[ET] I. Ekeland and R. Temam. Convex analysis and variational problems.
Reprinted by SIAM Publications, Classics in, Applied Mathematics,
28, 1999.
[HU1] J.-B. Hiriart-Urruty. "Lipschitz r-continuity of the approximate subdifferential of a convex function". Math. Scan. 47 (1980), p. 123134.
[HUL] J.-B. Hiriart-Urruty and C. Lemarchal. Convex analysis and minimization algorithms. Grundlehren der mathematischen Wissenschaften,
Vol. 305 and 306, Springer Verlag, Berlin Heidelberg, 1993. Second
printing in 1996.
[HU2] J.-B. Hiriart-Urruty and Ph. Plazanet. "Moreaus decomposition revisited". Annales de lInstitut Henri Poincar : Analyse non linaire,
supplment au Vol. 6 (1989), p. 325338.
[HU3] J.-B. Hiriart-Urruty. "From convex optimization to nonconvex optimization. Part I : Necessary and sufficient conditions for global optimality". Nonsmooth optimization and related topics, Ettore Majorana
International Science Series, 43 (1989), Plenum Press, p. 219239.
[HU4] J.-B. Hiriart-Urruty. "The deconvolution operation in convex analysis : an introduction". Cybernetics and systems analysis, 4 (1994), p.
97104.
[R] R.T. Rockafellar. Convex Analysis. Princeton University Press, 1970.
[Z] C. Zalinescu. Convex Analysis in General Vector Spaces. World Scientific, Singapore, 2002.
[M] J.-J. Moreau. "Proximit et dualit dans un espace hilbertien". Bull. Soc.
Math. France, 93 (1965), p. 273299.
[CP] P. L. Combettes and J.-C. Pesquet. "Proximal thresholding algorithm
for minimization over orthonormal bases". SIAM J. Optimization Vol.
18, 4 (2007), p. 13511376.
[AM] S. Artstein-Avidan and V. Milman. "The concept of duality in convex
analysis, and the characterization of the Legendre transform". Annals
of Mathematics, 169 (2009), p. 661674.
www.biblio-scientifique.net
Chapitre 5
117
www.biblio-scientifique.net
118
CHAPITRE 5
Lespace dual E est muni dune topologie telle que le couplage (E, E ) est
bien en place pour faire oprer la transformation de Legendre-Fenchel. En
particulier, la biconjugue f (= ( f ) ) oprera sur E (et non sur E ).
www.biblio-scientifique.net
1. MODLE 1 : LA RELAXATION CONVEXE
119
Fig. 5.1
Le troisime exemple dans la Figure 5.1 montre quon peut avoir (co f ) (x) <
f (x) pour tout x E. Historiquement, on peut penser que J.W. Gibbs (18391903) fut le premier "convexifieur de fonctions" (des nergies en Thermodynamique dans son cas) ; Gibbs tait physicien, chimiste, mathmaticien... un
"phnomne" quoi.
Lopration de convexification ferme (ou convexification s.c.i.) f co f
est un opration globale, dans le sens quelle requiert a priori la connaissance de f sur tout E. En particulier, le comportement de f " linfini", i.e.
de f (x) quand x +, est de la premire importance ; ceci est une des
sources de difficults dans la connaissance de co f .
ici que cest de la convexification ferme (ou s.c.i.) de la fonction-objectif de (P) quil sagit.
www.biblio-scientifique.net
120
CHAPITRE 5
(5.1)
(5.2)
f (x)
= 0 et
. (5.4)
f (x)
= (co f ) (x)
www.biblio-scientifique.net
1. MODLE 1 : LA RELAXATION CONVEXE
121
= (co f ) (x)
[] Si x est un minimiseur global de f sur H , alors f (x)
(il suffit de revoir (5.1) pour cela) et cest videmment un point critique
de f : f (x)
= 0.
=0
[] Soit x un point de Gteaux-diffrentiabilit de f en lequel f (x)
= f (x).
Nous utiliserons les arguments suivants : co f f
et (co f ) (x)
= 0 est une
sur H ; co f est une fonction convexe s.c.i. sur H ; g(x)
condition (ncessaire et) suffisante de minimalit globale pour une fonction
convexe g (Gteaux-diffrentiable en x).
Allons-y :
f (x + td) f (x)
f (x),
dquand t 0+
d H,
t
de par la Gateaux-differentiabilite de f en x ;
de par lexistence de la derivee directionnelle de co f en x ;
f (x + t d) f (x)
d H,
t
t
= f (x)
.
puisque co f f sur H et (co f ) (x)
En consquence,
d H, (co f ) (x,
d) f (x),
d.
(5.5)
x H, (co f )(x)
On a bien dmontr que x est un minimiseur global de f sur H .
www.biblio-scientifique.net
122
CHAPITRE 5
Observations
La condition exprimant que x est un minimiseur global de f comprend
deux parties : la condition (attendue) de point critique de f ( f (x)
= 0)
=
qui est locale (ou infinitsimale) et une condition globalisante (co f )(x)
f (x).
Il est remarquable que la conjonction de ces deux conditions filtre
vraiment tous les minimiseurs locaux (ou points critiques) de f pour nen
garder que les minimiseurs globaux.
Le rsultat du Thorme 5.1 peut tre utilis sous la forme "ngative"
suivante : Si x est un point critique de f (i.e. si f (x)
= 0) et si lon
< f (x),
alors x ne saurait tre un minimiseur
constate que (co f )(x)
global de f sur H (cf. la Figure 5.2 par exemple).
Le Thorme 5.1 appartient bien au royaume de lOptimisation diffrentiable. En effet, si on substitue la condition "x est un mimiseur local
de f " (lorsque f nest pas diffrentiable en x)
la condition " f (x)
=
0", lquivalence (5.4) nest plus vraie. Cela signifie aussi que toute
o g f est votre sous-diffrentiel
gnralisation de la forme "0 g f (x)",
gnralis favori (cf. Chapitre 6), la place de " f (x)
= 0" ne marchera
pas non plus. Assez surprenant...
Passons en revue dautres aspects de co f utiles pour la rsolution du problme relax (P ).
Proprit de continuit. Mme si f est la restriction dune fonction C
sur un convexe compact C de Rn (et vaut + lextrieur de C), la
fonction convexe co f est certes continue sur int C mais peut prsenter
des discontinuits en des points frontires de C.
Fig. 5.2
www.biblio-scientifique.net
1. MODLE 1 : LA RELAXATION CONVEXE
123
x+
(5.6)
Attention ! En dpit de (5.6) qui tend faire penser que "co f finit par se
comporter comme f linfini", lcart entre f (x) et (co f )(x) peut
devenir
de plus en plus grand. Par exemple, si f : x R f (x) = |x|, co f
se trouve tre identiquement gale 0.
Vers le calcul numrique effectif de co f . Une bonne partie de ces techniques de calcul consiste considrer f sur une partie borne de Rn
(sur une grille de points mme) et calculer co f en la pensant comme f ,
et donc utiliser les mthodes numriques spcifiques du calcul de f
partir de f . Pour tout cela, nous renvoyons au rcent article-revue de
Lucet [L].
Nous terminons cette section en voquant comment la relation (5.2) entre
les solutions de (P ) et celles de (P ) pourrait tre amliore. Un premier
rsultat dans ce sens, facile dmontrer, est le suivant :
Soit f : Rn R {+}, s.c.i. et borne infrieurement sur Rn . On
suppose que co f est 0-coercive sur Rn (i.e., co f (x) + quand x
+). Alors :
argmin (co f ) = co (argmin f ).
(5.7)
La proprit de 0-coercivit requise est bien
sur co f et non sur f (penser
nouveau la fonction x f (x) = |x|). Les limitations du rsultat
au-dessus sont les deux hypothses restrictives : dune part la 0-coercivit
de co f et, dautre part et surtout, la dimension finie de lespace de travail Rn .
Dans un contexte de dimension infinie, lequel est incontournable en Analyse
et calcul variationnels, une autre piste consiste considrer les solutions
approches, disons > 0 prs, du problme (P ) :
argmin f := x E | f (x) inf f + .
E
www.biblio-scientifique.net
124
CHAPITRE 5
argmin (co f ) =
co ( argmin f ).
(5.8)
> 0
[0,1]
|(u (t))2 1| + u(t)2 dt.
(5.9)
(u)
Cette fonction f est continue et 1-coercive sur E (i.e., fu
+ quand
u +). Sa version relaxe co f se trouve tre :
+
(u (t))2 1 + u(t)2 dt.
u E (co f )(u) =
[0,1]
www.biblio-scientifique.net
2. MODLE 2 : CONVEXE + QUADRATIQUE
125
(5.10)
1
1
A(x + t d), x + t d g(x)
A x,
x
0
2
2
www.biblio-scientifique.net
126
CHAPITRE 5
+ t A x,
d + A x,
d 0
t
2
(5.11)
(P )
y H.
(P ) est son tour un problme non convexe, avec toujours lintervention de
la forme quadratique q, mais aussi de la transforme de Legendre-Fenchel
de g. Ainsi, des proprits (utiles la minimisation) qui napparaissent pas
dans g pourront-elles tre ventuellement prsentes dans g .
De manire aussi naturelle que pour la Dfinition 5.2, y H sera dit point
critique de f lorsque
(5.12)
A y (g A)( y ).
Ici, g A signifie la fonction compose y g (Ay).
Le pendant de la Proposition 5.3 pour f est :
www.biblio-scientifique.net
2. MODLE 2 : CONVEXE + QUADRATIQUE
127
Proposition 5.4
(i) Si y est un maximiseur local de f, alors il est point critique de f.
(ii) Si y est un minimiseur local de f, alors g A est Gteaux-diffrentiable
en y et 0 = f( y ) = (g A)( y ) + A y .
On sait que, de manire gnrale, A g (Ay) (g A)(y) (car A =
A, ne loublions pas) et quil faut une certaine condition, dite de qualification,
pour que lgalit ait lieu. Parmi la multitude des conditions de qualification
existantes, nous retenons la plus basique :
g est finie et continue en un point de Im A(= Im (A)).
(C )
(5.13)
www.biblio-scientifique.net
128
CHAPITRE 5
Corollaire 5.6
Lensemble des valeurs critiques de f et lensemble des valeurs critiques
de f sont les mmes.
Or, A x g(x)
se traduit par
= x,
A x.
g(x)
+ g (A x)
Par suite,
= f (x)
= g(x)
+
1
1
A x,
x
= A x,
x
g (A x)
= f(x).
2
2
Comme x est aussi point critique de f (Thorme 5.5, (i)), ce qui est au-dessus
montre bien que est valeur critique de f.
Rciproquement, soit une valeur critique de f, cest--dire = f( y )
pour un certain point critique y de f. Dans la dmonstration du (ii) du Thorme 5.5, on a exhib un point critique x de f de la forme x = y + z ,
avec z Ker A. On se propose de montrer que = f (x).
g(x)
+ g (A x)
(5.14)
Donc
1
x
[par definition de f ]
f (x)
= g(x)
+ A x,
2
1
= g(x)
+ A y , y [car x y = z Ker A et A = A ]
2
1
= A y , y g (A y ) [d apr`es (5.14)]
2
= f( y ) [par definition de f]
= .
Remarque : Mme sil y a concidence des ensembles de valeurs critiques
de f et f, rien ne nous assure (comme dans dautres schmas de dualisation)
que inf(P ) = sup(P ).
www.biblio-scientifique.net
3. MODLE 3 : DIFF-CONVEXE
129
3 Modle 3 : diff-convexe
Le problme doptimisation considr ici est structur comme suit :
Minimiser f (x) := g(x) h(x)
(P )
x E,
o g et h sont des fonctions convexes s.c.i. propres sur un espace de Banach
E. Dans les exemples, h (la deuxime fonction) est partout finie et continue sur E. Si a nest pas le cas, comme nous minimisons dans (P ), nous
donnons la priorit +, cest--dire que nous adoptons la rgle de calcul
(+) (+) = + pour le cas o cela se produirait. Un modle un peu
plus gnral serait
Minimiser f (x) := g(x) h(Ax)
x E,
o A : E F est linaire continu et h est une fonction convexe s.c.i. propre
sur lespace de Banach F. Le lecteur-tudiant naura pas de peine adapter
ce contexte les rsultats que nous nous contenterons de prsenter pour le
modle pos (cest--dire avec A = id E ).
Lappellation "modle ou optimisation diff-convexe (ou d.c.)" est claire : la
fonction-objectif dans (P ) est une diffrence de fonctions convexes. Avant
daller plus loin, voyons sur quelques proprits et exemples la richesse de
DC(E) := ensemble des fonctions qui s e crivent comme des diff e rences
de fonctions convexes sur E.
Exemple : C 2 (Rn ) DC(Rn ). Toute fonction C 2 sur Rn est diffrence de
fonctions convexes sur Rn , et mme mieux : si f C 2 (Rn ), il existe g C 2
et convexe sur Rn , h C et convexe sur Rn , telles que f = g h. Cest
notamment le cas de toute fonction polynomiale f sur Rn . Mais on na pas
dit que trouver une dcomposition d.c. de f C 2 (Rn ) tait facile !
Le cas o E est de dimension infinie est un peu plus compliqu : il
faut ajouter une hypothse sur le comportement de D 2 f pour sassurer
que C 2 (E) DC(E).
Exemple (repris du Chapitre 2, 2.2) : Soit S une partie ferme non vide
dun espace de Hilbert H . Alors, la fonction d S2 (carr de la fonction distance
S) est toujours d.c. sur H ; on en a mme une dcomposition d.c. explicite.
Exemple : E = Sn (R) et k : A Sn (R) k (A) := la k-me plus
grande valeur propre de A. Alors k DC(E), positivement homogne, et
on a accs une dcomposition d.c. de k en fonctions convexes positivement
www.biblio-scientifique.net
130
CHAPITRE 5
homognes.
Si on sen tient au cne convexe ouvert Sn++ (R) := {A Sn (R) | A 0},
la fonction "conditionnement" c de A
c(A) :=
1 (A)
n (A)
www.biblio-scientifique.net
3. MODLE 3 : DIFF-CONVEXE
131
inf(P ) = inf(P ).
(5.15)
En consquence,
r h (x ) g (x ).
www.biblio-scientifique.net
132
CHAPITRE 5
sup [x, x g (x ) r ]
x E
f (x) f (x)
pour tout x E,
soit encore
g(x) g(x)
h(x) h(x)
pour tout x E.
La dfinition mme du sous-diffrentiel dune fonction fait que
h(x)
g(x).
On a alors :
Soit prsent x h(x).
x,
x = 0,
h (x ) + h(x)
et comme x est aussi dans g(x),
x,
x = 0.
g (x ) + g(x)
Par consquent,
f (x)
= g(x)
h(x)
= h (x ) g (x ).
Or, f (x)
= inf(P ) = inf(P ) (premire partie du Thorme 5.7). Donc
f (x ) = h (x ) g (x ) = inf(P ),
ce qui exprime bien que x est un minimiseur de f sur E .
www.biblio-scientifique.net
3. MODLE 3 : DIFF-CONVEXE
133
Remarques
Contrairement ce qui se passe dans la dualisation de problmes de mi =
nimisation convexe, lexistence de x E et de x E tels que f (x)
f (x ) nimplique pas que x est une solution de (P ) et x une solution
de (P ).
Dans la dualisation f = g h f = h g , il ny a pas de raison
de privilgier la minimisation par rapport la maximisation ; des rsultats
similaires ceux du Thorme 5.7 sobtiennent mutatis mutandis pour le
problme de la maximisation de f = g h sur E.
(P ) et (P ) sont des problmes de minimisation non convexes ; donc des
minimiseurs locaux diffrents des minimiseurs globaux peuvent apparatre.
La condition ncessaire de minimalit du 1er ordre ci-aprs, dj observe
pour des minimiseurs globaux, est valable pour les minimiseurs locaux.
Proposition 5.8
Soit x un minimiseur local de f = g h sur E . Alors :
h(x)
g(x).
(5.16)
r ), on a :
Dmonstration. Pour x dans une boule B(x,
f (x) = g(x) h(x) f (x)
= g(x)
h(x),
soit encore
g(x) g(x)
h(x) h(x).
tout x B(x,
r ).
Grce la convexit de g qui "globalise" les ingalits, la relation au-dessus
stend tout E : x est bien dans g(x).
La condition (5.16) est "oriente" vers la minimisation, et la condition
ncessaire vrifie par un maximiseur local x serait g(x)
h(x).
Pour
symtriser quelque peu les choses, Toland a eu lide dintroduire la notion
de point critique (ou stationnaire) suivante.
Dfinition 5.9
Un point x E est appel point T-critique (ou T-stationnaire) de f = g h
lorsque g( x)
h(x)
= .
www.biblio-scientifique.net
134
CHAPITRE 5
un point T-critique de f = h g .
(ii) Si y est un point T-critique de f = h g , alors x g ( y ) h ( y )
est un point T-critique de f = g h .
= x,
y ,
h ( y ) + h(x)
(5.17)
(5.18)
www.biblio-scientifique.net
3. MODLE 3 : DIFF-CONVEXE
135
gnrale concernant les hypothses sur les fonctions g et h de la dcomposition f = g h de la fonction-objectif f dans (P ). Il savre que pour
obtenir les rsultats dcrits dans ce paragraphe, la convexit de g (la premire
fonction) nest pas essentielle : on peut remplacer g par g = co g. Ceci est
comprhensible si on regarde par exemple le problme de la maximisation
de g sur C, reformul en problme d.c. comme la minimisation de i C h
sur E (cf. page 130) : maximiser h sur C et maximiser h sur co C reviennent
au mme.
Lhypothse de convexit de h (la deuxime fonction) est, elle, incontournable.
Exercices
Exercice 1 (Enveloppe convexe de la varit
de Stieffel)
n
T
Soit Tm := M Mm,n (R) | M M = Im . Cet ensemble est appel varit
de Stieffel.
Pour m = n, Tnn est lensemble des matrices orthogonales n n.
Montrer que
co Tmn = M Mm,n (R) | M sp 1 ,
cest--dire la boule unit ferme de Mm,n (R) pour la norme spectrale sp .
Rappel : M sp = 1 (M), la plus grande valeur singulire de M.
Exercice 2 (Enveloppe convexe de lensemble des matrices de rang
infrieur k)
Pour M Mm,n (R) et p := min(m, n), on dsigne par 1 (M) 2 (M)
. . . p (M) les valeurs singulires de M ranges dans un ordre dcroissant.
Deux normes matricielles sont utilises ici et dans lExercice 4. :
M sp = 1 (M)
( sp est appelee norme spectrale)
p
M =
i (M) ( est appelee parfois norme nucleaire).
i=1
www.biblio-scientifique.net
136
CHAPITRE 5
co Skr = M Mm,n (R) | M k r et M sp r .
Hint : Utiliser une dcomposition en valeurs singulires de M.
c(x) si x r,
+ sinon.
www.biblio-scientifique.net
EXERCICES
137
1) Reformuler (P ) comme un problme du Modle 2 : convexe + quadratique et crire son problme dual (P ).
2) On suppose que A est inversible. Vrifier que :
inf(P ) = 0 e quivaut a` la copositivite de A,
sup(P ) = 0 e quivaut a` la copositivite de A1 .
1
r
x2 + i Rn+ (x), h(x) := (r In A) x, x.
2
2
sup
u dom h
g (y + u) h (u) .
(5.19)
On suppose de plus que h est continue sur H . Montrer alors que lingalit (5.19) devient une galit.
Que disent les rsultats prcdents dans le cas particulier o y = 0 ?
2) Maximisation dune fonction convexe sur un ensemble
On considre le problme de la maximisation dune fonction convexe
continue h : H R sur un ensemble non vide S de H ; on pose :=
sup h(x).
xS
www.biblio-scientifique.net
138
CHAPITRE 5
(5.20)
= inf h (u) S (y) ,
u dom h
u R
2
2
(5.21)
= inf n
(5.22)
u R
2
2
Exercice 8 (Distance entre une fonction et sa rgularise de MOREAUYOSIDA)
Soit H un espace de Hilbert et f : H R{+} convexe s.c.i.. Pour r > 0,
on dsigne par fr sa rgularise de Moreau-Yosida, cest--dire :
r
fr := f 2 .
2
Montrer :
r
r
inf f (x) ( f 2 ) (x) = inf u2 .
x H
u
dom
f
2
2
Hint : Utiliser la technique de dualisation d.c..
Exercice 9 (Formulations variationnelles diverses de la plus grande valeur propre de A 0)
Soit A 0. On dsigne par 1 2 . . . n les valeurs propres de A
ranges dans un ordre dcroissant. Pour k valeur propre de A, on dsigne
par Sk lensemble des vecteurs propres unitaires associs k .
www.biblio-scientifique.net
EXERCICES
139
Ax, x.
(5.23)
k ek est un point-selle de S A .
(5.24)
point 1 e1 , o e1 S1 .
b) Montrer que lensemble des points critiques non nuls de PA est :
k ek | ek Sk , k = 1, . . . , n
et que si k = 1 ,
k ek est un point-selle de S A .
inf
0 = x Rn
en tout point x de S1 .
b) Montrer que lensemble des points critiques de L A est
que tous les
1<k n
(5.25)
1k n
Sk et
www.biblio-scientifique.net
140
CHAPITRE 5
Rfrences
[BHU] J. Benoist and J.-B. Hiriart-Urruty. "What is the subdifferential of
the closed convex hull of a function ?". SIAM J. Math. Anal. Vol. 27, 6
(1996), p. 16611679.
[B] B. Brighi. "Sur lenveloppe convexe dune fonction de la variable
relle". Revue de Mathmatiques Spciales 8 (1994), p. 547550.
[L] Y. Lucet. "What shape is your conjugate ? A survey of computational
convex analysis and its applications". SIAM J. on Optimization Vol. 20,
1 (2009), p. 216250.
[HULV] J.-B. Hiriart-Urruty, M. Lopez and M. Volle. "The -strategy in
variational analysis : illustration with the closed convex convexification
of a function". Revista Matemtica, Iberoamericana 27(2), 2011, pp.
449471.
[ET] I. Ekeland and T. Turnbull. Infinite-Dimensional Optimization and
Convexity. Chicago Lectures in Mathematics Series, 1983.
[T1] J.F. Toland. "Duality in nonconvex optimization". J. Math. Anal. Appl.
66 (1978), p. 399415.
[T2] J.F. Toland. "A duality principle for non-convex optimisation and the
calculus of variations". Arch. Rational Mech. Anal. 71 (1979), p. 4161.
[AT] H. Attouch and M. Thra. "A general duality principle for the sum of
two operators". J. of Convex Anal. Vol. 3, 1 (1996), p. 124.
[EL] I. Ekeland and J.-M. Lasry. "Problmes variationnels non convexes en
dualit". Note aux CRAS Paris 290 (1980), P. 493496.
[E] I. Ekeland. Convexity Methods in Hamiltonian Mechanics. Springer
Verlag, 1990.
[S] I. Singer. "A Fenchel-Rockafellar type duality theorem for maximization". Bull. Australian Math. Soc. 20 (1979), p. 193198.
[HU] J.-B. Hiriart-Urruty. "A general formula on the conjugate of the difference of functions". Canad. Math. Bull. Vol. 29, 4 (1986), p. 482485.
www.biblio-scientifique.net
Chapitre 6
SOUS-DIFFRENTIELS GNRALISS DE
FONCTIONS NON DIFFRENTIABLES
141
www.biblio-scientifique.net
142
(6.1)
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
143
f + g localement
f et g localement Lipschitz sur O ;
;
et reels
Lipschitz sur O
f et g localement Lipschitz sur O f g localement Lipschitz sur O ;
f localement Lipschitz sur O ;
1f localement Lipschitz sur O ;
f (x) = 0 pour tout x O
f 1 , . . . , f k localement
max( f 1 , . . . , f k ) et min( f 1 , . . . , f k )
.
Lipschitz sur O
localement Lipschitz sur O
www.biblio-scientifique.net
144
f (x + t d) f (x )
L d .
t
(6.2)
Il est facile de voir que f (x) est un compact non vide de Rn , pas nces
Si f : O Rn
f (x) est continment diffrentiable sur O , f (x) =
(6.4)
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
d E
f (x ; d) := lim sup
x x
t 0+
145
f (x + t d) f (x )
.
t
(6.5)
t
t
pour t > 0 assez petit et x voisin de x (car f est Lipschitz de constante L
dans un voisinage de x).
Comme cela tait attendu, f (x ; 0) = 0 et f (x ; d) = f (x ; d) pour
tout > 0. Plus surprenant, et essentiel pour la suite des vnements, est la
proprit de convexit que voici :
Proprit 6.3
La fonction d E
f (x ; d) est convexe continue sur E . On a mme :
d E, | f (x ; d)| L d ,
(6.6)
lim sup
x x
t 0+
f (x + t u + t v) f (x )
t
f (x + t u + t v) f (x + t u)
t
+ lim sup
x x
t 0+
f (x + t u) f (x )
t
f (x ; v) + f (x ; u).
Comme le montre nettement la dmonstration ci-dessus, cest vraiment cette
approche qui a consist aller voir "ce qui se passe autour de x" qui a permis
daccder la convexit de f (x ; ).
www.biblio-scientifique.net
146
On aurait pu tre tent de prendre une limite infrieure au lieu dune limite
suprieure dans (6.5) :
inf
f (x ; d) := lim
x x
t 0+
f (x + t d) f (x )
.
t
(6.7)
f (x ; d) := lim sup
x x
t 0+
r >0
sup
t ]0,]
x B(x,r )
f (x + t d) f (x )
t
est "atteinte" par une suite (xk ) x et (tk ) 0+ , cest--dire : Il existe une
suite (xk ) convergeant vers x et une suite (tk > 0) convergeant vers 0 telles
que
f (xk + tk d) f (xk )
.
f (x ; d) = lim sup
tk
k +
Cela peut aider dans certaines dmonstrations.
Proprits 6.4
(i) (x, d) E E
f (x ; d) est semicontinue suprieurement (comme
fonction de x et d donc). Cela signifie :
(xk ) x, (dk ) d, lim sup f (xk ; dk ) f (x ; d).
k +
(6.8)
(ii) "Symtrisation" :
d E, ( f ) (x ; d) = f (x ; d).
(6.9)
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
147
f (x t d) f (x )
.
t
Cl f (x) := x E | x , d f (x ; d) pour tout d E .
(6.10)
sup
x Cl
x , d.
f (x)
(6.11)
www.biblio-scientifique.net
148
(6.12)
= co v Rn | (xk ) x, f diffe rentiable en xk , f (xk ) v .
(6.14)
f (x ; d) = lim sup f (x ), d | f diffe rentiable en x .
x x
La proprit (6.13) permet de "voir" sur des exemples comment est fait f (x).
Une version un peu plus gnrale que (6.14) est comme suit. Supposons
que f admette en tout point x dun voisinage de x, une drive directionnelle
usuelle :
f (x ; d) = lim
t 0+
f (x +t d) f (x )
,
t
(6.14 bis)
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
149
stricte diffrentiabilit de f en x, qui assure que f (x) est un singleton. Dfinition : f est dite
strictement diffrentiable en x sil existe l E telle que
f (y) f (z) l , y z
0 quand y x, z x, y = z.
y z
Cette dfinition, dans le cas des fonctions de la variable relle, remonte G. Peano (1892)
qui estimait quelle "rendait compte du concept de drive utilise dans les sciences physiques
beaucoup mieux que ne le faisait la dfinition de la drive usuelle". Si f est diffrentiable
dans un voisinage de x, la stricte diffrentiabilit de f en x quivaut au fait que D f est
www.biblio-scientifique.net
150
|xx0 |<
puis
g(x0 ) = lim g (x0 ), g(x0 ) = lim g (x0 ).
0+
Alors,
0+
f (x0 ) = g(x0 ), g(x0 ) .
Exemple 6.11 Soit H un espace de Hilbert et S une partie ferme non vide
de H . Nous avons vu au 2.2 du Chapitre 2 limportance de la fonctiondistance S, d S , et de ses associs ( 21 d S2 , S , S ). Or, la fonction d S est
toujours Lipschitz sur H (avec L = 1 comme constante de Lipschitz). Cest
donc le moment de se familiariser avec le sous-diffrentiel gnralis d S (x)
/ S et x Fr S. Le lecteur-tudiant est invit traiter
de d S en des points x
des exemples simples dans R2 ou R3 pour voir comment se construit d S (x)
et les convexes compacts particuliers quon en tire (en particulier, d S (x)
B(0, 1)).
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
151
(6.16)
(6.17)
(ii)
(6.18)
Si (x k ) x, x k f (x k )
alors x f (x).
(v) Thorme des accroissements finis (ou de la valeur moyenne) : Supposons [x, y] O ; il existe alors t ]0, 1[ tel que
f (y) f (x) f [x + t (y x)], y x
(6.20)
:= x , y x | x f [x + t (y x)] .
(vi) Si f = max( f 1 , . . . , f k ),
f (x) co f i (x) | i tels que f i (x) = f (x) .
(6.21)
www.biblio-scientifique.net
152
(6.22)
L (E 1 , E 2 ).
f (x ; d) 0 pour tout d E.
(iv) On commence par dmontrer que
f (x ; d) max f i (x ; d) | i tels que f i (x)
= f (x)
pour tout d E.
Etc.
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
153
0 f (x)
g(x)
h(x),
cest--dire : g(x)
h(x)
= . Cest prcisment cette dfinition que
nous avons adopte pour un point T-critique (ou T-stationnaire) de f =
g h.
La relation (6.20) est trs simple, et pourtant elle est trs utile, ne seraitce quen algorithmique o on est frquemment en situation de comparer f (xk + tk dk ) f (xk ). Or
f (xk + tk dk ) = f (xk ) + tk sk , dk ,
o sk f (k ) et k est un point intermdiaire entre xk et xk + tk dk .
Avoir des galits dans les inclusions des rgles de calcul 6.12 requiert,
a priori, des hypothses fortes sur le comportement des fonctions au
voisinage de x. Lune dentre elles est que, pour les fonctions f en jeu,
la drive directionnelle usuelle f (x ; ) existe et concide avec la drive directionnelle gnralise f (x ; ). Certes, ceci est vrifi pour les
fonctions continment diffrentiables ou les fonctions convexes, mais a
peu de chances de ltre pour une fonction non convexe qui ne serait pas
diffrentiable en x.
www.biblio-scientifique.net
154
Ici, I (x)
= {i | gi (x)
= 0}, la somme sur I (x)
vaut 0 si I (x)
= .
Des conditions, dites de qualification des contraintes en x (conditions aux
noncs trs varis) assurent que 0 peut tre choisi = 0 dans lnonc
prcdent. Un exemple de condition de qualification des contraintes est :
(QC)x Il existe d tel que Dgi (x),
d < 0 pour tout i I (x).
Dans le cas o les donnes f, g1 , . . . , g p dans (P ) sont simplement localement Lipschitz, on a, comme on pouvait sy attendre, des conditions ncessaires doptimalit o les diffrentielles D sont remplaces par des sousdiffrentiels gnraliss . Ceci a dj t vu dans le cas dun problme
doptimisation sans contraintes (cf. (iii) des Rgles de calcul 6.12).
Thorme 6.13 ( la F. JOHN) Si x S est un minimiseur local de f sur S ,
il existe alors
0 , i (i I (x))
positifs et non tous nuls tels que :
0 0 f (x)
+
i gi (x)
= 0.
(6.25)
iI (x)
0 f (x)
+
i gi (x).
(6.26)
iI (x)
(6.27)
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
155
Considrons prsent
(x) := max f (x) f (x),
gi (x), i = 1, . . . , p .
Les donnes au dpart, f, g1 , . . . , g p , tant dj non diffrentiables, cette
"prise de max" (une construction hautement non diffrentiable) najoute pas
de complexit notre affaire.
Alors :
Pour x V S, (x) (x)
= 0 [en raison de (6.27)] ;
Pour x V , x
/ S, il existe i {1, . . . , p} tel que gi (x) > 0, do
(x) 0.
En somme,
(x) (x)
= 0 pour tout x V.
Se rappelant alors les rsultats (iii) et (iv) des Rgles de calcul 6.12, on a
0 g(x)
co f (x),
gi (x),
i I (x)
,
do lexistence de coefficients de combinaisons convexes,
0 0, i 0 pour tout i I (x),
0 +
i = 1,
iI (x)
tels que
0 0 f (x)
+
i gi (x).
iI (x)
i 0, i I (x),
iI (x)
Cela induit
iI (x)
i gi (x ; d)
i gi (x ; d) 0 pour tout d E.
iI (x)
www.biblio-scientifique.net
156
d R+ d S (x) .
(6.28)
(ii) (x n ) S qui converge vers x , (tn ) > 0 qui tend vers 0, (dn ) qui
tend vers d tel que
xn + tn dn S pour tout n.
(iii)
d S (x ; d) = lim sup
x x
t 0+
d S (x + t d)
= 0.
t
(6.29)
(6.30)
(6.31)
NCl (S, x) = TCl (S, x) (= R+ d S (x) dapr`es (6.28)).
Dans le cas o S est convexe, on retrouve les notions de cne tangent et de
cne normal vues au 4.1 du Chapitre 3, ne serait-ce que parce que d S (x ; ) =
d S (x ; ) dans ce cas. Nous laissons donc tomber la rfrence Cl dans les
notations.
www.biblio-scientifique.net
1. FONCTIONS LOCALEMENT LIPSCHITZ
157
Retenons en rsum :
En chaque point x de S (de Fr S plus prcisment), il y a deux cnes
convexes ferms mutuellement polaires qui sont dfinis :
T (S, x) : le cone tangent S en x;
N (S, x) : le cone normal S en x.
Avertissement. Vu la gnralit du contexte dans lequel ces deux concepts
sont dfinis (S est un ferm quelconque de H !), on ne peut pas sattendre ce
que les notions de tangence ou de normalit S soient toujours trs prcises
ou informatives.
Signalons nanmoins la condition ncessaire doptimalit que voici. Considrons le problme de minimisation suivant :
Minimiser f (x)
(P )
x S,
o f : H R est localement Lipschitz et S H un ferm.
Thorme 6.16 (condition ncessaire doptimalit)
Si x S est un minimiseur local de f sur S , alors :
0 f (x)
+ N (S, x).
(6.32)
0 ( f + L d S )(x)
f (x)
+ N (S, x).
iI (x)
www.biblio-scientifique.net
158
(Pierre Dac).
0+
lim sup
inf
vd
x x
f (x ) f (x)
t0+
f (x + t v) f (x )
.
t
(6.33)
La " lim " peut tre remplace par "sup ". Reconnaissons que lexpression
de
0+
f (x ; d)
> 0
www.biblio-scientifique.net
2. FONCTIONS S.C.I. VALEURS DANS R {+}
159
f (x + d) f (x) x , d
0.
d
(6.35)
www.biblio-scientifique.net
160
(6.37)
www.biblio-scientifique.net
2. FONCTIONS S.C.I. VALEURS DANS R {+}
161
(6.39)
www.biblio-scientifique.net
162
Il se trouve mais ce nest pas immdiat dmontrer quon obtient exactement le sous-diffrentiel gnralis de Clarke. Do une premire rgle
sappliquant toutes les "normalits" imaginables :
Ds quon a une notion de normalit un ensemble, on a une notion de
sous-diffrentiabilit une fonction.
Le cheminement inverse peut galement tre envisag : avec la fonction f =
i S (indicatrice de S), on peut dfinir en x S
N (S, x) = (i S )(x).
Ainsi, deuxime rgle sappliquant toutes les sous-diffrentiations gnralises imaginables :
Ds quon a une notion de sous-diffrentiation gnralise pour des fonctions ventuellement valeurs +, on a une notion de normalit un
ensemble.
Exemples.
Un exemple important de problmes doptimisation voqu ds le 2.2 du
Chapitre 1 est celui de la minimisation du rang dune matrice :
Minimiser f (A) := rang de A,
(P )
A C,
o C est un ensemble ferm de Mm,n (R) (convexe le plus souvent).
(P ) est le cousin matriciel dun problme pos dans R p , de formulation plus
simple :
Minimiser c(x) := Card {i | xi = 0} ,
(Q)
x S,
o S est un ensemble ferm de R p . La fonction c est la "fonction de comptage", souvent not x 0 (mais ce nest pas une norme !)
Dans (P ) ou (Q), les fonctions-objectifs sont s.c.i. et valeurs entires.
Aucune proprit de continuit, a fortiori de diffrentiabilit, nest accessible. Ces fonctions (rang, de comptage) sont trs chahutes. Voici deux
trangets (du point de vue Optimisation ou Analyse variationnelle) quon
peut mentionner leur sujet.
www.biblio-scientifique.net
2. FONCTIONS S.C.I. VALEURS DANS R {+}
163
c(x) = x = (x1 , . . . , x p ) R p | xi = 0 pour tout i
/ I (x) ,
o I (x) = {i = 1, . . . , p tels que xi = 0}.
www.biblio-scientifique.net
164
Exercices
Exercice 1 (Comparaison locale de deux fonctions localement Lipschitz)
1) Soit f, g : O E R localement Lipschitz, soit x O . On suppose
f (x)
= g(x),
f 1 f 2 . . . f k dans un voisinage de x;
= f 2 (x)
= . . . = f k (x).
f 1 (x)
Montrer qualors f 1 (x)
f 2 (x)
. . . f k (x)
= .
Exercice 4 (Prolongements lipschitziens)
tant donn une partie non vide S de lespace de Banach (E, ), on dsigne
par L ip (S) la classe des fonctions f : E R vrifiant une condition de
Lipschitz sur S, cest--dire vrifiant
| f (x) f (y)|
||| f ||| := sup
x et y dans S, x = y < +.
x y
1) Soit f L ip (S) et k ||| f |||. On pose :
x E, f S,k (x) = sup { f (u) k x u } ,
u S
www.biblio-scientifique.net
EXERCICES
165
(6.43)
(6.44)
www.biblio-scientifique.net
166
(6.45)
Rfrences
[CLSW] F.H. Clarke, Yu.S. Ledyaev, R.J. Stern and P.R. Wolenski. Nonsmooth Analysis and Control Theory. Graduate texts in mathematics,
Springer Verlag, 1998.
[S] W. Shirotzek. Nonsmooth Analysis. Universitext, Springer Verlag, 2007.
[BZ] J.M. Borwein and Q.J. Zhu. Techniques of Variational Analysis. CMS
books in mathematics, Springer Verlag, 2005.
[C2] F.H. Clarke. Optimization and Nonsmooth Analysis. Wiley, 1983.
Reprinted by SIAM (Classics in Applied Mathematics), 1990
[BL] J.M. Borwein and A.S. Lewis. Convex Analysis and Nonlinear Optimization. CMS books in mathematics, Springer Verlag, 2000.
[RW] R.T. Rockafellar and R.J.-B. Wets. Variational Analysis. Springer Verlag, 1998.
[HUL] J.-B. Hiriart-Urruty and A.S. Lewis. "The Clarke and Michel-Penot
subdifferentials of the eigenvalues of a symmetric matrix". Computational Optimization and Applications Vol. 13, 13 (1999), p. 1323.
[MP] Ph. Michel et J.-P. Penot. "Calcul sous-diffrentiel pour les fonctions
lipschitziennes et non lipschitziennes". C. R. Acad. Sci. Paris Vol. 298
(1984), p. 269272.
[M] B. Mordukhovich. Variational Analysis and Generalized Differentiation, I. Grundlehren der Mathematischen Wissenschaften 330, Springer
Verlag, 2006.
www.biblio-scientifique.net
RFRENCES
167
t 0+
f (x + t y + t d) f (x + t y)
t
www.biblio-scientifique.net
168
J.- B. Hiriart- Urruty. "A new series of conjectures and open questions
in optimization and matrix analysis". ESAIM : Control, Optimisation and
Calculus of Variations (2009), p. 454-470.
www.biblio-scientifique.net
Index
A
Addition parallle de matrices dfinies
positives, 93
Admissibilit ou faisabilit convexe, 65, 67
Approximation hilbertienne, 42, 49
Approximations successives de points fixes, 34
B
Biconjugue dune fonction
voir Enveloppe convexe dune fonction
Brachystochrone (problme variationnel), 21
C
Conditionnement dune matrice dfinie
positive, 130
Conditions doptimalit
en optimisation convexe, 115
en optimisation non convexe, 108
Conditions doptimalit asymptotiques
du premier ordre, 83
du deuxime ordre, 39
Conditions doptimalit globale, 110, 121
Cne polaire, 68, 70, 71, 76, 81
Cne tangent un convexe, 77
Cne tangent au sens de Clarke, 156
Cne normal un convexe, 78, 102
Cne normal au sens de Clarke, 156
E
Ensemble de sous-niveau dune fonction
dfinition, 3
Enveloppe convexe
de la varit de Stieffel, 135
des matrices de rang infrieurs k, 135
Enveloppe convexe dune fonction
continuit, 122
diffrentiabilit, 121
comportement linfini, 123
calcul numrique effectif, 123
Enveloppe s.c.i. dune fonction, 5
Epigraphe dune fonction
dfinition, 5
proprits, 3, 86
Existence de minimiseurs
thorme gnral, 1
en optimisation donnes linaires, 9
en prsence de convexit, 16
D
Dcomposition de Moreau, 68, 72, 79
Drive directionnelle
de la projection, 59
dune fonction convexe, 95
gnralise, 142
F
Fonction-barrire, 89
Fonction dappui, 89
Fonction indicatrice dun ensemble
dfinition, 17
proprits, 88
169
www.biblio-scientifique.net
170
F (cont.)
Fonction convexe, 87
Fonction diffrence de convexes, 129
Fonction-distance, 42, 88
Fonction-distance signe, 44, 88
Fonction localement Lipschitz, 142
Fonction marginale, 88
Fonction propre, 88
Fonction valeurs propres, 89, 109, 135
Fonction variation totale (s.c.i.), 6
G
Gomtrie non lisse, 156
Gradient
de la fonction-distance, 42, 62
de fonctions convexes, 71
Gradient gnralis au sens de Clarke
voir Sous-diffrentiel gnralis
I
Ingalit
de Massera-Schffer, 17
de Dunkl-Williams, 17
de Milagranda, 17
de Fenchel, 98
dOpial, 137
Inf-convolution, 91, 106
L
Longueur dune courbe (s.c.i.), 6
M
Maximisation convexe sur un convexe, 130
Minimiseur approch, 25, 56
Minimiseurs de lenveloppe convexe
Moindres carrs, 61
Multiapplication-projection, 42, 45, 47
N
Norme
hilbertienne, 11
duale, 11
P
Palais-Smale (condition), 56
Point critique (ou stationnaire), 125
Point T-critique, 133
Index
Principe variationnel
dEkeland, 26, 111
de Borwein-Preiss, 37
de Stegall, 53
Prolongements lipschitziens, 164
Projection
sur un sous-espace vectoriel ferm, 60
sur un convexe ferm, 62, 109
sur un cne convexe ferm, 66
Q
Quasi-convexit, 87
R
Rang dune matrice (s.c.i.), 6
Rgle de Fermat asymptotique, 57
Rgularise s.c.i.
voir Enveloppe s.c.i.
Rgularise dune fonction convexe
de Moreau-Yosida, 94, 112, 138
avec le noyau norme, 94
Relaxation convexe, 118, 119, 136
voir Enveloppe convexe dune fonction
S
Schma de dualiti convexe, 115
Schma de dualit non convexe
modle convexe + quadratique, 124
modle diff-convexe, 129
Semicontinuit infrieure (s.c.i.)
dfinition analytique, 3
caractrisations gomtriques, 3
proprits, 2
enveloppe s.c.i., 4
Semicontinuit suprieure
dfinition, 2
Sparabilit, 16
Sous-diffrentiel dune fonction convexe
dfinition et premiers exemples, 100
proprits basiques, 102
maximalit, 105
approch, 123
diffrentiabilit, 105
rgles de calcul typiques, 105
Sous-diffrentiel gnralis
au sens de Clarke, 144, 156
au sens de Frchet, 159
au sens de viscosit, 160
proximal, 160
www.biblio-scientifique.net
Index
T
Thorme de
Banach-Alaoglu-Bourbaki, 15
Clarke-Ekeland-Lasry, 125
F. John, 153
Karush-Kuhn-Tucker, 154
Moreau, 74, 114
Rademacher, 143
de reprsentation de Riesz, 19
Toland-Singer, 130
Von Neumann, 65
171
Weierstrass, 8
Topologie
faible, 9
faible-toile, 14
Transformation de Legendre-Fenchel
dfinition et premires proprits, 95
exemples, 94
rgles de calcul typiques, 99
de la diffrence de fonctions convexes, 137