C

H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
1 RAPPELS DE CALCUL DIFFRENTIEL
Optimisation diffrentiable
Cours AO 201 ENSTA ParisTech
FichesRsum
1 Rappels de calcul diffrentiel
On considre ici E et F deux espaces norms munie des normes ||
E
et ||
F
. On dsigne par f une
application dnie sur une partie de E valeurs dans F. On supposera que est ouvert.
1.1 Drives directionnelle et au sens de GTEAUX
Dnition :
Drives directionnelle On dit que f a une drive directionnelle en x (ici nest pas
forcment ouvert) dans la direction h E si, pour t > 0 sufsamment petit, x + th et si la
limite
f
/
(x; h) = lim
t0
t>0
1
t
_
f (x + th) f (x)
_
existe.
Remarque : Pour les fonctions valeurs dans , il arrivera que lon admette des drives direction-
nelles valant i, cest--dire de prendre la limite dans .
Dnition :
Gteaux diffrentiabilit On dit quune fonction f est GTEAUX-diffrentiable en x si elle
admet une drive directionnelle en x suivant toutes les directions h E et si lapplication
h E f
/
(x; h) F
est linaire continue. On note f
/
(x) cet oprateur. On a alors
h E, f
/
(x) h = f
/
(x; h)
1.2 Drive au sens de FRCHET
Dnition :
Frchet diffrentiabilit On dit que f est FRCHET-diffrentiable en x sil existe un opra-
teur linaire continu L de E dans F tel que
lim
|h|
E
0
|h|
E
>0
1
|h|
E
_
f (x +h) f (x) Lh
_
= 0.
Loprateur L est appel drive de f en x.
Remarque : La notion de FRCHET-diffrentiabilit est plus forte que celle de GTEAUX-diffrentiabilit.
Proprit :
Si f : F est F-diffrentiable en x avec une drive L, alors f est G-diffrentiable en
x et L = f
/
(x).

1
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
3 ANALYSE CONVEXE
2 Dnition dun problme doptimisation
Soit X un ensemble et f une fonction dnie sur X valeur dans . On cherche resoudre le
problme
(P
X
) =
_
inf f (x)
x X
Si X ,= , on dit que (P
X
) est ralisable. On adopte les conventions suivantes :
inf
x
f (x) = + sup
x
f (x) = .
2.1 Existence de solution
Dnition : Fonction semie-continue infrieurement
Une fonction f est semi-continue infrieurement (s.c.i.) sur X si x X, pour toute suite
(x
k
)
k
x,
f (x) lim
k
inf
ik
f (x
i
)
Remarque : On dit aussi que f est ferme, son pigraph est ferm
epi f =
_
(x, )
_
f (x)
_
.
Thorme : Weierstrass
Si f est ferme sur X et si X est compact et non vide, alors (P
X
) a (au moins une solution.
Remarque : En dimension nie, X compact est quivalalent X ferm born. On peut alors (en
dimension nie) remplacer lhypothse X compact par X ferm et lim
xX
|x|
E

f (x) = +.
2.2 Unicit de la solution
Thorme : Unicit de la solution
Si X est convexe et si f est strictement-convexe sur X, alors P
X
) a au plus une solution.
3 Analyse convexe
On considre dans cette section X un convexe inclu dans E et f : X |+| diffrentiable.

2
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
3.1 Caractrisation de la convexit 3 ANALYSE CONVEXE
3.1 Caractrisation de la convexit
Thorme :
f est convexe si et seulement si

x ,= y X, f (x) f ( y) f
/
(x) ( y x)

x ,= y X, ( f
/
( y) f
/
(x)) ( y x) 0
si f est deux fois drivable (X ouvert),
x X, h E, f
//
(x) h
2
= f
//
(x) (h, h) 0
Pour la strict convexit, les ingalits ci-dessus sont strictes.
3.1.1 Projection sur un ensemble convexe
On appelle projection de x sur une partie C de E, toute solution ventuelle du problme
_
min
1
2
_
_
y x
_
_
2
y C
Proprit : Caractrisation de la projection
Soit C un convexe non vide de E. Un point x C est une projection de x E sur C si et
seulement si lune des conditions quivalentes suivantes est vrie :

y C,
_
y x, x x
_
0,

y C,
_
y x, y x
_
0.
3.1.2 Sparation de convexes
On suppose que E est de dimension nie, muni du produit scalaire not , . La sparation des deux
convexes se fait gomtriquement dans E en utilisant un hyperplan afne H
H := |x E /, x = t|,
o E non nul. On dit que cet hyperplan spare deux convexes C
1
et C
2
si lon a
x
1
C
1
, c
2
C
2
,
_
, x
1
_
t
_
, x
2
_
.
Thorme : Sparation stricte de convexes
On peut sparer strictement deux convexes ferms non vides disjoins C
1
et C
2
dun espace
euclidien E dans chacun des cas suivants :
C
1
C
2
est ferm ;
C
1
ou C
2
est compact.

3
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
3.2 Cne 4 CONDITIONS DOPTIMALIT
3.2 Cne
Dnition : Cne
Une partie K dun espace vectoriel E est un cne si t K K avec t 0.
Dnition : Cne dual
Soient E un espace vectoriel euclidien, dont le produit scalaire est not , , et P une partie
de E. On appelle cne dual de P lensemble P
+
dni par
P
+
:=
_
x E
_
y P, x, y 0
_
.
Proprit : Cne
P
+
est un convexe ferm non vide.
P est un convexe ferm non vide si et seulement si P
++
= P.
Thorme : Lemme de Farkas
Soient E et F deux espaces euclidiens, A : E F une application linaire et K un cne
convexe ferm non vide de E. On note A

lapplication adjointe de A et K
+
le cne dual de K.
Alors
_
y F
_
A

y K
+
_
+
= |Ax / x K|
4 Conditions doptimalit
Dnition : Vecteur tangent
Soient X E et x E. On dit que le vecteur d E est tangent X en x sil existe une suite
|d
k
| E et une suite |t
k
|
++
telles que
d
k
d, t
k
0, t > 0, x + t
k
d
k
X
On note T
x
X lensemble des vecteurs tangents X en x et on lappelle le cne tangent.
Une dnition plus pratique est de dire que d E est tangent X en x sil existe une suite
|x
k
| E et une suite |t
k
|
++
telles que
|x
k
| X, t
k
0, t > 0,
x
k
x
t
k
d
Proprit :
T
x
X est un cne ferm.

4
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
4.1 Problme sans contrainte 4 CONDITIONS DOPTIMALIT
Thorme : CN1
Si x

est un minimum local de (P

X
) et si f est drivable en x

, on a
d T
x
X, f
/
(x

) d 0.
Ceci scrit aussi
f (x

) (T
x

X)
+
o est le gradient pour le produit scalaire de E et ()
+
dsigne le dual pour ce mme
produit scalaire.
Proprit : CN1 et CS1 en prsence de convexit
Supposons que X soit convexe et que f ait des drives directionnelles en un point x

X. Si
x

est un minimu local de (P

x
), on a
x X, f
/
(x

; x x

) 0.
Inversement, si f est convexe sur le convexe X et si lquation ci-dessus est vrie, alors x

est un minimum global de (P

X
).
4.1 Problme sans contrainte
On considre le problme sans contrainte
min
xE
f (x)
avec, ici X = E convexe. La condition CN1 et CS1 devient alors :
Proprit : Corrolaire CN1, CS1, sans contrainte
Supposons f : E soit drivable en x

E. Si f a un minimum local en x

alors
f
/
(x

) = 0 ou f (x

) = 0.
Inversement, si f est convexe et si f
/
(x

) = 0 alors x

est un minimum global de f sur E.

Proprit : CN2CS2
Supposons que x

soit un minimum local de f sur E et que f soit drivable dans un

voisinage de x

et deux fois drivable en x

. Alors
f (x

) = 0 et
2
f (x

) est semie-dnie positive.

Si f est drivable dans un voisinage de x

et deux fois drivable en x

et si
f (x

) = 0 et
2
f (x

) est dnie positive,

alors x

est un minimum local strict de f .

5
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
4.2 Problmes avec contraintes dgalit 4 CONDITIONS DOPTIMALIT
4.2 Problmes avec contraintes dgalit
On se place dans cette section dans le cas dun problme doptimisation dans lequel lensemble
admissible nest pas E tout entier mais une partie de celui-ci dnie par :
X := |x E / c(x) = 0|.
c est une fonction de E dans F respectivement de dimension n et m. Le problme doptimisation est
alors not
(P
E
) =
_
min f (x)
c(x) = 0
,
o f de E dans en est le critre.
4.2.1 Conditions de LAGRANGE
Proprit : Conditions de Lagrange
Supposons que c : E F soit drivable en x X. Alors
T
x
X ker(c
/
(x)).
Si, de plus, c
/
(x) est surjective et si c est (
1
dans un voisinage de x, alors il y a galit des
deux ensembles.
Dnition : Contrainte qualie
On dit que la contrainte de (P
E
) est qualie en x X si c est drivable en x et si
T
x
X = ker(c
/
(x)).
Proprit : CN1
Soit x

une solution locale de (P

E
). Supposons que f et c soient drivables en x

et que la
contrainte soit qualie en x

. Alors, il existe un vecteur

F tel que
f (x

) + c
/
(x

= 0,
o f (x

) est le gradient de f en x

et c
/
(x

: F E est loprateur adjoint de la jacobienne

c
/
(x

) pour les produits scalaires donns sur E et sur F.

Le vecteur

est unique si c
/
(x

) est surjective. Ce vecteur sappelle le multiplicateur de LA-

GRANGE.
On appelle point stationnaire du problme (P
E
) un point x

vriant ses conditions ncessaires

doptimalit du premier ordre :
_
f (x

) + c
/
(x

= 0
c(x

) = 0,
pour un certain multiplicateur

F.
Dnition : Lagrangien
On introduit le lagrangien qui est la fonction
: E F
dnie par
(x, ) = f (x) +, c(x).

6
C
H
U
P
I
N
M
a
x
i
m
e

3
j
a
n
v
i
e
r
2
0
1
0
4.2 Problmes avec contraintes dgalit 4 CONDITIONS DOPTIMALIT
Proprit : CS1
Supposons que le problme (P
E
) soit convexe et que x

E vrie la contrainte de (P
E
), que f
soit drivable en x

et quil existe un multiplicateur

F tel que (x

) vrie
_

x
(x

) = 0
c(x

) = 0
.
Alors x

est un minimum global de (P

E
).
4.2.2 Conditions du second ordre
Lemme :
Soit x

E un minimum local de (P
E
) et supposons que f et c soient drivables dans un voisi-
nage de x

et deux fois drivable en x

. On note L

=
2
x x
(x

). Sil existe un multiplicateur

F tel que

x
(x

) = 0,
alors
d T
x

X,
_
L

d, d
_
0.
Proprit : CN2
Soit x

un minimum local de (P
E
) et supposons que f et c soient drivables dans un voisinage
de x

et deux fois drivable en x

et que la contrainte c soit qualie en x

. Alors, il existe un
multiplicateur

F tel que lon ait

x
(x

) = 0.
De plus L

est semie-dnie positive sur ker(c

/
(x

)), cest--dire
d ker(c
/
(x

)),
_
L

d, d
_
0.
Proprit : CS2
Supposons que f et c soient drivables dans un voisinage de x

et deux fois drivable en x

.
Supposons que c(x

) = 0 et quil existe

F tel que lon ait

x
(x

) = 0
et
d T
x

X\|0|,
_
L

d, d
_
> 0.
Alors x

est un minimum local strict de (P

E
).

7