Travaux diriges.

1
Optimisation & Analyse convexe
Seance 2 : Existence, unicite et caracterisation du minimum
Exercice 1 . On consid`ere la matrice A IR
33
et le vecteur b IR
3
denis par :
A =
_
_
2 1 0
1 2 1
0 1 2
,
_
_
b =
_
_
3
1
2
_
_
.
Calculer le minimum de la fonction J : v IR
3

1
2
(Av, v) (b, v) sur lensemble K :
(a) K := {v IR
3
; v
2
+ v
3
= 0}
(b) K := {v IR
3
; v
2
+ v
3
= 0, v
1
0}
Corrige 1 . Notons dabord que la matrice A est denie-positive. Donc la fonctionnelle
J admet bien un minimum unique qui est caracterise par linequation dEuler.
(a) Supposons que K = {v IR
3
; v
2
+ v
3
= 0}. On note par C =
_
0 1 1
_
, et par u
le minimum de J sur K. Les conditions doptimalite secrivent :
IR, Au + C
T
= b et Cu = 0.
Ou encore,
IR,
_

_
2u
1
u
2
= 3
u
1
+ 2u
2
u
3
+ = 1
u
2
+ 2u
3
+ = 2
u
2
+ u
3
= 0
(1)
La resolution de ce syst`eme donne que
u =
_
19/11 5/11 5/11
_
T
, = 7/11.
(b) Dabord on reecrit la contrainte v
2
+v
3
= 0 sous la forme v
2
+v
3
0 et v
2
v
3
0.
En posant

C =
_
_
1 0 0
0 1 1
0 1 1
_
_
,
lensemble des contraintes se reecrit : K = {v |

Cv 0}. Les conditions doptimalite
impliquent :

1
,
2
,
3
0, Au +

C
T
= 0,

Cu 0, et
i
[

Cu]
i
= 0.
Ce qui donne :

1
,
2
,
3
0,
_

_
2u
1
u
2

1
= 3
u
1
+ 2u
2
u
3
+
2

3
= 1
u
2
+ 2u
3
+
2

3
= 2
u
2
+ u
3
= 0
et
1
u
1
= 0, u
1
0
2 Travaux diriges.
ou encore,

1
0, IR,
_

_
2u
1
u
2

1
= 3
u
1
+ 2u
2
u
3
+ = 1
u
2
+ 2u
3
+ = 2
u
2
+ u
3
= 0
et
1
u
1
= 0, u
1
0.
Pour la resolution de ce syst`eme, on va distinguer 2 cas. On suppose dabord que

1
= 0. Dans ce cas la solution (u, ) serait solution de (1) et verierait en plus
u
1
0. Or, on a vu en (a) que lunique solution de (1) ne verie pas u
1
0.
Reste le 2e cas o` u u
1
= 0 et
1
> 0 :

1
> 0, IR,
_

_
u
2

1
= 3
+2u
2
u
3
+ = 1
u
2
+ 2u
3
+ = 2
u
2
+ u
3
= 0
On trouve alors que la solution est :
u =
_
0 1/6 1/6
_
T
,
1
= 19/6, = 3/2.
Exercice 2 (Projection sur un convexe).
Soit K une partie convexe non vide et fermee de IR
n
.
1. Montrer que pour tout u IR
n
, il existe un unique point u
0
K tel que :
u
0
u
2
= Inf
vK
v u
2
. (2)
Justier que u
0
est lunique point de K tel que :
(u
0
u, u
0
v) 0 v K. (3)
2. Montrer que lapplication projection sur K, u P
K
(u) = u
0
est 1-Lipshitz, i.e.
u
1
, u
2
IR
n
, P
K
(u
1
) P
K
(u
2
)
2
u
1
u
2

2
.
Corrige 2 .
1. On se xe u IR
n
, et on consid`ere lapplication J : v K v u. Il est clair
que lapplication J est continue. De plus J(v) v u, donc
lim
vK,v+
J(v) = +,
ce qui prouve que J est innie `a linni. Lensemble K etant ferme et non vide, on
conclut que J atteint le minimum sur K (i.e, le probl`eme (2) admet une solution).
Il nous reste `a prouver que la solution est unique. Remarquons dabord que la
fonction J est convexe sans etre strictement convexe, on ne peut donc pas utiliser
directement les theor`emes du cours pour prouver lunicite du minimum de J.
Travaux diriges. 3
Par contre, remarquons que le minimum de J sur K est aussi solution de
u
0
u
2
= Inf
vK
v u
2
, (4)
et la fonction J
2
: v K v u
2
est strictement convexe, donc J
2
ne peut
avoir plus quun minimum sur K. On en deduit que J admet un minimum unique
u
0
dans K (ce minimum est aussi la solution de (4)).
De plus, la fonction J
2
est derivable sur IR
n
et
(J
2
(u
0
), h) = 2(u
0
u, h) h IR
n
.
La condition necessaire (et susante, puisque J
2
est convexe) de minimalite de J
2
en u
0
secrit :
(J
2
(u
0
), u
0
v) 0 v K.
On en deduit alors que u
0
est caracterise par (3).
2. Soient u
1
, u
2
IR
n
. Dapr`es (3), pour tout v K, on a :
_ _
P
K
(u
1
) u
1
, P
K
(u
1
) v
_
0
_
P
K
(u
2
) u
2
, P
K
(u
2
) v
_
0
en choisissant v = P
K
(u
2
) dans la 1`ere inegalite et v = P
K
(u
1
) dans la deuxi`eme, et
en ajoutant membre `a membre ces deux inegalites on trouve
_
P
K
(u
1
) u
1
+ u
2
P
K
(u
2
), P
K
(u
1
) P
K
(u
2
)
_
0 (5)
ou encore
_
u
2
u
1
, P
K
(u
1
) P
K
(u
2
)
_
+ P
K
(u
1
) P
K
(u
2
)
2
0. (6)
En appliquant linegalite de Cauchy-Schwartz, il vient
P
K
(u
1
) P
K
(u
2
)
2
u
1
u
2
P
K
(u
1
) P
K
(u
2
) (7)
do` u
P
K
(u
1
) P
K
(u
2
) u
1
u
2
. (8)
Exercice 3 (Probl`eme de moindres carres).
Soit A une matrice mn et b un vecteur de IR
m
. On consid`ere le probl`eme suivant :
(P) : inf
vIR
n
Av b
IR
m
o` u
IR
m
designe la norme euclidienne sur IR
m
.
1. Interpreter (P) comme un probl`eme de projection. En deduire que (P) admet au
moins une solution dans IR
n
. Discuter son unicite en fonction du rang de A.
4 Travaux diriges.
2. Montrer que u est solution de (P) si, et seulement si,
A
t
Au = A
t
b
Retrouver en fonction du rang de A, les resultats de la question precedente sur
lunicite.
3. On pose J(v) =
1
2
Av b
2
IR
m. Pour > 0, on note
J

(v) = J(v) +

2
v
2
IR
n.
(a) Montrer quil existe un unique u

IR
n
tel que J

(u

) = inf
vIR
n
J

(v).
(b) Ecrire lequation dEuler satisfaite par u

.
(c) Montrer que u

u pour tout u solution de (P). En deduire que u

converge, lorsque 0
+
, vers la solution de (P) de norme minimale.
Corrige 3 .
1. Le probl`eme (P) peut sinterpreter comme
(P

) inf
yImA
y b,
qui est la probl`eme de la projection de b sur ImA. Rappelons que lespace-image
ImA est un sous-espace vectoriel ferme convexe de IR
m
. Dapr`es lexercice precedent,
(P

) admet une unique solution y ImA et lensemble S des solutions de (P) est
S = {v IR
n
| Av = y} = v + ker A,
o` u v est une solution de A v = y. On en deduit que S est un singleton si et seulement
si A est injective, cest-`a-dire si rgA = n. Notons que ceci nest possible que si n m.
2. Dapr`es lexercice precedent, la solution y de (P

) est caracterisee par,

( y b, y y) 0 y ImA.
Soit u une solution de (P), on a Au = y et donc une condition necessaire et susante
de minimalite en u est donne par :
(Au b, Au Av) 0 v IR
n
,
ce qui est equivalent `a
(A
T
(Au b), h) = 0 h IR
n
.
Finalement toute solution u de (P) est caracterisee par
A
T
Au = A
T
b. (9)
On retrouve le resultat precedent sur lunicite de la solution puisque si rgA = n
(i.e., A est injective), alors A
T
A est inversible, car
A
T
Ax = 0 = (A
T
Ax, x) = 0 = Ax
2
= 0 = Ax = 0 = x = 0,
et (9) admet une unique solution.
Travaux diriges. 5
3. (a) La fonction J

est continue . Elle est aussi innie `a linni puisque pour tout
v IR
n
on a J

(v)

2
v
2
. Donc (P

) admet au moins une solution. De plus,

J est convexe et v v
2
est strictement convexe donc J

est elle-meme stric-

tement convexe. On en deduit lunicite de la solution u

de (P

).
(b) Notons que la fonction J

est derivable sur IR

n
. La condition necessaire (et
susante) doptimalite en u

secrit J

(u

) = 0, soit
A
T
Au

A
T
b + u

= 0. (10)
(c) Soit u une solution de (P). Par denition de loptimalite, on a :
_
inf
v
J

(v) = J

(u

) J

(u),
inf
v
J(v) = J(u) J(u

).
On en deduit,

2
(u

2
u
2
) J(u) J(u

) 0,
ce qui prouve que u

u pour toute solution u de (P).

(d) Soit (
k
)
k
une suite tendant vers 0. La suite (u

k
)
k
est bornee. On peut donc
en extraire une sous suite convergente vers u

. Comme u

k
u, on en
deduit que u

u. De plus en passant `a la limite dans lequation dEuler

de J

, on obtient : A
T
A(u

u) = 0 et u

est donc la solution de (P) de norme

minimale. Celle-ci existe est unique car solution du probl`eme : inf
u|A
T
Au=A
T
b
u.
Comme u

est unique, cest toute la suite u

k
qui converge vers u

et u

converge
bien vers u

quand 0, car sinon on pourrait extraire une suite qui ne

verierait pas la propriete precedente.
Exercice 4 . Soient A IR
nn
une matrice symetrique denie positive, u IR
n
le vecteur
deni par u
i
= 1 pour i = 1, n et e IR
n
un vecteur tel que 0 < e
1
< e
2
< < e
n
.
Dans toute la suite, on suppose que n 3.
Pour IR et IR
+
donnes, on denit ensuite les ensembles
C
1
() = {x IR
n
, (u, x) = 1 et (e, x) = },
C
2
() = {x IR
n
, (u, x) = 1 et
1
2
(Ax, x) = }.
Dans la suite du probl`eme on cherche `a resoudre les probl`emes
Inf
xC
1
()
1
2
(Ax, x) (11)
Sup
xC
2
()
(e, x) (12)
1. Montrer que pour tout IR, lensemble des contraintes C
1
() est non vide, ferme
et non borne. En deduire que le probl`eme (11) admet une solution unique.
6 Travaux diriges.
2. Montrer que pour certaines valeurs de IR
+
, lensemble C
2
() est non vide, ferme
et borne. En deduire que le probl`eme (12) admet au moins une solution.
3. On note le multiplicateur de Lagrange associe `a la contrainte (u, x) = 1 et le
multiplicateur de Lagrange associe `a la contrainte (e, x) = . On denit ensuite les
reels a, b, c et d par
a = (A
1
u, u), b = (A
1
u, e), c = (A
1
e, e) et d = b
2
ac.
En utilisant les conditions doptimalite associees `a lensemble C
1
(), montrer que la
solution x du probl`eme (11) verie
= (c b)/d; (13a)
= (a b)/d; (13b)
x = A
1
(u + e). (13c)
4. On dit quune solution x est eciente si elle est solution commune aux probl`emes
(11) et (12), et on appelle fronti`ere decience la courbe du plan (, ) correspon-
dant `a lensemble de ces solutions lorsque et varient. Determiner la fronti`ere
decience des probl`emes (11) et (12).
Corrige 4 .
1. On construit le vecteur y IR
n
par les relations :
y
1
=
e
n

e
n
e
1
, y
2
= . . . , y
n1
= 0, y
n
=
e
1
e
n
e
1
.
Ce vecteur verie (y, e) = et (y, u) = 1. Donc lensemble C
1
() nest pas vide ;
cest par ailleurs un ensemble ferme car les contraintes sont anes. Enn il nest pas
borne : pour tout p IR, le vecteur y
p
= y +pz, avec z = ue verie les contraintes,
et sa norme tend vers linni avec p.
La matrice A etant symetrique denie positive, on a aussi lim
x+
1
2
(Ax, x) = +.
Le probl`eme (11) admet donc une solution. De plus cette solution est unique car la
fonctionnelle est strictement convexe et C
1
() est un ensemble convexe ferme non
vide.
2. La fonction x IR
n
J(x) =
1
2
(Ax, x) IR
+
est une fonction continue ; pour
IR
+
lensemble
C

2
() = {x IR
n
,
1
2
(Ax, x) = }
est donc un ensemble ferme ; il est de plus borne puisque
1
2

min
(A)x
2
2

1
2
(Ax, x) = x C

2
(), x
2

min
(A)
.
Travaux diriges. 7
De meme lensemble
C(u) = {x IR
n
, (u, x) = 1}
est ferme, et on peut le caracteriser comme suit :
C(u) = {
1
n
u + v, v {u}

}.
Lensemble C
2
() = C

2
() C(u) est donc un sous-ensemble ferme borne de IR
n
; `a
quelle condition est-il non vide ?
Une condition susante sur pour que lensemble C
2
() ne soit pas vide sobtient
de la mani`ere suivante : on recherche les elements de C
2
() sous la forme x + y
avec x = u/n, y {u}

et IR, veriant
(A(x + y), x + y) = 2
soit (Ax, x) 2 + 2(Ax, y) +
2
(Ay, y) = 0
Ce trinome en admet deux racines reelles si et seulement si
= (Ax, y)
2
(Ay, y)((Ax, x) 2) 0
soit (Ax, y)
2
(Ay, y)((Ax, x) 2)
comme (Ay, y) 0 cette condition est realisee si (Ax, x) < 2. Or
(Ax, x)
max
x
2
=
max
/n,
donc
max
/(2n) est une condition susante pour que C
2
() = .
3. La solution x du probl`eme (11) et les multiplicateurs de Lagrange et sont lies
par les relations
J(x) + u + e = 0 = Ax + u + e
(x, e) =
(x, u) = 1
on en deduit que x = A
1
(u + e), et que et verient
b + c =
a + b = 1
syst`eme lineaire inversible si d = b
2
ac = 0, et dont la solution unique est
=
c b
d
et =
a b
d
.
Il reste donc `a demontrer que d = 0 : la relation
(A
1
(u + e), (u + e)) = (A
1
e, e)
2
+ 2(A
1
u, e) + (A
1
u, u) > 0
se traduit en
a
2
+ 2b + c > 0,
on en deduit d = b
2
ac < 0.
8 Travaux diriges.
4. La solution x commune aux deux probl`emes verie
=
1
2
(Ax, x) = (a
2
2b + c)/2d
qui denit une parabole dans le plan (, ). Cette parabole admet un minimum en
(b/a, 1/2a). Pour tout IR donne il existe une valeur unique sur la parabole, par
contre pour calculer `a partir dune valeur de donnee, il faut necessairement que
1/2a. Sous cette condition deux valeurs de sont associees sur la parabole, la
solution du probl`eme (12) est, par denition, la plus grande des deux. La fronti`ere
decience est donc la branche de parabole
= (a
2
2b + c)/d
correspondant aux valeurs b/a.
1/2a

b/a
Commentaire : Ce type de probl`eme doptimisation modelise letude decience
dun portefeuille dactions. Soit un portefeuille compose de n 3 actions `a risque
(a
1
, a
2
, . . . , a
n
), on note x
i
la proportion de laction a
i
dans le portefeuille. Le vecteur
x = (x
1
, x
2
, . . . , x
n
)
T
qui represente la composition du portefeuille, verie

i
x
i
= 1 = (u, x) et x
i
0 i = 1, 2, . . . , n.
Le rendement de laction a
i
est modelise par une variable aleatoire r
i
, de moyenne
e
i
= E(r
i
). On introduit le vecteur rendement moyen e = (e
1
, e
2
, . . . , e
n
)
T
, puis la matrice
de variance-covariance A par la relation
A
i,j
= E[(r
i
E(r
i
))(r
j
E(r
j
))] 1 i, j n.
Le rendement du portefeuille est calcule par la fonctionnelle (x) = (e, x), tandis que
le risque du portefeuille est calcule par la fonctionnelle (x) =
1
2
(Ax, x).
On dit alors quun portefeuille x est ecient, sil est `a la fois solution du probl`eme
(11) et du probl`eme (12). Ce portefeuille assure donc `a la fois un rendement maximal
pour un risque donne , et un risque minimal pour un rendement impose .
Travaux diriges. 9
Exercice 5 (Longueur minimale).
Soit
J : IR
n+2
IR
v = (v
0
, . . . , v
n+1
) h
n

i=0

1 +
_
v
i+1
v
i
h
_
2
= J(v)
o` u h = 1/(n + 1) et n > 0.
1. Donner une interpretation geometrique de J(v). Montrer que la fonction J est
convexe. Est-elle strictement convexe ?
2. On consid`ere le probl`eme de minimisation de J sur lensemble K IR
n+2
suivant :
K = {v = (v
0
, ..., v
n+1
) IR
n+2
, v
0
= 0, v
n+1
= 1}
Discuter lexistence, lunicite, et caracteriser la (ou les) solution(s) eventuelle(s).
Corrige 5 .
1. Interpretation : J(v) represente la longueur de la courbe continue ane par
morceau passant par les points (x
i
, v
i
) o` u x
i
= ih. En eet la longeur entre (x
i
, v
i
)
et (x
i+1
, v
i+1
) est
l
i
=
_
(x
i+1
x
i
)
2
+ (v
i+1
v
i
)
2
= h

1 +
_
v
i+1
v
i
h
_
2
.
Convexite : Notons que la fonction g : x h
_
1 +
_
x
h
_
2
est convexe (et meme
strictement convexe) sur IR car on a g

(x) =
1
h
1
(1 +
x
2
h
2
)
3/2
> 0, pour tout x IR.
Aussi, pour tout i = 0, , n, lapplication
q
i
: v = (v
0
, , v
n
) v
i+1
v
i
(14)
est ane. Or lapplication v h
_
1 +
_
v
i+1
v
i
h
_
2
est egale `a la composee g q
i
,
elle est donc convexe puisque [0, 1], u, v IR
n+2
, on a
q
i
(u + (1 )v) = q
i
(u) + (1 )q
i
(v);
et g q
i
(u + (1 )v) = g (q
i
(u) + (1 )q
i
(v))
g(q
i
(u)) + (1 )g(q
i
(v)).
Ainsi la fonction J =
n

i=0
g q
i
, comme somme de fonctions convexes, est convexe.
Stricte convexite. Si on prend u = (0, , 0) et v = (1, , 1), on a J(
u + v
2
) =
J(u) + J(v) = (n + 1)h = 1 et donc
J(
u + v
2
) =
1
2
J(u) +
1
2
J(v);
ce qui prouve que J nest pas strictement convexe.
10 Travaux diriges.
2. Remarquons dabord que
inf
v=(v
0
,v
1
, ,vn,v
n+1
)K
J(v) = inf
w=(v
1
, ,vn)IR
n
q(w),
o` u q : w IR
n

n1

i=1
h

1 +
_
w
i+1
w
i
h
_
2
+h
_
1 +
_
w
1
h
_
2
+h

1 +
_
1 w
n
h
_
2
.
Existence dun minimum. Montrons que q est innie `a linni.
On a :

1 + x
2
|x| et donc, pour tout k = 1, , n
q(w)
k1

i=1
|w
i+1
w
i
| +|w
1
| |w
1
| +
k1

i=1
_
|w
i+1
| |w
i
|
_
= |w
k
|.
Donc q(w) sup
k{1, ,n}
|w
k
| = w

. Ainsi, lim
w+
q(w) +.
De plus, IR
n
est un ferme et q est continue, donc q admet un minimum sur IR
n
.
Unicite du minimum. Nous allons montrer que q est strictement convexe sur
IR
n
(ou, ce qui revient au meme, que J est strictement convexe sur K). Pour cela,
supposons quil existe u, v IR
n
tels que :
q(u + (1 )v) = q(u) + (1 )q(v) avec ]0, 1[, (15)
et montrons que necessairement u = v. Comme q est convexe (car J est convexe),
ceci prouvera bien la stricte convexite. Pour i = 1, , n 1, on note par q
i
la
fonction denie en (14), et on redenit les fonctions q
0
et q
n
par
q
0
(w) = w
1
, et q
n
(w) = 1 w
n
.
Avec ces notations, on rappelle quon a :
q((u + (1 )v) =
n

i=0
g(q
i
(u + (1 )v))
=
n

i=0
g(q
i
(u) + (1 )q
i
(v))

i=0
g(q
i
(u)) + (1 )g(q
i
(v)) = q(u) + (1 )q(v).(16)
Donc si (15) est veriee necessairement on a des egalites dans (16) :
i = 0, , n, g(q
i
(u) + (1 )q
i
(v)) = g(q
i
(u)) + (1 )g(q
i
(v)).
Or g est strictement convexe et ]0, 1[. Donc necessairement q
i
(u) = q
i
(v) pour
tout i = 0, , n. On en deduit que
_
_
_
u
1
= v
1
;
u
i+1
u
i
= v
i+1
v
i
i = 1, , n 1;
1 u
n
= 1 v
n
Travaux diriges. 11
Ce qui prouve bien que u = v et q est strictement convexe. Lunicite du minimum
est alors imediate.
Condition necessaire doptimalite. Soit u IR
n
le minimum, on a alors :
q(u) = 0, ou encore
q
u
i
= 0 i = 1, , n. (17)
Or
q
u
i
=
u
i
u
i1
_
h
2
+ (u
i
u
i1
)
2

u
i+1
u
i
_
h
2
+ (u
i
u
i+1
)
2
,
avec u
0
= 0 et u
n+1
= 1. On obtient donc :
u
i
u
i1
_
h
2
+ (u
i
u
i1
)
2
=
u
i+1
u
i
_
h
2
+ (u
i
u
i+1
)
2
,
pour tout i = 1, , n. La fonction x
x

h
2
+x
2
etant strictement croissante, il
vient que :
u
i
u
i1
= u
i+1
u
i
= C, i = 1, , n.
Donc u
1
= u
0
+ C = 0 + C = C, u
2
= u
1
+ C = 2C, , u
n+1
= (n + 1)C. Or
u
n+1
= 1, do` u C =
1
n + 1
= h et u
k
= kh. (Ce qui correspond `a la droite passant
par (0, 0) et (1, 1)).
Commentaire : Vu la convexite de la fonction q, la condition doptimalite (17) est
necessaire et susante. Le fait que (17) possede exactement une solution est aussi
un argument susant pour conclure que le probl`eme admet une unique solution.