Resume dOptimisation

MI5 Master Pro 1ere annee

Jean-Pol Guillement
Departement de Mathematiques

Nantes 2010/2011
2
Table des matieres

Introduction 5

1 Rappels 7
1.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Formules de Taylor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Condition dordre 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Equation dEuler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Conditions dordre 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.1 Condition de Legendre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2 Condition suffisante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Extrema lies, multiplicateurs de Lagrange . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 Programmation lineaire 9
2.1 Generalites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Probleme sous forme standard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Caracterisation des sommets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Methode du simplexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3 Programmation en dimension 1 11
3.1 Generalites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Methode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.3 Interpolation quadratique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.4 Methode par decoupage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4 Prise en compte de la convexite 13

4.1 Condition necessaire de minimum sur un convexe . . . . . . . . . . . . . . . . . . . . . 13
4.2 Caracterisation des fonctions convexes derivables . . . . . . . . . . . . . . . . . . . . . 13
4.3 Minimum des fonctions convexes sur un convexe . . . . . . . . . . . . . . . . . . . . . 13
4.4 Fonctions coercives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.5 Notation : probleme (P ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.6 Existence de minimum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.7 Fonctionnelles elliptiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.8 Caracterisation des fonctionnelles elliptiques . . . . . . . . . . . . . . . . . . . . . . . . 14
4.9 Minimum des fonctions elliptiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.10 Fonctionnelles quadratiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.11 Resolution des systemes lineaires au sens des moindres carres . . . . . . . . . . . . . . 15
4.12 Projection sur un convexe ferme non vide . . . . . . . . . . . . . . . . . . . . . . . . . 15

5 Optimisation sans contrainte 17

5.1 Methodes de descente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
5.1.1 Methode de la relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
5.1.2 Methode de la plus profonde descente (methode du gradient) . . . . . . . . . . 17
5.2 Methode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.3 Methode de la metrique variable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.4 Methode du gradient conjugue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5.4.1 Cas des fonctionnelles quadratiques . . . . . . . . . . . . . . . . . . . . . . . . . 19
5.4.2 Cas des fonctionnelles non quadratiques . . . . . . . . . . . . . . . . . . . . . . 19
4 TABLE DES MATIERES

6 Optimisation avec contraintes 21

6.1 Relations de Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
6.1.1 Cas des contraintes non convexes . . . . . . . . . . . . . . . . . . . . . . . . . . 21
6.1.2 Cas des contraintes convexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
6.2 Interpretation des relations de Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . . . . . 22
6.3 Point-selles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.4 Lagrangien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.5 Point-selle du Lagrangien et solution du probleme (P ) . . . . . . . . . . . . . . . . . . 23
6.6 Probleme dual du probleme (P ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.7 Methode dUzawa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6.7.1 Demarche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.7.2 Calcul de k+1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.7.3 Calcul de Gk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.7.4 Condition suffisante de convergence de la methode dUzawa . . . . . . . . . . . 24

Bibliographie 24
Introduction

Ceci un resume des principaux resultats du cours doptimisation. Il est autorise aux controles.
6 Introduction
Chapitre 1

Rappels

1.1 Notations
Si f est une fonction reguliere de E = Rn R, on note sa derivee en x0 par fx0 0 ou f 0 (x0 )( L(E, R)),
sa derivee seconde en x0 par fx000 ou f 00 (x0 )( B(E, R)), son gradient en x0 par fx0 ou f (x0 )( E),
sa matrice hessienne par 2 fx0 . La matrice Hessienne peut etre vue comme une matrice symetrique
n n, comme un operateur lineaire de E dans E ou comme une forme bilineaire symetrique sur E.

1.2 Formules de Taylor

([3, p.151-146])
Les formules de Taylor different selon lordre, lecriture du reste, lutilisation des derivees ou du
gradient et de la matrice Hessienne. En voici deux exemples :
Si f est deux fois derivable on a :

1
f (x0 + h) = f (x0 ) + f 0 (x0 )h + f (x0 )(h, h) + (h)khk2 .
2

Si f est de classe C 2 on a :
Z 1
1
f (x0 + h) = f (x0 ) + ht .f x0 + ht .2 fx0 .h + (1 t)ht .2 f (x0 + th).h dt
2 0

1.3 Condition dordre 1

1.3.1 Equation dEuler
([3, p.146])
Soit un ouvert de E et soit f : R. Si f admet un extremum local en x et si f est derivable
en x alors
(equation dEuler)
f 0 (x ) = 0

1.4 Conditions dordre 2

1.4.1 Condition de Legendre
([3, p.152])
Soit un ouvert de E et soit f : R. Si f admet un minimum local en x et si f est deux
fois derivable en x alors
(condition de Legendre)

f (x ) est une forme bilineaire symetrique positive.

8 Rappels

1.4.2 Condition suffisante

([3, p.152])
Soit un ouvert de E et soit f = R. Si f est deux fois derivable sur , si f 0 (x ) = 0 et si f (x)
est positive dans un voisinage de x , alors f a un minimum local en x .

1.5 Extrema lies, multiplicateurs de Lagrange

([3, p.148])
Soit un ouvert de E, soit f : R, soient i : R, i = 1, .., m.
On suppose que les i C 1 ().
Soit x K = {x , i (x) = 0, i = 1...m} tel que les derivees 0i (x ) soient lineairement
independantes (dans L(E, R)) et tel que f soit derivable en x .
Alors si f admet un extremum local relativement a K en x , il existe 1 , ..., m uniques (multiplicateurs
de Lagrange) tels que

f (x ) + 1 1 (x ) + ... + m m (x ) =0
Chapitre 2

Programmation lineaire

Pas enseigne cette annee. (Voir [3], [5], [7], [9]).

2.1 Generalites
2.2 Probleme sous forme standard
2.3 Caracterisation des sommets
2.4 Methode du simplexe
10 Programmation lineaire
Chapitre 3

Programmation en dimension 1

3.1 Generalites
3.2 Methode de Newton
3.3 Interpolation quadratique
3.4 Methode par decoupage
12 Programmation en dimension 1
Chapitre 4

Prise en compte de la convexite

4.1 Condition necessaire de minimum sur un convexe

([3, p.153])
Soit K un convexe dans ouvert de E. Soit f : R.
Si f admet un minimum relativement a K en x , et si f est derivable en x alors
(Inequation dEuler)
f 0 (x )(x x ) 0 x K

4.2 Caracterisation des fonctions convexes derivables

([3, p.154-155]))
Soit K un convexe dans ouvert de E. Soit f : R derivable sur .
1. f est convexe sur K si et seulement si

f (x) f (x0 ) + f 0 (x0 )(x x0 ) x, x0 K

2. f est strictement convexe sur K si et seulement si

f (x) > f (x0 ) + f 0 (x0 )(x x0 ) x, x0 K, x 6= x0

3. On suppose que f est deux fois derivable dans . Alors f est convexe sur K si et seulement si

f (x)(y x, y x) 0, x, y K

4. On suppose que f est deux fois derivable dans . Si

f (x)(y x, y x) > 0, x, y K, x 6= y

alors f est strictement convexe sur K.

4.3 Minimum des fonctions convexes sur un convexe

([3, p.156-175])
Soit K un convexe dans ouvert de E, soit f : R convexe sur K.
1. Si f admet un minimum local en x K, relativement a K, ce minimum est un minimum global.
2. Si f est strictement convexe sur K, f admet au plus un minimum local relativement a K (qui
est aussi un minimum strict et global)
3. Si f est derivable en x K, alors f admet un minimum par rapport a K en x si et seulement
si
(Inequation dEuler)
f 0 (x )(x x ) 0 x K
ou, en terme de gradient
(fx , x x ) 0, x K.
14 Prise en compte de la convexite

4. Si K est un sous espace vectoriel linequation dEuler est equivalente a

f 0 (x )(x) = 0, x K.

ou, en terme de gradient

fx K
5. Si K est ouvert, linequation dEuler est equivalente a la condition dEuler

f 0 (x ) = 0

4.4 Fonctions coercives

([3, p.175])
Une fonction f : E R, est dite coercive si lim f (x) = +
kxk

4.5 Notation : probleme (P )

Dans la suite, quand on parle du probleme (P ), il sagit de la recherche de x tel que
(
f (x ) = inf f (x)
(P )
xKE
x K

4.6 Existence de minimum

([3, p. 175])
1. Si K est un ferme borne non vide de E, si f est continue alors le probleme (P ) a au moins une
solution.
2. Si K est ferme non borne de E, si f est continue et coercive, alors le probleme (P ) a au moins
une solution.
3. Si K est un convexe ferme non vide de E, si f est continue, coercive, strictement convexe sur
K, alors le probleme (P ) a une solution et une seule.

4.7 Fonctionnelles elliptiques

([3, p. 183])
Une fonction f : E R, de classe C 1 est dite elliptique sil existe > 0 tel que

(fx fy , x y) kx yk2 x, y E

4.8 Caracterisation des fonctionnelles elliptiques

Une fonction f : E R, deux fois derivable, est elliptique si et seulement si il existe > 0 tel que

(2 fx0 x, x) kxk2 , x, x0 E

4.9 Minimum des fonctions elliptiques

Soit K est un convexe ferme non vide de E et f : E R elliptique.
1. f est strictement convexe, coercive, et verifie

f (x) f (x0 ) (fx 0 , x x0 ) + kx x0 k2 x, x0 E
2

2. Le probleme (P ) a une solution et une seule.

4.10 Fonctionnelles quadratiques 15

3. x K est solution de (P ) si et seulement si

(Inequation dEuler)
(fx , x x ) 0, x K.
4. On suppose que K = E. Alors x est solution de (P ) si et seulement si

fx = 0

4.10 Fonctionnelles quadratiques

Ce sont les fonctions de la forme
1
f (x) = (Ax, x) (b, x) + c
2
A etant un matrice symetrique (operateur de E E), b E, c R.
Elles sont de classe C , f = Ax b, 2 f = A.
Elles sont elliptiques si et seulement si la plus petite valeur propre de A est > 0 et dans ce cas, si
K = E, le probleme (P ) a une solution et une seule, qui est aussi la solution de Ax = b.

4.11 Resolution des systemes lineaires au sens des moindres

carres
M est une matrice a m lignes et n colonnes, v Rm .
Il sagit de trouver x E tel que kM x vk2 soit minimal, ou encore de resoudre le probleme

(P ) f (x ) = inf f (x)
xE

avec f (x) = 21 kM x vk2 12 kvk2 .

f se met sous la forme dune fonctionnelle quadratique avec A = M t M, et b = M t v.
Le probleme (P ) a au moins une solution. Ses solutions sont caracterisees par
(Equations normales)
M t M x = M t v
Si le rang de M est n, le probleme (P ) a une solution et une seule.

La solution peut se calculer par resolution du systeme triangulaire

Rx = P Qt v

ou Q et R sont les matrices de la decomposition QR de la matrice M , M = QR, et P la projection

de Rm sur Rn {0}mn .

4.12 Projection sur un convexe ferme non vide

Soit K un convexe ferme non vide de E. Soit x E.
Il existe Px K, unique, tel que d(x, K) = kx Px k. La projection Px est caracterisee par

(x Px , y Px ) 0, y K.

Lapplication x Px est contractante

kPx Py k kx yk
16 Prise en compte de la convexite
Chapitre 5

Optimisation sans contrainte

Il sagit de resoudre numeriquement le probleme (P )

(
trouver x E = Rn
(P ) f (x ) = inf f (x)
xE

Les algorithmes operent generalement pour des fonctionnelles assez generales, mais la convergence
(theorique) nest assuree que pour des fonctionnelles de classe C 1 ou C 2 , convexes ou elliptiques.
Les solutions de (P ) etant aussi solution de fx = 0, les algorithmes peuvent se voir comme des
algorithmes de resolution de cette equation.

5.1 Methodes de descente

Elles sont iteratives. Pour passer de uk a uk+1 , on se donne une direction de descente dk et on minimise
f le long de cette direction, cest-a-dire que lon cherche k tel que f (uk + k dk ) = inf f (uk + dk ). A
R
defaut dun tel k on peut se contenter davoir f (uk + k dk ) < f (uk ).

5.1.1 Methode de la relaxation

([3, p. 185])
On descend de facon cyclique le long de chacun des axes de coordonnees.
La convergence est assuree si f est elliptique.

Note
1
Si f est une fonctionnelle quadratique f (x) = (Ax, x) (b, x) dont la matrice A est symetrique
2
definie positive, la methode de la relaxation converge et ses iterations sont identiques a celles de la
methode de Gauss-Seidel pour la resolution de lequation Ax = b.

5.1.2 Methode de la plus profonde descente (methode du gradient)

La direction choisie est fuk qui correspond a la direction de plus grande decroissance de f. On
peut en effet ecrire :
f (x) f (x0 ) = (fx0 , x x0 ) + (x)kx x0 k
et remarquer qua kx x0 k constant, (fx0 , x x0 ) est minimal pour x x0 = t fx0 , t > 0.

Description
On part de u0 quelconque. Connaissant uk , on calcule fuk et uk+1 = uk k fuk avec k solution
de f (uk k fuk ) = inf (uk fuk ). En principe on trouve k > 0.

18 Optimisation sans contrainte

Condition suffisante de convergence

([3, p. 188])
Si f : E R est elliptique, la methode de la plus profonde descente est convergente.

Remarque
Cette methode ne peut pas etre optimale car le cheminement des uk est celui dune ligne brisee faisant
des angles droits. En effet, deux gradients consecutifs sont orthogonaux car uk+1 correspondant au
minimum de f (uk fuk ), la derivee de f dans cette direction sannule en uk+1 . Et donc le gradient
de f en uk+1 lui est orthogonal.

5.2 Methode de Newton

Si f est une fonction reguliere dont on sait calculer le gradient et la matrice hessienne, on peut tirer
partie du fait quen un point uk , f est localement voisine de son developpement de Taylor quadratique,
cest-a-dire que
1
f (uk + d) ' f (uk ) + dt .fuk + dt .2 fuk .d
2
Si en plus, 2 fuk est definie positive, lapproximation quadratique a un minimum qui verifie
2 fuk dk = fuk
Ceci permet de calculer la direction de descente dk et de definir literation par
uk+1 = uk + dk
On demontre, comme pour la methode de Newton pour la resolution des equations (x) = 0, que si
le point de depart u0 est assez voisin de x , et si 2 f est definie positive, alors la methode converge
vers x , et ceci de facon quadratique.
Si 2 f nest pas definie positive, cette methode supporte certains amenagements (methode de Newton modifiee,
[5, p. 106]).
Quand le calcul de 2 f ne peut etre fait, on peut aussi remplacer 2 fuk dans lapproximation de
Taylor par une matrice Hk qui se calcule iterativement (methode de quasi Newton , [5, p. 116])

Remarque
Cette methode est penalisante pour les grands systemes du fait de la necessite de calculer 2 f , de la
stocker, et de resoudre le systeme
2 fuk dk = fuk

5.3 Methode de la metrique variable

- On peut facilement observer que si f (x) = 12 kxk2 (b, x), la methode de la plus profonde descente
converge en une seule iteration.
1
- Quil en est de meme si f est la fonctionnelle quadratique f (x) = (Ax, x)(b, x) ; a la condition
2
de remplacer la metrique kxk2 par k|xk|2 = ((x, x)) = (Ax, x).
- Lidee de la metrique variable, appliquee a une fonctionnelle non necessairement quadratique,
consiste lors de chaque iteration de la plus profonde descente a choisir une metrique definie par
la matrice hessienne de la fonctionnelle, permettant une acceleration de la convergence. Mais il
y a un prix a payer. Le calcul du gradient necessite la connaissance dune base orthogonale ; on
peut lobtenir par exemple par orthogonalisation de Grahm-Schmidt.
La methode du gradient conjugue reprend cette idee.

5.4 Methode du gradient conjugue

([3, p. 194][5, p. 144])
Cette methode presente, sur la methode de Newton, lavantage de ne pas necessiter le calcul de 2 f ,
et sur la methode de la plus profonde descente, celui de definir des directions de descente successives
coherentes.
5.4 Methode du gradient conjugue 19

5.4.1 Cas des fonctionnelles quadratiques

1
f (x) = (Ax, x) (b, x), A etant symetrique definie positive.
2

Description generale
On part de u0 quelconque. On suppose qua letape k, on a calcule u1 , . . . , uk tels que ful 6= 0, l=
0, . . . , k. (sinon on a trouve la solution de fx = Ax b = 0). On pose

Gk = [fu0 , ..., fuk ].

On definit uk+1 comme le minimum de la restriction de f a uk + Gk . Ce uk+1 existe, est unique. Il

se trouve quil correspond au minimum de f dans une direction calculable dk . Les directions dk sont
conjuguees par rapport a la matrice A ((Adk , dl ) = 0 ). Tout se calcule par des formules iteratives
economiques, sans resolution de systeme lineaire. A chaque etape, Gk saccrot dune dimension. Au
bout dau plus n iterations, la solution est theoriquement trouvee. Numeriquement, avec les erreurs
darrondi, cela peut etre different.

Formules diterations
On part de u0 quelconque. On pose d0 = f (u0 ).
Si d0 = 0, cest termine, on a x = u0 .
Sinon on pose
(fu0 , d0 )
0 =
(Ad0 , d0 )
et
u1 = u0 0 d0 .
De facon generale, si u1 , d1 , . . . , uk , dk sont calcules, alors ou bien f (uk ) = 0, et alors cest termine,
x = uk , ou alors on pose :
kf k2
dk

= fuk + kfuuk k2 dk1
k1
(f ,d )
k = (Adukk,dkk)

uk+1 = uk k dk

5.4.2 Cas des fonctionnelles non quadratiques

([3, p. 200][5, p. 147])
Le minimum de f sur le sous-espace uk + Gk ne peut plus etre donne par une formule simple. On
calcule dk comme precedemment ou selon une variante (Polak-Ribiere)

(fuk , fuk fuk1 )

dk = fuk + dk1
kfuk1 k2

et on obtient k en optimisant numeriquement

f (uk dk )

La methode ne converge plus en un nombre fini diterations.

20 Optimisation sans contrainte
Chapitre 6

Optimisation avec contraintes

La difficulte du probleme depend de la nature des contraintes. On peut distinguer :

. les variables bornees, i xi i
. les contraintes affines egalites, Cx = b
. les contraintes affines inegalites, Cx b
. les contraintes convexes , i (x) = 0, i (x) 0, i convexes
. les contraintes generales, i (x) = 0, j (x) 0
Dans tous les cas on se ramene a la resolution de problemes sans contrainte. Mais la reduction est
plus ou moins aisee.
Regardons les cas des contraintes inegalites.

6.1 Relations de Kuhn-Tucker

Les relations de Kuhn-Tucker expriment que si la ou les solutions dun probleme avec contraintes
i (x) 0 est a linterieur du domaine des points admissibles, le gradient de f sannule comme cest
le cas pour les problemes sans contrainte, et que si la ou les solutions sont sur le bord, il y a, comme
pour le cas des contraintes egalites, colinearite du gradient de f et des gradients des i .

6.1.1 Cas des contraintes non convexes

([3, p. 216])
Soit f : E = Rn R, derivable en x K avec
ouvert,
K = {x , i (x) 0, i = 1, . . . , m} =
6
i : R derivables en x .
Si x est solution de (
f (x ) = inf f (x)
(P ) xK
x K
et si les contraintes sont qualifiees en x au sens suivant :
ou bien les i , i I(x ) = {i, i (x ) = 0} sont affines, autrement dit les contraintes
actives sont affines, ou bien E tel que i I(x ), 0i (x ) 0 et 0i (x ) < 0 pour
les i non affines,
/ I(x ), verifiant les relations dites
alors il existe des multiplicateurs de Lagrange i 0, nuls pour i
de Kuhn-Tucker  0 Pm
f (x ) + 1 i 0i (x ) = 0
i i (x ) = 0, i = 1, . . . , m

6.1.2 Cas des contraintes convexes

([3, p. 218])
Soit f : E = Rn R, derivable en x K avec
22 Optimisation avec contraintes

ouvert convexe,
K = {x , i (x) 0, i = 1, . . . , m} =
6
i : R convexes, derivables en x .
1. Si x est solution de (
f (x ) = inf f (x)
(P ) xK
x K
et si les contraintes sont qualifiees au sens suivant :
les i sont affines ou K tel que i () < 0 pour les i non affines
alors il existe des multiplicateurs de Lagrange i 0, verifiant les relations dites de Kuhn-Tucker
Pm
f 0 (x ) + i 0i (x )

1 =0
i i (x ) = 0, i = 1, . . . , m

2. Reciproquement, si f : R est convexe et derivable, si x K, sil existe des multiplicateurs

i 0 verifient les relations de Kuhn-Tucker, alors x est solution de (P ).

6.2 Interpretation des relations de Kuhn-Tucker

([8, p. 24])
K etant convexe, on savait deja que

(fx , x x ) 0 x K

qui implique que fx fait un angle avec les directions interieures x x .
2
Les relations de Kuhn-Tucker precisent que
X
fx = i i (x ), i 0

cest-a-dire que fx appartient au cone

X
{ i i (x ), i 0}

Dautre part, les relations de Kuhn-Tucker expriment que x est solution du probleme de minimisation
sans contrainte de la fonctionnelle

x f (x) + m
1 i (x )i (x)

dont la solution correspond a lannulation de la derivee. On verra plus loin que cette propriete est a
la base des methodes de dualite.

On peut mesurer la necessite de la qualification avec lexemple suivant :

f (x1 , x2 ) = x1
1 (x1 , x2 ) =x2
x2 si x1 0
2 (x1 , x2 ) =
x2 + x21 si x1 0

K = {x, 1 0, 2 0} = {x, x1 0, x2 = 0}
Les contraintes ne sont pas qualifiees, le minimum de f est en (0, 0), et en ce point,

f t = (1, 0), t1 = (0, 1), t2 = (0, 1)

contredisant le fait que

f cone {1 1 + 2 2 , 1 , 2 0}.
Remarque : Selon la nature des contraintes, il y a differentes notions de qualification. Voir [3, p.
213-217] et [5, p. 78-81] pour les significations.
6.3 Point-selles 23

6.3 Point-selles
Soient E et M deux espaces normes et L : E M R.
(x , ) E M est un point-selle si x est un minimum pour x L(x, ) et si est un maximum
pour L(x , ).
En un tel point on a
inf sup L(x, ) = sup L(x , ) = L(x , ) = inf L(x, ) = sup inf L(x, )
xE M M xE M xE

6.4 Lagrangien
Le Lagrangien associe au probleme (P ) est la fonction de E Rm
+ R definie par
m
X
L(x, ) = f (x) + i i (x)
1

6.5 Point-selle du Lagrangien et solution du probleme (P )

([3, p. 221])
Si (x , ) E Rm
+ est un point-selle du Lagrangien du probleme (P ), alors x K et x est solution
de (P ).
Si les fonctions f et i sont convexes, derivables en x K, si les contraintes sont qualifiees (au
sens precedent), si x est solution de (P ), alors il existe au moins un Rm
+ tel que (x , ) soit un
point-selle de L. Le resultat suivant est a la base des algorithmes de resolution des problemes avec
contraintes. Il permet de remplacer le probleme (P ) par une suite de problemes dont les contraintes
sont simplifiees ( 0).

6.6 Probleme dual du probleme (P )

([3, p. 223])
1. On suppose que les i sont continues et que pour tout Rm+ le probleme
(
L(x , ) = inf L(x, )
(P ) xE
x E
a une solution et une seule x qui depend continument de .
Alors si est solution du probleme
(
G() = sup G()
(Q) 0
Rm
+
avec
G() = inf L(x, ) = L(x , ),
xE
la solution x de (P ) est solution du probleme (P ).
(Q) sappelle probleme dual du probleme primal (P ), sappelle variable duale de la variable
primale x.
2. On suppose que (P ) a au moins une solution x , que les fonctions f et i sont convexes et
derivables en x , et que les contraintes sont qualifiees.
Alors le probleme (Q) a au moins une solution.

6.7 Methode dUzawa

([3, p. 226])
On resout le probleme (P ) dont les contraintes sont
K = {x E, i (x) 0}
a laide du probleme dual dont les contraintes { Rm+ } sont plus simples.
24 Optimisation avec contraintes

6.7.1 Demarche
Partant de 0 Rm
+ quelconque , on calcule une double suite (x , xk ) de la facon suivante :

6.7.2 Calcul de k+1

k et xk1 etant calcules, on cherche k+1 comme approximation de la solution de (Q) en evaluant
k + Gk , et en prenant la projection de cette valeur sur le domaine { 0}. (methode du gradient
projete a pas fixe ).

6.7.3 Calcul de Gk
Lors de la demonstration du theoreme precedent on etablit que G est derivable et que

G = (i (x ))i .

Pour calculer Gk , on doit donc calculer au prealable xk . On posera xk = xk . Ce point est obtenu
par une methode doptimisation sans contrainte comme solution de
X X
f (xk ) + ki i (xk ) = inf (f (x) + ki i (x))
xE

Convergence : Si tout se passe bien la suite ((xk , k ))k converge vers un point-selle de L, (x , ), x
etant la solution de (P ).

6.7.4 Condition suffisante de convergence de la methode dUzawa

([3, p. 228])
On suppose que f : E R est elliptique et que est son coefficient dellipticite. On suppose que K
non vide est defini par des contraintes inegalites affines

K = {x E, Cx d}

Alors si
2
0<<
kCk2
la suite (xk ) de la methode dUzawa converge vers lunique solution de (P ).
En plus, si le rang de C est m, la suite (k ) converge egalement vers lunique solution du probleme
dual (Q).
Bibliographie

[1] J.Bass. Cours de Mathematiques, t2. Masson, (1968).

[2] S.Boyd - L.Vandenberghe. Convex Optimization. Cambridge University Press, (2004).
[3] P.G.Ciarlet. Introduction a lanalyse numerique matricielle et a loptimisation. Masson, (1982).
[4] L.Dumas. Modelisation a loral de lAgregation : Calcul scientifique. Ellipse, (1999).
[5] P.E.Gill-W.Murray-M.H.Wright. Pratical optimization. Academic Press, (1981).
[6] J-B. Hiriart-Urruty. Optimisation et analyse convexe. PUF, (1998).
[7] M.Minoux. Programmation mathematique. Dunod, (1983).
[8] J.C.Nedelec. Optimisation dans Rn , Theories et algorithmes. Ecole polytechnique.
[9] W.H.Press. Numerical Recipes - The Art of Scientific Computing. Cambridge University Press,
(1989).
[10] A.Shenk. Calculus and Analytic Geometry. Scott-Foresman, (1984).
26 BIBLIOGRAPHIE