Optimisation convexe sans contarintes

Ecole Nationale des Sciences Appliquées, El Jadida

Année Universitaire 2019-2020

B. ABOUZAID Optimisation convexe

Théorème d’existence d’un minimum
Soient U ensemble non vide, fermé de Rn et f : U → R une fonction
continue, on suppose que :
1 Soit U est borné.
2 Soit U est non borné et f est coercive sur U .
Alors il existe au moins un point minimum de f sur U .
c-à-d
∃ x∗ ∈ U tel que f (x∗ ) ≤ f (x), ∀ x ∈ U

B. ABOUZAID Optimisation convexe

Théorème d’existence d’un minimum
Soient U ensemble non vide, fermé de Rn et f : U → R une fonction
continue, on suppose que :
1 Soit U est borné.
2 Soit U est non borné et f est coercive sur U .
Alors il existe au moins un point minimum de f sur U .
c-à-d
∃ x∗ ∈ U tel que f (x∗ ) ≤ f (x), ∀ x ∈ U

Théorème d’unicité d’un minimum

Soient U ensemble non vide, convexe de Rn et f : U → R une fonction
strictement convexe, alors il existe au plus un point minimum de f
sur U .

B. ABOUZAID Optimisation convexe

Existence et Unicité
Soient U ensemble non vide, fermé et convexe de Rn et f : U → R une
fonction elliptique, alors il existe un minimum unique de f sur U .

B. ABOUZAID Optimisation convexe

Problème d’optimisation sans contraintes
Soit J : Rn → R de classe C 1 , trouver u∗ ∈ Rn tel que
J(u∗ ) ≤ J(u), ∀ u ∈ Rn .
Condition nénessaire d’optimalité : ∇J(u∗ ) = 0 (si u∗ existe, Rn est
un ouvert).
Idée : construire une suite itérative ((uk )k∈N ) ∈ Rn tel que
lim uk = u∗ .
k→+∞

B. ABOUZAID Optimisation convexe

Problème d’optimisation sans contraintes
Soit J : Rn → R de classe C 1 , trouver u∗ ∈ Rn tel que
J(u∗ ) ≤ J(u), ∀ u ∈ Rn .
Condition nénessaire d’optimalité : ∇J(u∗ ) = 0 (si u∗ existe, Rn est
un ouvert).
Idée : construire une suite itérative ((uk )k∈N ) ∈ Rn tel que
lim uk = u∗ .
k→+∞

On se donne un point de départ u0 ∈ Rn .

On pose

uk+1 = uk + ρk dk , avec ρk ∈ R et dk ∈ Rn

les ρk et dk doivent être choisi de sorte que la suite (J(uk ))k soit
décroissante.
les coefficients ρk s’appellent facteurs de descente.
les vecteurs dk s’appellent directions de descente.

B. ABOUZAID Optimisation convexe

Algorithme de descente
Etape 1 : poser k = 0, choisir x0 ∈ Rn et kmax ∈ N assez grand.
Etape 2 : tant que ∇J(uk ) 6= 0 et (k < kmax )
calculer dk = ...
calculer ρk = ...
faire uk+1 = uk + ρk dk et k= k+1
fin tant que
Etape 3 : si ∇J(uk ) = 0 alors uk = u∗ , sinon la méthode n’a pas
convergé.

B. ABOUZAID Optimisation convexe

Algorithme de descente
Etape 1 : poser k = 0, choisir x0 ∈ Rn et kmax ∈ N assez grand.
Etape 2 : tant que ∇J(uk ) 6= 0 et (k < kmax )
calculer dk = ...
calculer ρk = ...
faire uk+1 = uk + ρk dk et k= k+1
fin tant que
Etape 3 : si ∇J(uk ) = 0 alors uk = u∗ , sinon la méthode n’a pas
convergé.

Test d’Arrêt : En pratique, on ne cherche qu’une valeur approché

de u∗ , donc on doit préciser un niveau de tolérance  > 0, à fixer au
départ. Le test d’arrêt sera remplacé par k ∇J(uk ) k≤ .

B. ABOUZAID Optimisation convexe

Méthode de relaxation
Cette méthode consiste à choisir les directions de descente
d0 = e1 , d1 = e2 , ... dn−1 = en
Ensuite, on recommence : dn = e1 , dn+1 = e2 , ... d2n−1 = en
où, (e1 , e2 , ..., en ) est la base canonique de Rn .
On prend les facteurs ρk tels que
J(uk + ρk dk ) = min J(uk + ρdk ), ∀ k ∈ N
ρ∈R
Finalement, on pose uk+1 = uk + ρk dk
Le test d’arrêt est k ∇J(uk+1 ) k<  avec  assez petit.

B. ABOUZAID Optimisation convexe

Proposition
Soit f : Rn −→ R et a, b ∈ Rn .
On définit la fonction g : R −→ R, t 7−→ g(t) = f (a + bt), On a :
1. Si f est convexe alors g est convexe.
2. Si f est strictement convexe et b 6= 0, alors g est strictement
convexe.
3. Si f est elliptique et b 6= 0, alors g est elliptique.

B. ABOUZAID Optimisation convexe

Proposition
Soit f : Rn −→ R et a1 , .., ai−1 , ai+1 , .., an ∈ R.
Soit g : R −→ R, t 7−→ g(t) = f (a1 , .., ai−1 , t, ai+1 , .., an ), On a :
1. Si f est convexe alors g est convexe.
2. Si f est strictement convexe et b 6= 0, alors g est strictement
convexe.
3. Si f est elliptique et b 6= 0, alors g est elliptique.

B. ABOUZAID Optimisation convexe

Théorème de convergence
Soit J : Rn −→ R une fonction elliptique, alors la méthode de
relaxation converge.
c-à-d pour tout point initial u0 ∈ Rn , la suite (uk )k construite par cet
algorithme converge vers l’unique minimum de J.

B. ABOUZAID Optimisation convexe

Théorème de convergence
Soit J : Rn −→ R une fonction elliptique, alors la méthode de
relaxation converge.
c-à-d pour tout point initial u0 ∈ Rn , la suite (uk )k construite par cet
algorithme converge vers l’unique minimum de J.

Exemple : Donner l’algorithme de relaxation qui permet de minimiser

la fonctionnelle quadratique suivante sur Rn :
1
f (x) = hAx, xi − hb, xi + c, où
2
A est une matrice symmétrique définie positive d’ordre n,
b ∈ Rn et c ∈ R.

B. ABOUZAID Optimisation convexe

Méthode du gradient
Prendre comme direction de descente dk = −∇J(uk )
Formule de Taylor d’ordre 1 donne

J(uk − ρdk ) = J(uk ) − ρ k ∇J(uk ) k2 +o(ρ)

avec cette direction, on a J(uk+1 ) ≤ J(uk ), pour ρ > 0 assez petit et

∇J(uk ) 6= 0.

B. ABOUZAID Optimisation convexe

Méthode du gradient
Prendre comme direction de descente dk = −∇J(uk )
Formule de Taylor d’ordre 1 donne

J(uk − ρdk ) = J(uk ) − ρ k ∇J(uk ) k2 +o(ρ)

avec cette direction, on a J(uk+1 ) ≤ J(uk ), pour ρ > 0 assez petit et

∇J(uk ) 6= 0.

Quelles sont les facteurs de descente ?

B. ABOUZAID Optimisation convexe

Méthode du gradient à pas optimal
La suite récurrente associée à la méthode du gradient conjugué à pas
optimal est donée par uk+1 = uk − ρk ∇J(uk ), où ρk ∈ R est tel que
J(uk − ρk ∇J(uk )) = min J(uk − ρ∇J(uk )).
ρ∈R
Si ∇J(uk ) 6= 0, le problème de minimisation a un sens.
Si J est une fonction elliptique, alors la méthode du gradient à pas
optimal converge.

B. ABOUZAID Optimisation convexe

Méthode du gradient à pas optimal
La suite récurrente associée à la méthode du gradient conjugué à pas
optimal est donée par uk+1 = uk − ρk ∇J(uk ), où ρk ∈ R est tel que
J(uk − ρk ∇J(uk )) = min J(uk − ρ∇J(uk )).
ρ∈R
Si ∇J(uk ) 6= 0, le problème de minimisation a un sens.
Si J est une fonction elliptique, alors la méthode du gradient à pas
optimal converge.

Exemple : Donner l’algorithme du gradient à pas optimal qui permet

de minimiser la fonctionnnelle quadratique suivante sur Rn :
1
f (x) = hAx, xi − hb, xi + c, où
2
A est une matrice symmétrique définie positive d’ordre n
b ∈ Rn et c ∈ R.

B. ABOUZAID Optimisation convexe

Méthode du gradient à pas constant
Soit J : Rn −→ R une fonction elliptique avec une constante
d’ellipticité α.
On suppose que ∇J est lipshitzienne avec une constante de Lipshitz
M.
On suppose qu’il existe deux réels strictement positifs a1 , a2 tels que
2α
0 < a1 < a2 < et a1 ≤ ρk ≤ a2
M2
Alors la méthode du gradient converge et la convergence est au moins
géomètrique
c-à-d ∃ β ∈ [0, 1[ tel que k uk − u∗ k≤ β k k u0 − u∗ k, ∀ k ∈ N, où
u∗ est l’unique minimum de J sur Rn .
1
Exemple : f (x) = hAx, xi − hb, xi + c,
2
où A est une matrice S.D.P d’ordre n et b ∈ Rn et c ∈ R.

B. ABOUZAID Optimisation convexe