Introduction

Optimisation

Maher Moakher
Ecole Polytechnique de Tunisie

Janvier, 2024
Introduction

Problèmes d’optimisation

Plan

1 Introduction

2 Existence de solution

3 Rappels de différentiabilité et d’analyse convexe

4 Unicité de la solution dans le cas convexe

Introduction

Introduction : C’est quoi un problème d’optimisation ?

Formulation mathématique
(
inf f (x)
x ∈ X,
ou encore, (
Trouver x∗ ∈ X tel que
f (x∗ ) ≤ f (x), ∀ x ∈ X.

x = (x1 , . . . , xn ) ∈ Rn : variable d’optimisation ;

f : Rn → R : fonction objectif (ou coût) ;
∅≠ X ⊂ Rn : ensemble des contraintes.

Remarque : Un problème d’optimisation peut être un problème de

minimisation ou un problème de maximisation.

sup f (x) = − inf (−f (x)) .

x∈X x∈X
Introduction

Introduction : C’est quoi un problème d’optimisation ?

Pour un problème d’optimisation il y aura trois aspects :

Formulation du problème (décision).

Théorie mathématique : existence, unicité, caractérisation.

Conception d’algorithmes et implémentation numérique.

Introduction

Exemples de problèmes d’optimisation

Optimisation de portefeuille
Variables : montants investis dans différents actifs
Contraintes : budget, max./min. investissement par actif, rendement
minimum
Objectif : risque global ou écart de rendement

Dimensionnement des appareils électroniques

Variables : largeurs et longueurs de l’appareil
Contraintes : limites de fabrication, délais, surface maximale
Objectif : consommation d’énergie

Ajustement des données

Variables : paramètres du modèle
Contraintes : informations a priori, limites de paramètres
Objectif : mesure de l’inadéquation ou de l’erreur de prédiction
Introduction

Classification des problèmes d’optimisation

Optimisation sans contraintes / sous contraintes

Optimisation linéaire / non-linéaire

Optimisation convexe / non-convexe

Optimisation différentiable / non différentiable

Optimisation continue / discrète (combinatoire)

Optimisation déterministe / stochastique

Optimisation mono-critère / multi-critère (Théorie des jeux)

Optimisation en dimension finie / dimension infinie

Introduction

Optimisation : Nomenclature
Le problème à résoudre : (
inf f (x)
(PX )
x∈X
où f : X → R ∪ {+∞} (critère) et X est une partie non vide d’un espace
euclidien E de dimension n.
X est appelé ensemble admissible du problème.
Un minimum global de (PX ) est un point x∗ ∈ X tel que,
f (x∗ ) ≤ f (x), ∀ x ∈ X.
Dans ce cas, on dit que x∗ est la solution optimale de (PX ).
On dit que x∗ ∈ X est un minimum local de (PX ) s’il existe un voisinage
V de x∗ tel que :
f (x∗ ) ≤ f (x), ∀ x ∈ V ∩ X.
Le minimum global ou local est strict si les deux inégalités précédentes
sont strictes pour x ̸= x∗ .
Introduction

Existence de solution
Définition
Soient X une partie de E et f : X → R ∪ {+∞} une fonction. On appelle
épigraphe de f , qu’on note epi(f ), l’ensemble :

epi(f ) = {(x, t) ∈ X × R : f (x) ≤ t}.

Définition
Soient X une partie de E et f : X → R ∪ {+∞} une fonction. On dit que
f est fermée ou semi-continue inférieurement (s.c.i.) si epi(f ) est fermé.

Proposition
Soient X une partie non vide de E et f : X → R ∪ {+∞} une fonction.
Alors, f est s.c.i ssi pour toute suite (xk )k ⊂ X qui converge vers x̄ ∈ X,
on a
f (x̄) ≤ lim inf f (xk ).
k→∞
Introduction

Existence de solution
Théorème (Weierstrass)
Soient X une partie non vide et compacte de E et f : X → R ∪ {+∞}
une fonction fermée (s.c.i). Alors, (PX ) admet au moins une solution.

Preuve :

X ̸= ∅ ⇒ ∃ (xk )k ⊂ X une suite minimisante, c-à-d telle que

f (xk ) → inf f (x) ∈ R̄.

x∈X

Une telle suite exixte toujours par définition de l’inf et X ̸= ∅.

X compact ⇒ ∃ sous-suite (xk ) t.q. xk → x̄ ∈ X.

f s.c.i. ⇒ f (x̄) ≤ lim inf f (xk ) = inf f (x) ⇒ x̄ est solution de (PX ).
k→+∞ x∈X
Introduction

Existence de solution
Définition (Coercivité)
Soient X une partie non vide et fermée de E et f : X → R ∪ {+∞}. On
dit que f est coercive (ou ∞ à l’∞) si lim f (x) = +∞.
x∈X,∥x∥→+∞

Corollaire
Soient X une partie non vide et fermée de E et f : X → R ∪ {+∞} une
fonction fermée (s.c.i) et coercive. Alors, (PX ) admet au moins une
solution.
Preuve :
Soit x0 ∈ X ̸= ∅. On pose X0 = {x ∈ X | f (x) ≤ f (x0 )}.
Alors X0 est compact (fermé car f est s.c.i. et borné car f est coercive).
Donc le problème
min f (x)
x∈X0
admet une solution x∗ ∈ X0 ⊂ X qui est aussi solution de (PX ).
Introduction

Unicité de solution

En général, il est difficile de prouver l’unicité de la solution de (PX ), sauf

dans le cas convexe.

On va rappeler quelques notions d’analyse convexe pour prouver

l’unicité.
Introduction

Analyse convexe
Définition (Ensemble convexe)
Un ensemble C ⊂ E est convexe si

x, y ∈ C, ∀ λ ∈ [0, 1] ⇒ λx + (1 − λ)y ∈ C.

Exemples
Un espace affine {x ∈ Rn : Ax = b} est convexe.

Un demi-espace {x ∈ Rn : aT x ≤ β} est convexe.

L’intersection (quelconque) d’ensembles convexes est convexe.

Introduction

Analyse convexe
Définition (Fonction convexe)
Soit C ⊂ E un ensemble convex. Une fonction f : C → R ∪ {+∞} est
convexe (resp. strictement convexe) si

∀ x, y ∈ C, ∀ λ ∈ [0, 1], f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y),

resp. ∀ x̸=y ∈ C, ∀ λ ∈ ]0, 1[, f (λx+(1−λ)y)<λf (x)+(1−λ)f (y).

Proposition
Soient X une partie non vide et convexe de E et f : X → R ∪ {+∞} une
fonction. Alors, f est convexe ssi epi(f ) est convexe.

Exemples
Les fonctions affines sont convexes (mais pas strict. convexes).

Les normes sont convexes (e.g. ∥ · ∥1 , ∥ · ∥2 , ∥ · ∥∞ ).

Introduction

Analyse convexe
Définition (α-convexe)
Une fonction f est fortement convexe (de module α) s’il existe α > 0 tel
que ∀ x, y ∈ X, ∀ λ ∈ [0, 1], on a
α
f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y) − λ(1 − λ)∥x − y∥2 .
2
On dit aussi que f est α-convexe (ou elliptique losqu’elle est C1 ).

Remarques :
f est fortement convexe si x 7→ f (x) − α2 ∥x∥22 est convexe.
C’est-à-dire que f est convexe au moins comme une fonction
quadratique.
fortement convexe ⇒ strictement convexe ⇒ convexe
fortement convexe (et différentiable) ⇒ coercive
Introduction

Unicité de solution
Théorème
Soient X une partie non vide et convexe de E et f : X → R ∪ {+∞} une
fonction strictement convexe. Alors, (PX ) admet au plus une solution.

Preuve :
Supposons que x1 et x2 sont deux solutions distinctes de (PX ), c-à-d :
f (x1 ) ≤ f (x), ∀ x ∈ X,
et
f (x2 ) ≤ f (x), ∀ x ∈ X.
Donc f (x1 ) = f (x2 ).
Puisque X est convexe et f est strictement convexe on a :
f ( 21 x1 + 12 x2 ) < 12 f (x1 ) + 12 f (x2 ) = f (x1 ) = f (x2 ),
ce qui est une contradiction.
Introduction

Dérivées partielles premières

Soient Ω un ouvert de Rn et f : Ω → R une fonction. On note par

{e1 , e2 , . . . , en } la base canonique de Rn .
Définition
On dit que f admet des dérivées partielles premières au point x0 ∈ Ω si :

f (x0 + tei ) − f (x0 )

∀ i = 1, . . . , n, lim
t→0 t
existe et est finie.
∂f
Pour tout i = 1, . . . , n, on notera cette limite par ∂xi (x0 ) et on définit le
gradient de f au point x0 par :
 T
∂f ∂f
∇f (x0 ) = (x0 ), . . . , (x0 ) .
∂x1 ∂xn
Introduction

Différentiabilité

Définition
On dit que f est différentiable (au sens de Fréchet) en x0 ∈ Ω si, f admet
des dérivées partielles premières en x0 et

f (x0 + h) − f (x0 ) − ⟨∇f (x0 ), h⟩

lim = 0.
∥h∥→0 ∥h∥

Autrement dit :

∀ h ∈ Rn , x0 + h ∈ Ω : f (x0 + h) = f (x0 ) + ⟨∇f (x0 ), h⟩ + o(∥h∥).

Introduction

Dérivées partielles secondes

Définition
On dit que f : Ω → R admet des dérivées partielles secondes au point
x0 ∈ Ω si f admet des dérivées partielles premières dans un voisinage de
x0 et :
∂f ∂f
∂xi (x0 + tej ) − ∂xi (x0 )
∀ i, j = 1, . . . , n, lim
t→0 t
existe et est finie.
2f
Pour tout i, j = 1, . . . , n, on notera cette limite par ∂x∂j ∂xi
(x0 ) et on définit
la matrice Hessienne ∇2 f (x0 ) de f au point x0 par :
 2 
 2  ∂ f
∇ f (x0 ) 1≤i,j≤n = (x0 ) .
∂xj ∂xi 1≤i,j≤n
Introduction

Différentiabilité d’ordre deux

Définition
On dit que f : Ω → R est deux fois différentiable en x0 ∈ Ω si f est
différentiable au voisinage de x0 et les dérivées partielles premières de f
sont tous différentiables au point x0 (ou encore, son gradient est une
application différentable en x0 ). Et on a :

∀ h ∈ Rn , x0 + h ∈ Ω, ∇f (x0 + h) = ∇f (x0 ) + ∇2 f (x0 )h + o(∥h∥).

Remarque
Si f : Ω → R est deux fois différentiable en x0 ∈ Ω, alors :
La matrice Hessienne ∇2 f (x0 ) est une matrice symétrique.
La formule de Taylor à l’ordre 2 est : ∀ h ∈ Rn tel que x0 + h ∈ Ω
on a

f (x0 + h) = f (x0 ) + ⟨∇f (x0 ), h⟩ + 12 ⟨∇2 f (x0 )h, h⟩ + o(∥h∥2 ).

Introduction

Convexité des fonctions différentiables

Théorème
Soient Ω un ouvert convexe non vide de Rn et f : Ω → R une application
différentiable sur Ω. Les propriétés suivantes sont équivalentes :
(i) f est convexe (resp. strictement convexe) sur Ω.
(ii) ∀ x, y ∈ Ω,
f (y) ≥ f (x) + ⟨∇f (x), y − x⟩,
(resp.) f (y) > f (x) + ⟨∇f (x), y − x⟩, x ̸= y.
(iii) ∀ x, y ∈ Ω,
⟨∇f (y) − ∇f (x), y − x) ≥ 0,
(resp.) ⟨∇f (y) − ∇f (x), y − x) > 0, x ̸= y.

Remarque
Si en plus, ∃ x∗ tel que ∇f (x∗ ) = 0 alors x∗ est un minimum global de f .
Introduction

Convexité des fonctions deux fois différentiables

Théorème
Soient Ω un ouvert convexe non vide de Rn et f : Ω → R une application
deux fois différentiable sur Ω. Alors, f est convexe sur Ω ssi pour tout
x, y ∈ Ω,
⟨∇2 f (x)(x − y), x − y⟩ ≥ 0.
Si pour tout x, y ∈ Ω avec x ̸= y, ⟨∇2 f (x)(x − y), x − y⟩ > 0 alors f est
strictement convexe sur Ω.

f (y) = f (x) + ⟨∇f (x), x − y⟩ + ⟨∇2 f (x)(x − y), x − y⟩ + o(∥x − y∥2 ).

Remarque
Si Ω = Rn alors les deux inégalités du théorème sont équivalentes à
∇2 f (x) est semi-définie positive (respectivement définie positive).