Vous êtes sur la page 1sur 17

1.

Les Outils de l’Optimisation


Mathématique

1
Sommaire
• Formulation Générale
• Quelques Exemples
• Rappels de Topologie
• Différentiabilité
• Gradient et Hessien
• Exemple
• Relations entre Dérivées et Optimums
• Ensembles Convexes
• Fonctions Convexes
• Minimums Local et Global
• Courbes de Niveaux
• Autres Exemples
• Forme quadratique

2
Formulation Générale
Trouver : • 𝑥 ∗ est solution optimale de ce
problème si 𝑥 ∗ ∈ Ω et 𝑓 𝑥 ∗ ≤ 𝑓(𝑥),
∀𝑥 ∈ Ω.
avec
• Ω = 𝑥 ∈ ℝ𝑛 : ℎ 𝑥 = 0 𝑒𝑡 𝑔(𝑥) ≤ 0 Remarques :
• 𝑓, 𝑔 et ℎ des fonctions de ℝ𝑛 → ℝ • Maximiser 𝑓(𝑥) revient à minimiser
– 𝑓(𝑥).
• 𝑓 est la fonction à optimiser • Si Ω = ℝ𝑛 , il s’agit d’un problème
(minimiser) d’optimisation sans contrainte.
• ℎ et 𝑔 sont les contraintes

3
Quelques Exemples
Exemple 1 : (problème avec contraintes) 𝑣
(2) ⇒ ℎ = 𝜋𝑟02 . . . . (3)
Mminimiser la surface d’un cylindre ayant 𝑣
(3) dans (1) ⇒ 𝑓 = 2𝜋 𝑟 2 + 2𝜋 𝑟 𝜋𝑟02
un volume 𝑣0 constant :
𝒓 𝑣0 2
⇒ 𝑓 = 2𝜋 𝑟 + 2
min𝑓 𝑟, ℎ = 2𝜋 𝑟 2 + 2𝜋 𝑟 ℎ 𝑟
𝒉 Soumis à 𝜋 𝑟 2 ℎ = 𝑣0 𝑣0
𝑓 ′ 𝑟 = 0 ⇒ 4𝜋r − 2 =0
𝑟2
𝑟 ≥ 0, ℎ≥0
3 𝑣0
⇒ 𝑟∗ = . . . . (4)
2𝜋

Solution : On pose (4) dans (3)


𝑓 = 2𝜋 𝑟 2 + 2𝜋 𝑟 ℎ . . . . (1) 3 4𝑣0
𝜋 𝑟 2 ℎ = 𝑣0 ⇒ ℎ∗ =
. . . . . .. . . . (2) 𝜋

4

Exemple 2 : (problème sans contraintes) Exemple 3 : (problème linéaire)
Approximer un nuage de points Maximiser le profit d’un producteur avec
(𝑥1 , 𝑦1 ) … . (𝑥𝑛 , 𝑦𝑛 ) par un polynôme 𝑎𝑖 : profit unitaire de l’article 𝑖 = 1,2,3

𝑝 𝑧 = 𝑎1 𝑧 + 𝑎0 : 𝑏𝑗 : disponibilité matière première 𝑗 = 1,2


𝑐𝑖𝑗 : quantité de la matière première 𝑗
nécessaire pour produire un article de type 𝑖.
Solution : Selon la méthode des
moindres carrés, on doit minimiser la
Solution :
somme des écarts ∆𝑦𝑖 = 𝑝 𝑥𝑖 − 𝑦𝑖 =
𝑥𝑖 : quantité à produire de l’article 𝑖
𝑎1 𝑥𝑖 + 𝑎0 − 𝑦𝑖
(𝑖 = 1,2,3)
d’où le modèle :
Le modèle est :
𝑛

min 𝑓 𝑎0 , 𝑎1 = 𝑎1 𝑥𝑖 + 𝑎0 − 𝑦𝑖 2 max 𝑓(𝑥1 , 𝑥2 , 𝑥3 ) = 𝑎1 𝑥1 + 𝑎2 𝑥2 + 𝑎3 𝑥3


𝑖=1
soumis à
2𝑥1 + 3𝑥2 + 4𝑥2 ≤ 𝑏1
3𝑥1 + 5𝑥2 + 7𝑥3 ≤ 𝑏2

5
Rappels de Topologie
 𝑑 est distance sur l’ensemble 𝐸 si  Soit 𝐴 ⊂ 𝐸, le diamètre de A est
𝑑: 𝐸 2 → ℝ+ 𝑑(𝐴) = sup{ 𝑑(𝑥, 𝑦) ∶ 𝑥 ∈ 𝐴 ∧ 𝑦 ∈ 𝐴}.
et: ⟹𝑑 𝐴 ≥0
1) 𝑑(𝑥, 𝑦) = 0 ⟺ 𝑥 = 𝑦 (séparation)  A est borné ssi d(A) est fini
2) 𝑑(𝑥, 𝑦) = 𝑑(𝑦, 𝑥) pour tout couple
∀ 𝑥, 𝑦 ∈ 𝐸 2 (symetrie)  Une boule ouverte :
3) 𝑑 𝑥, 𝑧 ≤ 𝑑(𝑥, 𝑦) + 𝑑(𝑦, 𝑧) pour tout 𝐵0 𝑐, 𝑟 = 𝑥 ∈ 𝐸 ∶ 𝑑(𝑐, 𝑥) < 𝑟
triplet 𝑥, 𝑦, 𝑧 ∈ 𝐸 2 (convexité)  Une boule fermée :
𝐵 𝑐, 𝑟 = 𝑥 ∈ 𝐸 ∶ 𝑑(𝑐, 𝑥) ≤ 𝑟
 Un espace métrique (𝐸, 𝑑 ) est un  Une sphère
ensemble 𝐸 munie d’une distance d. 𝑆 𝑐, 𝑟 = 𝑥 ∈ 𝐸 ∶ 𝑑(𝑐, 𝑥) = 𝑟

⇒ 𝐵 𝑐, 𝑟 = 𝐵0 𝑐, 𝑟 ∪ 𝑆(𝑐, 𝑟)

6

 𝐴 ⊂ 𝐸 est ouvert si ∀ 𝑥 ∈ 𝐴, ∃ 𝑟 > 0 ∶  Espace euclidien : ℝ𝑛 ≡ ℝ × ℝ × ⋯ × ℝ.
𝐵 𝑥, 𝑟 ⊂ 𝐴.
 𝑒𝑖 ⋯ 𝑒𝑛 : base canonique de ℝ𝑛
 𝐴 ∈ 𝐸 est fermé si son complément 𝐴𝑐
est ouvert. (𝐴 ∪ 𝐴𝑐 = 𝐸)  𝑥 ∈ ℝ𝑛 noté par 𝑥 = 𝑥1 ⋯ 𝑥𝑖 ⋯ 𝑥𝑛 𝑇

𝑛
 Soit 𝐴 ⊂ ℝ𝑛 , alors 𝐴 est compact ssi 𝐴  Produit scalaire 𝑥, 𝑦 = 𝑖=1 𝑥𝑖 𝑦𝑖

est une partie fermée et bornée.


𝑛 2
 Norme euclidienne : 𝑥 = 𝑖=1 𝑥𝑖

 ℳ𝑚,𝑛 (ℝ) : ensemble des matrices


réelles de dimensions 𝑚 × 𝑛

7
Différentiabilité
 Soif Ω ⊂ ℝ𝑛 un ouvert et 𝑓: Ω → ℝ,  Dérivée partielle :
𝑓 est différentiable s’il existe une fonction 𝜕𝑓(𝑥) 𝑓(𝑥 + 𝑡𝑒𝑖 ) − 𝑓(𝑥)
= lim
𝐷𝑓𝑥 au voisinage de 𝑥 ∈ Ω , tel que 𝜕𝑥𝑖 𝑡→0 𝑡
𝑓 𝑥 + ℎ = 𝑓 𝑥 + 𝐷𝑓𝑥 ℎ + 𝑜( ℎ )
On note 𝑓 ∈ 𝐶 1  Dérivée seconde :

𝜕 2 𝑓(𝑥) 𝜕 𝜕𝑓(𝑥)
 𝑓 est différentiable au second degré si =
𝜕𝑥𝑖 𝜕𝑥𝑗 𝜕𝑥𝑖 𝜕𝑥𝑗
la fonction 𝐷𝑓𝑥 est différentiable au
point 𝑥.
 Dérivée directionnelle selon la
On note 𝑓 ∈ 𝐶 2
direction ℎ ∈ ℝ𝑛 :

𝜕𝑓(𝑥) 𝑓(𝑥 + 𝑡ℎ) − 𝑓(𝑥)


= lim
𝜕ℎ 𝑡→0 𝑡

8
Gradient et Hessien
 Dans l’espace métrique (ℝ𝑛 , ⋅ ), le  Le hessien :
gradient de 𝑓 est 𝜕2𝑓 𝜕2𝑓 𝜕2𝑓

𝜕𝑓 𝜕 2 𝑥1 𝜕𝑥1 𝜕𝑥2 𝜕𝑥1 𝜕𝑥𝑛
𝜕𝑥1 𝜕2𝑓 𝜕2𝑓 𝜕2𝑓

𝛻𝑓 𝑥 = ⋮ 𝛻 2 𝑓 = 𝜕𝑥2 𝜕𝑥1 𝜕 2 𝑥2 𝜕𝑥2 𝜕𝑥𝑛
𝜕𝑓 ⋮
⋮ ⋱ ⋮
𝜕𝑥𝑛 ⋮
𝜕2𝑓 𝜕2𝑓
⋯ ⋯
𝜕𝑥𝑛 𝜕𝑥1 𝜕 2 𝑥𝑛
• Dans ℝ, on a 𝛻𝑓 𝑥 = 𝑓′(𝑥)
 Formule de Taylor :
𝑓 𝑥 + ℎ = 𝑓 𝑥 + 𝛻𝑓(𝑥), ℎ + 𝑜( ℎ )

9
Exemple
 Soit la fonction  Sur Matlab :
𝑓 𝑥1 , 𝑥2 = 𝑥13 + 𝑥23 − 3𝑥1 𝑥2 >> syms x1 x2
>> f = x1^3 + x2^3 - 3*x1 * x2;
définie sur ℝ2 . >> G = gradient(f)
G=
3*x1^2 - 3*x2
 Le gradient 3*x2^2 - 3*x1
𝜕𝑓 >> H = hessian(f)
𝜕𝑥1 3𝑥12 − 3𝑥2
𝛻𝑓 𝑥 = = H=
𝜕𝑓 3𝑥22 − 3𝑥1 [ 6*x1, -3]
𝜕𝑥2
[ -3, 6*x2]

 Le hessien Exercice : Calculer le gradient et hessien


𝜕2𝑓 𝜕2𝑓 de la fonction suivante :
𝑓 𝑥1 , 𝑥2 = 4𝑥12 𝑥2 + 2𝑥13 − 4𝑥1 𝑥2 + 2𝑥1 + 1
2 𝜕 2 𝑥1 𝜕𝑥1 𝜕𝑥2 6𝑥1 −3
𝛻 𝑓= =
𝜕2𝑓 𝜕2𝑓 −3 6𝑥2
𝜕𝑥2 𝜕𝑥1 𝜕 2 𝑥2

10
Relations entre Dérivées et Optimums
Cas où : 𝑓: ℝ → ℝ

11
Ensembles Convexes
 Ω ⊂ ℝ𝑛 est un ensemble convexe si  Exemples:
∀𝑥, 𝑦 ∈ Ω, ∀𝜆 ∈ [0,1]
⟹ 𝜆𝑥 + 1 − 𝜆 𝑦 ∈ Ω

Convex
e
Concav
e
 Exercice :

 Un ensemble non convexe est dit (b) (c)


(a)
concave.

12
Fonctions Convexes
 𝑓: Ω → ℝ𝑛 est une fonction convexe si  Exemples :
a) Ω est un ensemble convexe
b) ∀𝑥, 𝑦 ∈ Ω, ∀𝜆 ∈ [0,1] ⟹
𝑓 𝜆𝑥 + 1 − 𝜆 𝑦 ≤ 𝜆𝑓 𝑥 + 1 − 𝜆 𝑓 𝑦

 𝑓 est strictement convexe si l’inégalité


ci-dessus est stricte.

13
Minimums Local et Global
 𝑥 ∗ ∈ Ω est un minimum global du
problème (1) si
𝑓 𝑥∗ ≤ 𝑓 𝑥 , ∀𝑥 ∈ Ω

 𝑥 ∗ ∈ Ω est un minimum local du


problème (1) si il existe un voisinage
𝑉𝛼 𝑥 ∗ = 𝑦 ∈ ℝ𝑛 : 𝑦 − 𝑥 ≤ 𝛼
𝑓 𝑥∗ ≤ 𝑓 𝑥 , ∀𝑥 ∈ 𝑉𝛼 𝑥 ∗
 Définition symétrique pour le maximum
global et maximum local.
 Les extremums (ou extrema) sont les
minimums
29/04/2018
ou maximums de 𝑓. 14
Courbes de Niveaux
La courbe de niveau 𝑐 ∈ ℝ de 𝑓: 𝑅 𝑛 → ℝ 3000

2500
est 2000

ℒ𝑐 = 𝑥 ∶ 𝑓 𝑥 = 𝑐 1500

Exemple : La fonction Rosenbrock 1000

𝑓 𝑥, 𝑦 = 100 𝑦 − 𝑥 2 2 + 1 − 𝑥 2 500

0
3
2 2
Dessinons cette courbe en 3D sur Matlab : 1 1
0
>> x = -2:0.1:2; 0
-1 -2
-1

>> y = -1 : 0.1 : 3;
>> [X,Y] = meshgrid(x,y); 3
0
>> Z = 100 * ( Y - X.^2 ).^2 + ( 1 - X ).^2 ; 2.5

5
>> mesh(X,Y,Z)

15

10
2
0
1.5

Pour avoir les courbes de niveau : 1

5
0 -5

>> contour(X,Y,Z,'ShowText','on') 0.5 10


-5
0
Ceci crée ℒ15 , ℒ10 , ℒ5 , ℒ0 , ℒ−5 , ℒ −10 , ℒ15 5 0 -10
-0.5 -5
-10
-15
-1
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

15
Autres Exemples
Soit 𝑓 𝑥1 , 𝑥2 = 𝑥12 + 𝑥22

50

40

30

20

10

0
5
5
0
0
Tapez une équation ici.>> Z = 100 * ( Y - X.^2 ).^2 + ( 1 - X ).^2
-5 -5

5 25

.5 25 18.7 37
4 5 5 .5
37 18.7
12.5 25
31
5
.2

.2
31

3
5

6.25 12
.5
2
18
.5
25

.75
75

12

5
18.

6.2

1
6.25

0
25
6.25
18.7

-1
.5
25

12
.75

-2
18

12 6.25
.5
-3
31

12.5
.2

18. 25
.2

31

3 75
5

-4 7.5 25 .5
18.75 37
-5 25
-5 0 5
16
Forme quadratique
Soit 𝐴 ∈ ℳ𝑛,𝑛 (ℝ)une matrice carrée et  𝐴 est semi-définie positive (et on note
symétrique. La forme quadratique 𝐴 ≥ 0), si 𝑥 ′ 𝐴𝑥 ≥ 0, ∀𝑥 ≠ 0
associée est la fonction
𝑓 𝑥 = 𝑥 ′ 𝐴𝑥
avec 𝑥 ∈ ℝ𝑛  𝐴 est définie positive (et on note
𝐴 > 0), si 𝑥 ′ 𝐴𝑥 > 0, ∀𝑥 ≠ 0

Exemple : Soit
𝑎11 𝑎12  Soient 𝜆1 ⋯ 𝜆𝑛 les valeurs propres de
𝐴= 𝑎
12 𝑎22 la matrice 𝐴. On a
alors Tapez une équation ici.>> Z = 100 * ( Y - X.^2 ).^2 + ( 1 - X ).^2
𝑎11 𝑎12 𝑥1
𝑓 𝑥 = 𝑥1 𝑥2 𝑎 𝐴 ≥ 0 ⟺ 𝜆𝑖 ≥ 0, 𝑖 = 1 ⋯ 𝑛
12 𝑎22 𝑥2

et
= 𝑎11 𝑥12 + 2𝑎12 𝑥1 𝑥2 + 𝑎22 𝑥22
𝐴 > 0 ⟺ 𝜆𝑖 > 0, 𝑖 = 1 ⋯ 𝑛

17