Académique Documents
Professionnel Documents
Culture Documents
Introduction
L’optimisation est une branche de mathématiques, qui vise à modéliser, à analyser et à
résoudre analytiquement ou numériquement des problèmes d’optimisation.
Pour se fixer les idées nous allons illustrer la définition du « problème d’optimisation »
à travers l’exemple suivant :
1
Face à la résolution d’un problème d’optimisation, il est important de bien identifier à
quelle catégorie ce problème appartient. En effet, les algorithmes développés sont conçus pour
résoudre un type de problème donné et sont souvent peu efficaces pour un type différent. La
classification des problèmes d'optimisation change d’un auteur à l’autre.
‖𝑥 ‖ = √∑ 𝑥𝑖 2 .
𝑖=1
2
Définition 1.4. Ensemble ouvert
Un ensemble 𝑂 de ℝ𝑛 est dit ouvert si pour tout 𝑥 ∈ 𝑂, il existe une boule ouverte 𝐵(𝑥, 𝑟)
incluse dans 𝑂.
Exemples
Les ensemble ∅ et ℝ𝑛 sont ouverts sont ouverts, mais ils sont aussi fermés car leurs
complémentaires respectifs ℝ𝑛 et ∅ sont ouverts. Ce sont d’ailleurs les seuls exemples
d’ensembles à la fois ouverts et fermés.
Les boules ouvertes sont des ouverts.
Les intervalles de la forme ]𝑎, 𝑏[, −∞ < 𝑎 < 𝑏 < +∞ sont des ouverts
Les intervalles de la forme [𝑎, 𝑏], −∞ ≤ 𝑎 < 𝑏 ≤ +∞ sont des fermés.
Remarques.
Un ensemble est ouvert si et seulement s’il ne contient aucun élément de sa frontière.
Un ensemble est fermé si et seulement s’il contient tous les éléments de sa frontière.
Les ensembles qui contiennent une partie de leur frontière mais pas l’intégralité ne sont
ni ouvert ni fermé.
Remarques.
Si 𝐸 admet un minorant fini, alors 𝐸 est dit minoré.
Si 𝐸 admet un majorant fini, alors 𝐸 est dit majoré.
3
Définition 1.8. Minimum et maximum d’un ensemble
Soit 𝐸 un sous ensemble de ℝ.
L’ inf(𝐸 ) est appelé minimum de 𝐸 noté min(𝐸 ) si et seulement si inf(𝐸 ) ∈ 𝐸.
Le sup(𝐸 ) est appelé maximum de 𝐸 noté max(𝐸 ) si et seulement si sup(𝐸 ) ∈ 𝐸.
Exemple
Considérons l’ensemble 𝐸 =]0,1]
L’ensemble des minorants de 𝐸 est [−∞, 0] et L’ensemble des majorants de 𝐸 est [1, +∞]
inf(𝐸 ) = 0, et sup(𝐸 ) = 1
inf(𝐸 ) ∉ 𝐸, 𝐸 n’admet pas de minimum, et sup(𝐸 ) ∈ 𝐸, max(𝐸 ) = sup(𝐸 ) = 1.
(lim 𝑓(𝑥 ) = 𝑙) si et seulement si pour toute suite (𝑈𝑛 )𝑛∈ℕ ∈ 𝑋 qui tends vers 𝑎 la suite
𝑥→𝑎
4
Exemple
0
Soit 𝑓 : ℝ2 \ ( ) ⟶ ℝ
0
𝑥 𝑥𝑦
(𝑦 ) ⟶ 2
𝑥 + 𝑦2
0
𝑓 est-elle continue au point ( ) ?
0
0
Supposons que : lim 𝑓 (𝑥 ) = 𝑙 = 𝑓 ( )
0
𝑥→( ) 0
0
1
1
Pour 𝑛 ∈ ℕ : 𝑈𝑛 = ( 𝑛 ) et 𝑉𝑛 = (𝑛1)
0 𝑛
0
On a : lim 𝑈𝑛 = lim 𝑉𝑛 = ( )
𝑛→+∞ 𝑛→+∞ 0
On peut vérifier facilement que :
lim 𝑓 (𝑈𝑛 ) = 0 = 𝑙
𝑛→+∞ 0
1 } 𝐜𝐨𝐧𝐭𝐫𝐚𝐝𝐢𝐜𝐭𝐢𝐨𝐧 (𝐩𝐫𝐨𝐩𝐨 𝟐. 𝟏), cela preuve que 𝑓 n′ admetpas de limite en ( )
lim 𝑓 (𝑈𝑛 ) = = 𝑙 0
𝑛→+∞ 2
𝜕𝑓
Si la dérivée partielle (𝑥 ) existe pour tout 𝑖 = 1, … , 𝑛, alors le gradient de 𝑓 est
𝜕 𝑥𝑖
5
Définition 1.13. Gradient de 𝒇 en 𝒙 : 𝛁𝒇(𝒙)
Soit Ω ⊂ ℝ𝑛 un ouvert et 𝑓: Ω → ℝ une fonction continue, la fonction notée
∇𝑓 (𝑥 ): Ω ⟶ ℝ𝑛 est appelée le gradient de 𝑓 en 𝑥 et est défine par :
𝜕𝑓
(𝑥 )
𝜕 𝑥1
𝜕𝑓
(𝑥 )
𝜕 𝑥2
∇𝑓(𝑥 ) = . .
.
.
𝜕𝑓
(𝑥 )
(𝜕 𝑥 𝑛 )
Exemple
𝑓 (𝑥, 𝑦) = (𝑥 − 1)2 + 2 𝑦 2
𝑓(𝑥, 𝑦) est de classe 𝐶 1 .
𝜕𝑓
(𝑥, 𝑦) 2𝑥−2
𝜕𝑥
Le gradient de 𝑓 en (𝑥, 𝑦) ∈ ℝ2 : ∇ 𝑓 (𝑥, 𝑦) = (𝜕 𝑓 )=( )
(𝑥, 𝑦) 4𝑦
𝜕𝑦
0
Le gradient de 𝑓 en (1,0) : ∇ 𝑓 (1,0) = ( )
0
Proposition 1.2. Gradient de la composée
Supposons qu’on deux ouverts Ω ⊂ ℝ𝑛 et U ⊂ ℝ et deux fonctions 𝑓: Ω → ℝ et 𝑔: U → ℝ
avec en plus 𝑓 (Ω) ⊂ 𝑈 (on peut alors définir 𝑔 ∘ 𝑓: Ω → ℝ ). Supposons 𝑔 et 𝑓 sont de classe
𝐶 1 , alors 𝑔 ∘ 𝑓 est aussi de classe 𝐶 1
𝛻 𝑔 ∘ 𝑓 (𝑥 ) = 𝑔′ (𝑓(𝑥)) 𝛻 𝑓 (𝑥 ), ∀ 𝑥 ∈ Ω
Exemple
𝑓 (𝑥1 , 𝑥2 ) = 𝑥1 2 𝑥2 + 2; 𝑔(𝑥 ) = 2𝑥 + 1
𝑔 ∘ 𝑓 (𝑥 ) = 𝑔(𝑥1 2 𝑥2 + 2) = 2(𝑥1 2 𝑥2 + 2) + 1 = 2 𝑥1 2 𝑥2 + 5 ;
4 𝑥1 𝑥2
𝛻 𝑔 ∘ 𝑓 (𝑥 ) = ( ).
2 𝑥1 2
𝑔′ (𝑥 ) = 2; 𝑔′ (𝑓(𝑥)) = 2
2 𝑥1 𝑥2
𝛻 𝑓 (𝑥 ) = ( )
𝑥1 2
2 𝑥1 𝑥2 4 𝑥1 𝑥2
𝑔 ′ (𝑥 )𝛻 𝑓 (𝑥 ) = 2 ( 2 ) =( ) = 𝜵 𝒈 ∘ 𝒇 (𝒙).
𝑥1 2 𝑥1 2
6
Définition 1.14. Point critique de f
Soit 𝑓 : Ω ⊆ ℝ𝑛 ⟶ ℝ, on dit que 𝑥 ∗ ∈ 𝛺 est un point critique de 𝑓 si ∇𝑓 (𝑥 ∗ ) = 0.
Exemple
𝑓 (𝑥, 𝑦, 𝑧) = (𝑥 − 1)2 + 2 𝑦 2 + (𝑧 − 2)2
𝑓(𝑥, 𝑦) est de classe 𝐶 1 sur ℝ3
2𝑥−2
∇ 𝑓 (𝑥, 𝑦) = 0 ⟺ ( 4𝑦 )
2 (𝑧 − 2)
2𝑥−2 =0 𝑥=1
⟹ { 4𝑦 = 0 ⟺ {𝑦 = 0
𝑧−2 =0 𝑧=2
1
Donc (0) est un point critique de 𝑓.
2
Les dérivées partielles d’une fonction à plusieurs variables décrivent le taux de variation
de cette fonction lorsqu’une de ses variable varie, et les autres restantent constantes. D’une
manière plus générale, on peut s’intéresser au taux de variation de la fonction lorsque toutes ses
variables varient dans une direction fixée.
7
Exemple
𝑓 (𝑥, 𝑦) = (𝑥 − 1)2 + 2 𝑦 2
𝑓(𝑥, 𝑦) est de classe 𝐶 1 sur ℝ2
1
1 1
𝜕𝑓 1
)𝑇
(𝑥 ) = ∇𝑓(𝑥, 𝑦 𝑑 = ∇𝑓 (0,0 )𝑇 ( 1) = (−2 0) ( 2 1) = − .
2
𝜕𝑑 2
−3 −3
Exemple :
𝑓(𝑥, 𝑦, 𝑧) = 𝑒 𝑥1 + 𝑥1 2 𝑥3 − 𝑥1 𝑥2 𝑥3
𝑓(𝑥1 , 𝑥2 , 𝑥3 ) est de classe 𝐶 2 sur ℝ2
𝑒 𝑥1 + 2 𝑥1 𝑥3 − 𝑥2 𝑥3
𝛻 𝑓 (𝑥1 , 𝑥2 , 𝑥3 ) = ( −𝑥1 𝑥3 )
2
𝑥1 − 𝑥1 𝑥2
𝑥1
𝑒 + 2 𝑥3 −𝑥3 2 𝑥1 − 𝑥2
𝛻 𝑓 𝑥, 𝑦 = ( −𝑥3
2 ( ) 0 −𝑥1 )
2 𝑥1 − 𝑥2 −𝑥1 0
Remarque :
Le hessien d’une fonction à plusieurs variables est toujours symétrique si 𝑓 est de classe C 2 .
8
1.3. Natures des matrices.
Définition 1.19. Nature d’une matrice carrée.
Une matrice carrée 𝐴 d’odre 𝑛 est
définie positive (𝑨 ≻ 𝟎) si 𝑥 𝑇 𝐴 𝑥 > 0, ∀ 𝑥 ∈ ℝ𝑛 et ‖𝑥 ‖ ≠ 0.
définie négative (𝑨 ≺ 𝟎) si 𝑥 𝑇 𝐴 𝑥 < 0, ∀ 𝑥 ∈ ℝ𝑛 et ‖𝑥 ‖ ≠ 0.
semi définie positive (𝑨 ≽ 𝟎) si 𝑥 𝑇 𝐴 𝑥 ≥ 0 ∀ 𝑥 ∈ ℝ𝑛 .
semi définie négative (𝑨 ≼ 𝟎) si 𝑥 𝑇 𝐴 𝑥 ≤ 0, ∀ 𝑥 ∈ ℝ𝑛 .
Exemple
2 1
𝑨 = (3 3)
1 2
3 3
Soit (𝑥, 𝑦)𝑇 ∈ ℝ2
2 1
𝑥 2 1 2 3
(𝑥, 𝑦) (31 3
) ( = 3 ((2 𝑥 + 𝑦) + 4 𝑥 2 ) > 0, pour (𝑥, 𝑦) ≠ (0,0)
2 𝑦)
3 3
Exemples
2 1 2
𝐵 = (1 3 0)
2 0 5
𝐵 est une matrice symétriques de taille 3.
Les mineurs principaux de 𝐵
𝐵11 = 2 > 0
2 1
𝐵22 = | |=5>0
1 3
2 1 2
𝐵33 = |1 3 0| = 13 > 0
2 0 5
B est définie positive.
9
−2 −1 −2
𝐶 = (−1 −3 0)
−2 0 −5
𝐶 est une matrice symétriques de taille 3.
1.4. Convexité
Exemple
10
Définition 1.21. fonction convexe
Soit Ω un ensemble non vide convexe de ℝ𝑛 . Une fonction 𝑓: Ω → ℝ, définie sur Ω, est
convexe en 𝑥 ∈ Ω, si pour tout 𝑦 ∈ Ω et pour tout λ ∈ [0,1], on a :
𝑓 ( 𝜆 𝑥 + (1 − 𝜆 ) 𝑦 ) ≤ 𝜆 𝑓 (𝑥 ) + (1 − 𝜆 ) 𝑓 (𝑦 )
On dit que 𝑓 est convexe en Ω, si elle est convexe en tout point 𝑥 ∈ Ω.
Exemple
Exemple
𝑓(𝑥, 𝑦) = −𝑥 2 − 2𝑥 𝑦 − 3 𝑦 2
On a :
−2 −2
𝛻 2 𝑓(𝑥, 𝑦) = ( )
−2 −6
−2 −2
−2 ≤ 0 et | | = 8 ≥ 0 donc 𝛻 2 𝑓(𝑥, 𝑦) ≼ 𝟎 par conséquant 𝑓 est convexe
−2 −6
11