2.

Conditions d’Optimalité d’un

Programme Mathématique

1
 Sommaire
• Théorème Fondamental
• Exemples 1 et 2
• Exemples 3 et 4
• Fonction Implicite et Coefficient Directeur
• Gradient et Courbes de Niveaux
• Champ du Gradient
• Point Intérieur et Point Frontalier
• Direction Réalisable
• Conditions Nécessaires du Premier Ordre (CNPO)
• Cas d’un point interieur
• Exemple
• Conditions Necessaires de Second Ordre (CNSO)
• Cas d’un point interieur
• Conditions Suffisantes de Second Ordre (CSSO)
• Exemple

2
Théorème Fondamental
Théorème de Weirestrass : Soit • D’après le théorème de Bolzano
𝑓: Ω → ℝ une fonction continue sur le Weirestrass, il existe une sous-
compact Ω, alors 𝑓 admet un minimum suite 𝑦𝑘 ⊂ 𝑥𝑛𝑘 convergente : soit
𝑥𝑚𝑖𝑛 et un maximum 𝑥𝑚𝑎𝑥 sur Ω
lim 𝑦𝑘 = lim 𝑥𝑛𝑘 = 𝑎
𝑘→∞ 𝑘→∞
Preuve :
⟹ lim 𝑓 𝑥𝑛𝑘 = 𝑓(𝑎)
• Ω est compact ⟹ Ω fermé et borné, et 𝑘→∞

comme 𝑓 est continue, alors image (1) ⟹ 𝑓 𝑎 = 𝑀 c-à-d 𝑥𝑚𝑎𝑥 = 𝑎

𝑓[Ω] est borné aussi ⟹ ∃ 𝑀 =

sup 𝑓(𝑥)
x∈Ω  Pour le minimum, il suffit de poser
• Par définition d’une borne sup,∀𝜖 > 0,
𝑔(𝑥) = −𝑓(𝑥).
∃𝑥 ∈ Ω tel que𝑓 𝑥 > 𝑀 − 𝜖
1
On pose 𝜖𝑛 = 𝑛, alors ∃ 𝑥𝑛 ∈ Ω :
1
𝑀 − 𝑛 < 𝑓 𝑥𝑛 ≤ 𝑀 ….. (1)
3
Exemples 1 et 2
Exemple 1 : (Fonction continue sur un Exemple 2 : (Fonction continue sur un
compact ) non compact )
min 𝑓 𝑥, 𝑦 = 3 − 𝑥 2 + 2
min 𝑓 = 𝑥 − 2 2 + 𝑦 − 1 2
+3 soumis à
soumis à 0<𝑥<4
1≤𝑥≤4 2<𝑦<3
1≤𝑦≤4 𝑧
𝑧

𝑦
𝑦
𝑥
Ω Ω
𝑥

Cette fonction n’admet pas de minimum

Il existe toujours une solution sur cette ouvert.
optimale.
4
Exemples 3 et 4
Exemple 3 : (fonction discontinue) Exemple 4 : (Plusieurs optimums)

1 2
𝑓 𝑥, 𝑦 = 3 1 − 𝑥 2 𝑒 −𝑥 − 𝑦+1
2
max 𝑓(𝑥, 𝑦) =
𝑥 𝑥 2
−10(5 − 𝑥 3 − 𝑦 5 ) 𝑒 −𝑥 −𝑦
2

soumis à
1 2 2
0≤𝑥≤1 − 𝑒 − 𝑥+1 −𝑦
3

120
10
100

80 5

60
0
40
-5
20 0
2
0 -10
4 4
0 1 2 3 6
4 5 2 4
0 2
0
-2
Pas de solution -4 -4
-2

http://grapher.mathpix.com

5
Fonction Implicite et Coefficient Directeur
Une fonction implicite est donnée sous la
forme 𝑓(𝑥, 𝑦) = 0
Une fonction explicite est donnée sous la
forme 𝑦 = 𝑔(𝑥)
Soit une droite 𝐷1 définie par son
équation cartésienne 𝑦 = 𝑎1 𝑥 + 𝑏1
Le coefficient directeur de 𝐷1 est 𝑎1
On sait que 𝑎1 = 𝑡𝑔 𝜃1

Exemple : Soit le cercle de centre 𝑂(0,0) 𝑦

et de rayon 2 :
sa fonction implicite : 𝑥² + 𝑦² − 4 = 0
Sa fonction explicite : 𝑦 = ± 4 − 𝑥 2 .

Théorème : Soit 𝑦 une fonction de 𝑥

définie par la fonction implicite 𝑓(𝑥, 𝑦) = 0 𝜃1
𝑥
continue sur 𝑑𝑜𝑚 𝑓. Pour tout 𝑥 ∈ 𝑑𝑜𝑚𝑓
alors
𝜕𝑓
𝑑𝑦
= − 𝜕𝑥 La droite 𝐷2 , d’équation 𝑦 = 𝑎2 𝑥 + 𝑏2 est
𝑑𝑥 𝜕𝑓 perpendiculaire à 𝐷1 si
𝜕𝑦 𝑎1 𝑎2 = −1
𝜕𝑓
avec ≠0
𝜕𝑦
Preuve : voir [N. Piskounov. Calcul
Différentiel et Intégral], page 297.
6
Gradient et Courbes de Niveaux
Théorème : Soit une courbe de niveau 𝑦
𝑓(𝑥, 𝑦) = 𝑐 et (𝑥0 , 𝑦0 ) un point
quelconque de cette courbe, alors le 𝛻𝑓(𝑥0 , 𝑦0 )
𝑇𝑥0
gradient 𝛻𝑓(𝑥0 , 𝑦0 ) est orthogonal à la
droite 𝑇𝑥0 tangente à 𝑓 au point (𝑥0 , 𝑦0 ). 𝑦0 𝜃2
Preuve :
• Soit 𝑦 = 𝑔𝑐 (𝑥) la fonction explicite de
𝑓(𝑥, 𝑦) = 𝑐. 𝜃1
𝑥0 𝑥
Le coefficient directeur de 𝑇𝑥0 est 𝑂
a1 = t𝑔 𝜃1 = 𝑔′ 𝑥0 .
• Au point (𝑥0 , 𝑦0 ), le gradient
𝑇 Par ailleurs
𝜕𝑓 𝜕𝑓
𝛻𝑓(𝑥0 , 𝑦0 ) = (𝑥 , 𝑦 ), (𝑥 , 𝑦 ) 𝜕𝑓
𝜕𝑥 0 0 𝜕𝑦 0 0 𝑑𝑦 𝜕𝑥
𝑥0 , 𝑦0
′
𝑎1 = 𝑔 𝑥0 = 𝑥 =−
Le coefficient directeur du gradient est 𝑑𝑥 0 𝜕𝑓
𝜕𝑓 𝑥 ,𝑦
(𝑥 , 𝑦 ) 𝜕𝑦 0 0
𝜕𝑦 0 0 1
a2 = t𝑔 𝜃2 = =−
𝜕𝑓 𝑎2
(𝑥 , 𝑦 )
𝜕𝑥 0 0
⟹ 𝑎1 𝑎2 = −1
D’où 𝛻𝑓(𝑥0 , 𝑦0 ) ⊥ 𝑇𝑥0

7
Champ du Gradient
 A chaque point (𝑥, 𝑦) de la courbe de 𝑑3 𝛻𝑓
niveau, 𝛻𝑓(𝑥, 𝑦) ⊥ 𝑇𝑥 𝑑2
𝑑1
𝑦0
𝑑4
𝑑5
𝑥0
𝑓0
𝑓1
𝑓2

 Le gradient est 𝑓3
orthogonal à la
surface de la 𝑓0 < 𝑓1 < 𝑓2 < 𝑓3
fonctin 𝑓(𝑥, 𝑦)
Parmi toutes les directions possibles, la
direction du gradient est celle qui projette un
point (𝑥0 , 𝑦0 ) d’une ligne de niveau 𝑓0
donnée vers la ligne de niveau la plus
éloignée possible.
8
Point Intérieur et Point Frontalier
 𝐴 est un point frontalier car 𝑔1 𝑎 = 0

 𝐵 est un point intérieur car

𝐴 𝑔1 𝑏 < 0 et
𝐵
𝑔2 𝑏 < 0
Ω
𝑎 𝑏

 Les inégalités
𝑔1 (𝑥) ≤ 0 et
𝑔2 𝑥 ≤ 0
définissent un ensemble de solutions
réalisable Ω.

9
Direction Réalisable
𝑑2 Exemple : Soient
𝑥
𝛼𝑑1 𝑓 𝑥 = 𝑥1 𝑥2 𝑥3
𝛼0 𝑑1 et
𝛀 𝑑1 1 1 1
𝑑=
2 2 2

 Un vecteur 𝑑 ∈ ℝ𝑛 , 𝑑 ≠ 0, est une

La dérivée directionnelle de 𝑓 suivant 𝑑
direction réalisable au point 𝑥 ∈ Ω s’il
est :
existe 𝛼0 > 0 tel que 𝑥 + 𝛼𝑑 ∈ Ω pour 𝜕𝑓
𝑥 = 𝛻𝑓 𝑥 𝑇 𝑑
tout 𝛼 ∈ 0, 𝛼0 𝜕𝑑
1/2
1/2
= 𝑥2 𝑥3 𝑥1 𝑥3 𝑥1 𝑥2 𝑇
1
𝜕𝑓 𝑑
 On a 𝑥 = 𝑓 𝑥 + 𝛼𝑑 =
𝜕𝑑 d𝛼 2
𝛻𝑓 𝑥 𝑇 𝑑 = 𝑑 𝑇 𝛻𝑓(𝑥) (principe 𝑥2 𝑥3 + 𝑥1 𝑥3 + 𝑥1 𝑥2 2
=
2
dérivation de fonction composée)

10
Conditions Nécessaires du Premier Ordre (CNPO)
 Théorème : (CNPO) Soit Ω ⊂ ℝ𝑛 et Rappel : Produit scalaire des vecteurs 𝑢
𝑓 ∈ 𝐶 1 . 𝑓: Ω → ℝ. Si 𝑥 ∗ est un minimum et 𝑣 :
𝑢. 𝑣 = 𝑢 . 𝑣 . cos(𝑢, 𝑣)
local de 𝑓 sur Ω alors pour toute
direction réalisable 𝑑 au point 𝑥 ∗ on a 𝑣
𝑢
𝑢 𝑣
𝑇 ∗
𝑑 𝛻𝑓 𝑥 ≥0 𝑢𝑣 ≥ 0 𝑢𝑣 ≤ 0

• 𝑥1 ne vérifie pas les conditions

𝛻𝑓(𝑥1 ) 𝑥1 nécessaires du premier ordre (CNPO),
𝑑1 car, par exemple, pour 𝑑1 on a
𝛻𝑓(𝑥2 ) 𝛻𝑓 𝑥1 𝑑1 < 0
𝑥2

𝛀
• 𝑥2 vérifie CNPO car ∀𝑑 réalisable
alors 𝛻𝑓 𝑥2 𝑑2 ≥ 0
𝑓=3 𝑓=2 𝑓=1

11
… suite
Corolaire : Une autre manière
d’annoncer le théorème précedent est
𝜕𝑓 ∗
𝑥 ≥0
𝜕𝑑
∀𝑑 direction réalisable. 𝛻𝑓(𝑥1 ) 𝑥1
∗ 𝑑1
Preuve : 𝑥 minimum local alors pour 𝛻𝑓(𝑥2 )
𝑥2
tout 𝛼 ∈ [0, 𝛼0 ] et 𝑑 direction réalisable,
on a
𝛀
𝑓 𝑥 ∗ ≤ 𝑓(𝑥 + 𝛼𝑑)
donc
𝑓 𝑥 ∗ + 𝛼𝑑 − 𝑓 𝑥 ∗
≥0 𝑓=3
𝛼 𝑓=2 𝑓=1
En passant à la limité
𝜕𝑓 ∗
𝑥 ≥0
𝜕𝑑

12
Cas d’un point interieur
 Corolaire : Soit Ω ⊂ ℝ𝑛 et 𝑓 ∈ 𝐶 1 .
𝑓: Ω → ℝ. Si 𝑥 ∗ est un minimum local
de 𝑓 sur Ω et 𝑥 ∗ est un point intérieur
alors 𝑑2
∗
𝛀
𝛻𝑓 𝑥 =0 𝛻𝑓(𝑥1 )
𝑥1
∗
Preuve : Puisque 𝑥 est un minimum local, 𝑑1
donc en vertu du théorème précèdent :
𝑑 𝑇 𝛻𝑓 𝑥 ∗ ≥ 0
pour toute 𝑑 réalisable.
𝑓=3 𝑓=2 𝑓=1
Aussi, 𝑥 ∗ est un point intérieur, donc pour
toutes les directions 𝑑 ∈ ℝ𝑛 on doit avoir
𝑑 𝑇 𝛻𝑓 𝑥 ∗ ≥ 0 et −𝑑 𝑇 𝛻𝑓 𝑥 ∗ ≥ 0 , ceci
n’est vrai que si
𝛻𝑓 𝑥 ∗ = 0

13
Exemple
Exemple : Soit le programme Réponse :
mathématique f = @(x1,x2) x1.^2 + 0.5*x2.^2 + 3 .*x2 + 4.5;
>> x = 0 : 0.1 : 4; y = x;
min 𝑓 𝑥1 , 𝑥2 = 𝑥12 + 0,5𝑥22 + 3𝑥2 + 4,5
>> [X,Y] = meshgrid(x,y);
Soumis à 𝑥1 , 𝑥2 ≥ 0 >> Z = f(X,Y);
>> surf(X,Y,Z);
Est-ce que la CNPO pour un minimum
>> contour(X,Y,Z,'ShowText','On')
local est vérifiée pour les points suivants :
𝑇
1) 𝑀1 = 1, 3
𝑇
2) 𝑀2 = 0, 3 50

3) 𝑀3 = 1, 0 𝑇 40

30

4) 𝑀4 = 0, 0 𝑇 20

10

0
4
3 4
2 3
2
1 1
0 0

14
… suite  𝑀2 = 0, 3 𝑇 est un point frontalier.
4 25 𝛻𝑓 0,3 = [0, 6]. Par exemple, 𝑑 = 1, −1
30
3.5 25
20
35
est une direction réalisable mais
32 1 20
𝑑 𝑇 𝛻𝑓 = −6 < 0 donc 𝑀2 n’est pas un
25
2.5 15

30
20 minimum local.
2 15

1.5 10

 𝑀3 = 1, 0 𝑇 point frontalier 𝛻𝑓 1,0 = [2,

15

1 10

20
0.5 3]. Par exemple 𝑑 = −5, 1 direction
réalisable mais 𝑑 𝑇 𝛻𝑓 = −7 < 0 donc ce
5
040 0.5 31 1.5 2 2.5 3 3.5 4

point n’est pas un minimum local.

On a 𝛻𝑓 = 2𝑥1 , 𝑥2 + 3

 𝑀4 = 0, 0 𝑇 point frontalier, 𝛻𝑓 0,0 = [0,

 1) 𝑀1 = 1, 3 𝑇 est un point intérieur
3]. On a dT 𝛻𝑓 = 3𝑑2 . Les directions
et 𝛻𝑓 1,3 = [2, 6] ≠ 0 donc 𝑀1 n’est
pas un minimum local. réalisables à partir de ce point verifient
𝑑1 ≥ 0 et 𝑑2 ≥ 0 donc dT 𝛻𝑓 = 3𝑑2 ≥ 0
donc ce point vérifie les CNPO.
15
Conditions Necessaires de Second Ordre (CNSO)
Théoreme : (CNSO) Soit 𝑓 ∈ 𝐶 2 sur D’après le théorème de Taylor :
Ω ⊂ ℝ𝑛 . Un point 𝑥 ∗ est un minimum de 2
𝛼
𝑔(𝛼) = 𝑔 0 + 𝛼𝑔′ 0 + 𝑔′′ 0 + 𝜖(𝛼)
𝑓 sur Ω, si pour toute direction réalisable 2!
𝑑 au point 𝑥 ∗ on a
• 𝑑 𝑇 𝛻𝑓 𝑥 ∗ = 0 et On a 𝑔′ 0 = 𝑑 𝑇 𝛻𝑓 𝑥 ∗ + 𝛼𝑑 𝛼=0

• 𝑑𝑇 𝛻 2𝑓 𝑥 ∗ 𝑑 ≥ 0 = 𝑑𝛻𝑓 𝑥 ∗ = 0 (par hypothèse)

Preuve :
Par contradiction : on suppose 𝑥 ∗ est un Et 𝑔′′ 0 = 𝑑 𝑇 𝛻 2 𝑓 𝑥 ∗ + 𝛼𝑑 𝑑 𝛼=0

minimum local et 𝑑 𝑇 𝛻 2 𝑓 𝑥 ∗ 𝑑 < 0 = 𝑑𝑇 𝛻 2𝑓 𝑥 ∗ 𝑑

Donc 𝑔 𝛼 − 𝑔 0
Essayons de nous déplacer à partir de = 𝑑𝑇 𝛻 2𝑓 𝑥 ∗ 𝑑 + 𝜖 𝛼 < 0
𝑥 ∗ le long de la direction 𝑑, soit c-à-d 𝑓 𝑥 ∗ + 𝛼𝑑 − 𝑓 𝑥 ∗ < 0
𝑥 𝛼 = 𝑥 ∗ + 𝛼𝑑 le point obtenu. Ce qui contredit le fait que 𝑥 ∗ soit un
On pose 𝑔 𝛼 = 𝑓(𝑥 𝛼 ) minimum local.
16
Cas d’un point interieur
Corollaire : Soit 𝑥 ∗ un point intérieur à Exemple 1 : Soit la fonction 𝑓 𝑥 = 𝑥 3
Ω ⊂ ℝ𝑛 . Si 𝑥 ∗ est un minimum local de
𝑓 alors :
• 𝛻𝑓 𝑥 ∗ = 0 et
• 𝛻 2𝑓 𝑥 ∗ ≥ 0
c-à-d le hessien est semi-défini positif.
Preuve :
Si 𝑥 ∗ est un point intérieur, alors toutes
les directions 𝑑 sont réalisables, d’apres
le théorème précedent, ce résultat s’en On a 𝑓 ′ 𝑥 = 3𝑥 2 et 𝑓 ′′ 𝑥 = 6𝑥
suit. Puis 𝑓 ′ 0 = 0 et 𝑓 ′′ 0 = 0
Donc 𝑥 ∗ = 0 satisfait à la fois CNPO et
CNSO, mais ce n’est un minimum.

17
… suite >> H = hessian(f)

Exemple 2 : 𝑓 𝑥, 𝑦 = 𝑥 2 − 𝑦 2 H=

>> syms x y [ 2, 0]

>> f = x^2 - y^2; [ 0, -2]

>> ezmesh(f) >> L = eig(H)

2
x -y
2 L=
-2
30
20
2
Le point 𝑥 ∗ = (0,0) vérifie les CNPO,
10
0
-10
-20
-30
mais ne vérifie pas les CNSO car le
5 héssien est indéfini puisque 𝜆1 < 0 et
5

𝜆2 > 0
0
0
-5 -5
y x

>> G = gradient(f) En effet, pour :

G= • 𝑑1 = 1, 0 𝑇
on a 𝑑1𝑇 𝐻𝑑1 = 2 > 0

2*x • 𝑑2 = 0, 1 𝑇
on a 𝑑2𝑇 𝐻 𝑑2 = −2 < 0

-2*y Donc 𝑥 ∗ = (0,0) n’est pas un minimum.

11/04/2018 18
Conditions Suffisantes de Second Ordre (CSSO)
Inégalité de Rayleigh : Soit 𝐴 ∈ Preuve :
ℳ𝑛,𝑛 ℝ une matrice symétrique définie Puisque 𝛻 2 𝑓 𝑥 ∗ > 0 ⟹ 𝜆𝑖 > 0
positive, alors pour 𝑥 ∈ ℝ𝑛 on a 𝑖 = 1,2, . .
2
𝜆m𝑖𝑛 𝑥 2
≤ 𝑥 𝑇 𝐴𝑥 ≤ 𝜆𝑚𝑎𝑥 𝑥 2 Et 𝜆m𝑖𝑛 𝑑 ≤ 𝑑 𝑇 𝛻 2 𝑓 𝑥 ∗ 𝑑 (inégalité
où 𝜆m𝑖𝑛 et 𝜆m𝑎𝑥 sont resp. la plus petite de Rayleigh) ∀ 𝑑 ∈ ℝ𝑛 et 𝑑 ≠ 0
et la plus grande valeurs propres de 𝐴.
Preuve : voir [K. Kuttler. Linear Algebra, Puisque 𝛻𝑓 𝑥 ∗ = 0 alors formule
Theory And Applications] Taylor donne
𝑓 𝑥∗ + 𝑑 − 𝑓 𝑥∗
Théorème (CSSO) Soit 𝑓 ∈ 𝐶 2 sur 1 𝑇 2
= 𝑑 𝛻 𝑓 𝑥∗ 𝑑 + 𝜖 𝛼
Ω ⊂ ℝ𝑛 , et 𝑥 ∗ un point intérieur à Ω. Si 2

𝛻𝑓 𝑥 ∗ = 0 et 1 2
≥ 𝜆𝑚𝑖𝑛 𝑑 +𝜖 𝛼 >0
𝛻 2𝑓 𝑥∗ >0 2
∗ donc 𝑥 ∗ est un minimum local.
alors 𝑥 est un minimum local.
19
Exemple
Soit 𝑓 𝑥 = 𝑥12 + 𝑥22 . >> H = hessian(f)
>> syms x y H=
>> f = x^2 + y^2 [ 2, 0]
2 2
x +y
>> ezmesh(f) [ 0, 2]
>> L = eig(H)
60
L=
40
2
20

2
0
5
5 On a 𝛻𝑓 𝑥 = [2𝑥1 , 2𝑥2 ] et 𝑥 ∗ = (0,0)
0
0

y
-5 -5 annule le gradient
x

>> G = gradient(f) 2 0
𝛻 2𝑓 𝑥 =
G= 0 2
Le point (0,0) vérifie les CNPO, CNSO
2*x
et CSSO, donc c’est un minimum local.
2*y
20