Chapter 5

Introduction et Motivation
Résultats d'existence et d'unicité

Conditions d'optimalités
Programmation convexe
Programmation quadratique
INTRODUCTION A L'OPTIMISATION
HADDACH ALI
Université HASSAN I
Faculté des Sciences et Techniques SETTAT
25 Octobre 2022
A.HADDACH INTRODUCTION A L'OPTIMISATION

Conditions d'optimalités
1 Introduction et Motivation
2 Résultats d'existence et d'unicité
3 Conditions d'optimalités
4 Programmation convexe
5 Programmation quadratique

Conditions d'optimalités Introduction et Motivation
Introduction
Dénition d'un problème d'optimisation

Optimiser : rendre optimal, donner à quelque chose les meilleures
conditions d'utilisation, de fonctionnement ou de rendement au regard de
certaines circonstances. (Déf. du LAROUSSE).
• Forme standard
(
min f (x),
x∈K
K = {x ∈ Rn , g(x) ≤ 0, h(x) = 0}
▶ La fonction f : Rn → R est appelée fonction de coût, fonction objectif, ou

critère d'optimisation (f, g, h sont des fonctions non linéaires).
▶ Les variables x = (x1 , . . . , xn ) sont appelées "variables d'optimisation" ou
variables de décision.
▶ g(x) ≤ 0 : contraintes de type inégalité,
▶ h(x) = 0 : contraintes de type égalité.
Problème sans contrainte ⇐⇒ K = Rn

Minimum et maximum
Considérons le problème d'optimisation sans contraintes
(
min f (x),
(P ) x∈K
K = Rn
Résoudre le problème (P ) revient chercher des points de minimum local (ou

global, c'est encore mieux !) au sens de la dénition suivante :
Dénition :
Soit f : X ⊂ Rn → R une fonction.
•x⋆ ∈ Rn est un point de minimum local (= meilleure solution dans un
voisinage) de f sur X si et seulement si :
x ∈ X et ∃r > 0 | ∀y ∈ X ∩ B(x⋆ , r), f (x⋆ ) ≤ f (x)
•x⋆ ∈ Rn est un point de minimum global (= meilleure solution dans
l'absolu) de f sur X si et seulement si :
x ∈ X et ∀y ∈ X f (x⋆ ) ≤ f (x)

Les notions de maximum local et global sont dénies de façon tout à fait
similaire. En fait, on peut facilement démontrer que les problèmes :
min f (x) et max −f (x)
x∈X x∈X
sont équivalents dans le sens où ils ont même ensemble de solutions et :

min f (x) = − max −f (x) ou encore max f (x) = − min −f (x)
x∈X x∈X x∈X x∈X
Ainsi la recherche d'un maximum pouvant se ramener la recherche d'un

minimum, nous ne nous intéresserons qu'à la recherche du minimum par la
suite.
Conditions d'optimalités Applications coercives
Applications coercives
Dénition :
Une application f : X ⊂ Rn → R continue est coercive si X est fermé non
borné et si :
lim f (x) = +∞
∥x∥→+∞

Théorème : (Existence d'une solution)

Soit f : X → R une fonction continue et coercive. Alors le problème (P )
admet au moins un point de minimum.
Autrement dit, si f est coercive, alors f admet un minimum global (et
aucun maximum global). Si −f est coercive, f admet un maximum global (
et aucun minimum global).

Exemple
Une fonction polynomiale f : R → R de degré > 0 :

- de degré pair est coercive sur R si et seulement si le coecient de son
terme de plus haut degré est > 0,

Exemple

- de degré impair (de coecient du terme de plus haut degré α) n'est
jamais coercive sur R.

Exemple

Conclusion. Une application polynomiale sur R admet :
Si son degré est pair :
• Si le coecient de son terme de plus haut degré est > 0 : un min global et
aucun max global.
• Si le coecient de son terme de plus haut degré est < 0 : un max global
et aucun min global.

Exemple

Conclusion. Une application polynomiale sur R admet :
Si son degré est pair :
• Si le coecient de son terme de plus haut degré est > 0 : un min global et
aucun max global.
• Si le coecient de son terme de plus haut degré est < 0 : un max global
et aucun min global.
Si son degré est impair : ni minimum ni maximum global.

Conditions d'optimalités Recherche d'extrema locaux
Recherche d'extrema locaux
• Ne s'applique qu'à une fonction diérentiable (1 ou 2 fois)

• Ne détermine que les extremas locaux dans l'intérieur du domaine.
Plan.
1.Condition du 1er ordre.
Condition nécessaire et susante portant sur les dérivées premières.
2.Condition du 2eme ordre.
Condition nécessaire portant sur les dérivées secondes.

Vecteur gradient
Soit U un ouvert de Rn , x0 ∈ Rn et f : U ⊂ Rn → R une application

diérentiable en x0 , on note :
 ∂f

∂x (x0 )
 ∂f1
 ∂x2 (x0 ) 

n
∇f (x0 ) =   .. 
∈R
 . 
∂f
∂xn (x0 )
Le vecteur gradient de f en x0 .
On a alors le développement de Taylor-Young de f à l'ordre 1 au voisinage
de x0 :
f (x) = f (x0 )+ < ∇f (x0 ), x − x0 > +o(∥x − x0 ∥).

Condition nécessaire du premier ordre
Équation d'Euler
Soit f : D ⊂ Rn → R, diérentiable en x0 ∈ Int(D)
x0 extremum local de f =⇒ ∇f (x0 ) = 0
Dénition :
Un point x0 interne à dom(f ) tel que ∇f (x0 ) = 0 sera dit point critique
ou point stationnaire de f .
L'équation d'Euler est une condition nécessaire et non susante.


Matrice Hessienne
Soit f : U ⊂ Rn → R est 2 fois diérentiable en x0 , on note :

∂2f 2
!
∂x1 ∂x1 (x0 ) . . . ∂x∂1 ∂x
f
(x0 )
Hf (x0 ) = ∂2f 2
n
.
∂xn ∂x1 (x0 ) . . . ∂x∂n ∂x
f
n
(x0 )
La matrice Hessienne de f en x0 .
C'est une matrice symétrique, en particulier elle est diagonalisable.
On a le développement de Taylor-Young à l'ordre 2 de f en x0
f (x) = f (x0 )+ < ∇f (x0 ), x−x0 > + 21 (x−x0 )T ∇2 f (x0 )(x−x0 )o(∥x−x0 ∥2 ).

Matrice dénie positive, semi-dénie positive, etc,...
Dénitions :
• Une matrice A ∈ Mn (R) est semi-dénie positive si ∀x ∈ Rn , xT Ax ≥ 0.
• Une matrice A ∈ Mn (R) est dénie positive si ∀x ∈ Rn \ {0}, xT Ax > 0.
• Et de façon analogue (semi)-dénie négative.

Matrice dénie positive, semi-dénie positive, etc,...
Dénitions :
• Une matrice A ∈ Mn (R) est semi-dénie positive si ∀x ∈ Rn , xT Ax ≥ 0.
• Une matrice A ∈ Mn (R) est dénie positive si ∀x ∈ Rn \ {0}, xT Ax > 0.
• Et de façon analogue (semi)-dénie négative.
Proposition :
Si A ∈ Mn (R) est diagonalisable, alors :
- A est semi-dénie positive ssi toutes ses valeurs propres sont positives ≥ 0.
- A est dénie positive ssi toutes ses valeurs propres sont strictement
positives > 0.

Conditions du second ordre
Théorème :
Soit f : D ⊂ Rn → R, 2 fois diérentiables en x0 ∈ Int(D)
1 (Condition nécessaire du 2eme ordre)
Si x0 est un minimum local de f , alors ∇f (x0 ) = 0 et Hessf (x0 ) est
semi-dénie positive. (∀x ∈ Rn , < ∇2 f (x0 )x, x >≥ 0)

Théorème :
2 (Condition susante du 2eme ordre)
Si ∇f (x0 ) = 0 et Hessf (x0 ) est dénie positive, alors x0 est un
minimum local strict de f .

Théorème :
• La condition susante du 2eme ordre s'utilise pour montrer qu'un point
critique est un extremum local.

Théorème :
• La condition susante du 2eme ordre s'utilise pour montrer qu'un point
critique est un extremum local.
• La condition nécessaire du 2eme ordre s'utilise pour montrer qu'un point
critique n'est pas un extremum local.

Exemple
Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

f : R2 → R
(x, y) 7 → f (x, y) = x3 + y 3 − 9xy

Exemple
Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

f : R2 → R
(x, y) 7 → f (x, y) = x3 + y 3 − 9xy
Son vecteur gradient en un point (x, y) est :
3x2 − 9y

∇f (x, y) =
3y 2 − 9x
et sa matrice Hessienne :

2 6x −9
∇ f (x, y) =
−9 6y

Les points critiques, solutions de ∇f (x, y) = 0 sont les 2 points (0, 0) et

(3, 3). En ces points, les matrices Hessiennes sont :

0 −9 18 −9
∇2 f (0, 0) = ∇2 f (3, 3) =
−9 0 −9 18



0 −9 18 −9
∇2 f (0, 0) = ∇2 f (3, 3) =
−9 0 −9 18
• ∇2 f (0, 0) a une trace nulle et un déterminant strictement négatif, elle
n'est donc ni semi-dénie positive, ni semi-dénie négative : (0, 0) n'est pas
un extremum local.



0 −9 18 −9
∇2 f (0, 0) = ∇2 f (3, 3) =
−9 0 −9 18
• ∇2 f (0, 0) a une trace nulle et un déterminant strictement négatif, elle
n'est donc ni semi-dénie positive, ni semi-dénie négative : (0, 0) n'est pas
un extremum local.
• ∇2 f (3, 3) a une trace et un déterminant strictement positifs : (3, 3) est
un minimum local.
f n'admet aucun extremum global puisque :
lim f (x, 0) = +∞ lim f (x, 0) = −∞
x→+∞ x→−∞

Conditions d'optimalités Convexité
Ensemble convexe
Dénition :
Un sous-ensemble C de Rn est convexe si
∀x, y ∈ C, ∀t ∈ [0, 1], tx + (1 − t)y ∈ C
i.e. ∀x, y ∈ C , le segment [x, y] est inclus dans C .

Applications convexes- Dénitions

Dénition :
Soit C ∈ Rn un ensemble convexe non vide et f : C → R.
L'application f est convexe si :
∀x, y ∈ C, ∀t ∈ [0, 1], f (tx + (1 − t)y) ≤ tf (x) + (1 − t)f (y)
L'application f est strictement convexe si :
∀x, y ∈ C, x ̸= y ∀t ∈]0, 1[, f (tx + (1 − t)y) < tf (x) + (1 − t)f (y)

Applications convexes- Dénitions
Propriétés :
− Toute application ane, dénie sur un convexe, est convexe et non
strictement convexe,
− La somme d'application (resp. strictement) convexes est (resp.
strictement) convexe.
− Si f est (resp. strictement) convexe et λ ∈ R+ (resp. λ ∈ R⋆− ) alors λf est
(resp. strictement) convexe.
− Si f est (resp. strictement) convexe et a, b ∈ R, a ̸= 0, alors l'application
x → f (ax + b) est (resp. strictement) convexe .
− Une application convexe sur C est continue en tout point de Int(C

Caractérisation de la convexité
Théorème (Inégalité du gradient d'une fonction convexe) :

Soit U un ouvert convexe de Rn et f : U → R une application diérentiable,
alors
1 f est convexe sur U ⇐⇒ ∀x, y ∈ U f (y) ≥ f (x) + ⟨∇f (x), y − x⟩
2 f est strictement convexe sur U ⇐⇒
∀x, y ∈ U x ̸= y f (y) > f (x) + ⟨∇f (x), y − x⟩
Théorème :(Lien convexité-Dérivée seconde)

Soit U un ouvert convexe de Rn et f : U → R une application 2-fois
diérentiable, alors
1 f est convexe sur U ⇐⇒ ∀x ∈ U ∇2 f (x) est semi-dénie positive.
2 f est strictement convexe sur U ⇐⇒ ∀x ∈ U ∇2 f (x) est dénie
positive.

Théorème : (Unicité d'une solution)

Soit U ⊂ Rn un ensemble convexe et f : U → R une fonction strictement
convexe. Alors le problème (P ) admet au plus un point de minimum
de f sur U .
Théorème :(La monotonie du gradient d'une fonction convexe)

Soit U un ouvert convexe de Rn et f : U → R une application diérentiable,
alors
f est convexe ⇐⇒ ∀x, y ∈ U , ⟨∇f (x) − ∇f (y), x − y⟩ ≥ 0

Résultats d'existence et d'unicité Applications quadratiques
Conditions d'optimalités Convexité d'une application quadratique
Programmation convexe Programmation quadratique
Applications quadratiques
Dénition :
Une application f : Rn → R est quadratique lorsque c'est un polynôme de
degré 2. Une applicattion quadratique est de la forme
n n
1X X X
f (x1 , . . . , xn ) = aii x2i + aij xi xj − bi xi + c
2 i=1 i<j i=1
|{z}
| {z } constante
| {z }
f orme quadratique f orme linaire

Applications quadratiques
Dénition :
Une application f : Rn → R est quadratique lorsque c'est un polynôme de
degré 2. Une applicattion quadratique est de la forme
n n
1X X X
f (x1 , . . . , xn ) = aii x2i + aij xi xj − bi xi + c
2 i=1 i<j i=1
|{z}
| {z } constante
| {z }
f orme quadratique f orme linaire
En posant A = (aij )i,j=1,...,n ∈ Mn (R), b = (b1 , . . . , bn ) ∈ Rn et

x = (x1 , . . . , xn ) ∈ Rn , on l'écrit sous forme matricielle :
1
f (x) = 2 < Ax, x > − < b, x > +c

Théorème :
Soit f (x) = 12 < Ax, x > − < b, x > +c une application quadratique. Alors
f est inniment diérentiable et
∇f (x) = Ax − b,
∇2 f (x) = A.

Convexité d'une application quadratique
Théorème :
Soit l'application quadratique f (x) = 1
2
< Ax, x > − < b, x > +c. Alors :
• f est convexe ⇐⇒ A est semi-dénie positive,
• f est strictement convexe ⇐⇒ A est dénie positive,

Théorème :
Soit f (x) = 21 < Ax, x > − < b, x > +c. Si A est semi-dénie positive
(resp.négative), alors les propositions suivantes sont équivalentes :
• u est minimum (resp. maximum) local de f ,
• u est minimum (resp. maximum) global de f ,
• Au = b, i.e, u est solution du système d'équations linéaires Ax = b.

Théorème :
Soit f (x) = 21 < Ax, x > − < b, x > +c. Si A est semi-dénie positive
(resp.négative), alors les propositions suivantes sont équivalentes :
• u est minimum (resp. maximum) local de f ,
• u est minimum (resp. maximum) global de f ,
• Au = b, i.e, u est solution du système d'équations linéaires Ax = b.
• Si A est dénie positive, f admet un unique minimum (resp.
maximum) global.
• Si A n'est pas semi-dénie positive (resp. négative), f n'admet
aucun minimum (resp. maximum) local ou global.

Exemple
 
2 −1 0
Soit f (x) = 1 T
2
x Ax − b x avec A = −1
T
2 −1 et b = (−3, 1, −2)
0 −1 2

Exemple
 
2 −1 0
Soit f (x) =1 T
2
x Ax− b x avec A = −1
T
2 −1 et b = (−3, 1, −2)
0 −1 2
Le polynôme caractéristique de A est pA (λ) = 8 − 12λ + 6λ2 − λ3

Exemple
 
2 −1 0
Soit f (x) =1 T
2
T
2 −1 et b = (−3, 1, −2)
0 −1 2
=⇒ A est dénie positive =⇒ f a un unique minimum global qui est
l'unique solution de Ax = b.

Exemple
 
2 −1 0
Soit f (x) =1 T
2
T
2 −1 et b = (−3, 1, −2)
0 −1 2
=⇒ A est dénie positive =⇒ f a un unique minimum global qui est
l'unique solution de Ax = b.
  
 2x − y = −3 −9/4
Ax = b ⇐⇒ −x + 2y − z = 1 =⇒ xmin = −3/2
−y + 2z = −2 −7/4


Chapter 5

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chapter 5

Transféré par

Droits d'auteur :

Formats disponibles

Introduction et Motivation

Résultats d'existence et d'unicité

A.HADDACH INTRODUCTION A L'OPTIMISATION

2 Résultats d'existence et d'unicité

A.HADDACH INTRODUCTION A L'OPTIMISATION

Dénition d'un problème d'optimisation

▶ La fonction f : Rn → R est appelée fonction de coût, fonction objectif, ou

Problème sans contrainte ⇐⇒ K = Rn

A.HADDACH INTRODUCTION A L'OPTIMISATION

Résoudre le problème (P ) revient chercher des points de minimum local (ou

A.HADDACH INTRODUCTION A L'OPTIMISATION

sont équivalents dans le sens où ils ont même ensemble de solutions et :

Ainsi la recherche d'un maximum pouvant se ramener la recherche d'un

A.HADDACH INTRODUCTION A L'OPTIMISATION

Théorème : (Existence d'une solution)

A.HADDACH INTRODUCTION A L'OPTIMISATION

Une fonction polynomiale f : R → R de degré > 0 :

A.HADDACH INTRODUCTION A L'OPTIMISATION

Une fonction polynomiale f : R → R de degré > 0 :

A.HADDACH INTRODUCTION A L'OPTIMISATION

Une fonction polynomiale f : R → R de degré > 0 :

A.HADDACH INTRODUCTION A L'OPTIMISATION

Une fonction polynomiale f : R → R de degré > 0 :

A.HADDACH INTRODUCTION A L'OPTIMISATION

Recherche d'extrema locaux

• Ne s'applique qu'à une fonction diérentiable (1 ou 2 fois)

A.HADDACH INTRODUCTION A L'OPTIMISATION

Soit U un ouvert de Rn , x0 ∈ Rn et f : U ⊂ Rn → R une application

A.HADDACH INTRODUCTION A L'OPTIMISATION

Condition nécessaire du premier ordre

A.HADDACH INTRODUCTION A L'OPTIMISATION

A.HADDACH INTRODUCTION A L'OPTIMISATION

Soit f : U ⊂ Rn → R est 2 fois diérentiable en x0 , on note :

A.HADDACH INTRODUCTION A L'OPTIMISATION

Matrice dénie positive, semi-dénie positive, etc,...

A.HADDACH INTRODUCTION A L'OPTIMISATION

Matrice dénie positive, semi-dénie positive, etc,...

A.HADDACH INTRODUCTION A L'OPTIMISATION

Conditions du second ordre

A.HADDACH INTRODUCTION A L'OPTIMISATION

Conditions du second ordre

A.HADDACH INTRODUCTION A L'OPTIMISATION

Conditions du second ordre

A.HADDACH INTRODUCTION A L'OPTIMISATION

Conditions du second ordre

A.HADDACH INTRODUCTION A L'OPTIMISATION

Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

A.HADDACH INTRODUCTION A L'OPTIMISATION

Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

A.HADDACH INTRODUCTION A L'OPTIMISATION

Les points critiques, solutions de ∇f (x, y) = 0 sont les 2 points (0, 0) et

A.HADDACH INTRODUCTION A L'OPTIMISATION

Les points critiques, solutions de ∇f (x, y) = 0 sont les 2 points (0, 0) et

A.HADDACH INTRODUCTION A L'OPTIMISATION

Les points critiques, solutions de ∇f (x, y) = 0 sont les 2 points (0, 0) et

A.HADDACH INTRODUCTION A L'OPTIMISATION

i.e. ∀x, y ∈ C , le segment [x, y] est inclus dans C .

A.HADDACH INTRODUCTION A L'OPTIMISATION

Applications convexes- Dénitions

A.HADDACH INTRODUCTION A L'OPTIMISATION

Applications convexes- Dénitions

A.HADDACH INTRODUCTION A L'OPTIMISATION

Théorème (Inégalité du gradient d'une fonction convexe) :

Dénition d'un problème d'optimisation

• Ne s'applique qu'à une fonction diérentiable (1 ou 2 fois)

Soit f : U ⊂ Rn → R est 2 fois diérentiable en x0 , on note :

Matrice dénie positive, semi-dénie positive, etc,...

Matrice dénie positive, semi-dénie positive, etc,...

Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

Soit l'application f de classe C ∞ (i.e. inniment diérentiable)

Applications convexes- Dénitions

Applications convexes- Dénitions