Cours d’optimisation M1 (AS et AII) N.

DJEGHALI
Département Automatique
UMMTO, 2021/2022

Chapitre 1. Rappels mathématiques

1.1 Définition d’un problème d’optimisation

D’un point de vue mathématique, l’optimisation consiste à rechercher le minimum ou le
maximum d’une fonction avec ou sans contraintes. Un problème d’optimisation avec
contraintes est défini comme suit :
a) Problème de minimisation avec contraintes (recherche du minimum d’une fonction)

Min f ( x ), x ∈ R n
Sous les contraintes :
Pc1 :
g i ( x ) = 0, i = 1,..., m (Contraintes d’égalité)
h j ( x ) ≥ 0 , j = 1,..., p (Contraintes d’inégalité)

Avec : Min f(x) signifie le minimum de f(x). On dit que l’on cherche à minimiser la fonction
f.
Exemple 1.1
Min x1x 2
Sous les contraintes :
x1 + x 2 + 1 = 0
x 1 + 2x 2 ≥ 0

b) Problème de maximisation avec contraintes (recherche du maximum d’une fonction)

Un problème de maximisation avec contraintes est défini comme suit :

Max f ( x ), x ∈ R n
Sous les contraintes :
Pc2 :
g i ( x ) = 0, i = 1,..., m
h j ( x ) ≥ 0 , j = 1,..., p

Avec : Max f(x) signifie le maximum de f(x). On dit que l’on cherche à maximiser la fonction
f.
Dans les problèmes d’optimisation Pc1 et Pc2, la fonction f(x) définie de D dans R (i.e.,
f : D → R ) porte divers noms : fonction de coût, fonction objectif ou critère
d’optimisation.

djeghalinadial2csp@gmail.com
Chapitre 1. Rappels mathématiques N. DJEGHALI

x = ( x 1 , x 2 ,......., x n ) ∈ D ⊂ R n . Les variables x 1 , x 2 ,......., x n sont appelées variables de

décision. D est appelé l’ensemble ou domaine admissible, défini par l’ensemble des
{
contraintes comme suit: D = x ∈ R n / g i ( x ) = 0, i = 1,...., m et h j ( x ) ≥ 0, j = 1,..., p }.

Remarque 1.1 : Les problèmes Pc1 et Pc2 peuvent être écrits sous les formes simplifiées P’c1 et
P’c2 suivantes :

Min f (x ) Max f (x)

P’c1 : P’ c2 :
x∈D ⊂ R n
x ∈ D ⊂ Rn

Remarque 1.2 : En absence de contraintes g i ( x ) = 0, i = 1,...., m et h j ( x ) ≥ 0, j = 1,..., p , les

problèmes Pc1 et Pc2 deviennent :

Min f (x ) Max f(x)

P1: P2:
x∈Rn x∈Rn

Dans ce cas, P1 et P2 sont respectivement des problèmes de minimisation et de maximisation

sans contraintes.

Remarque 1.3 : Max f(x)= - Min (-f(x)) et Min f(x)= - Max (-f(x))
Ainsi la recherche d’un maximum peut se ramener à la recherche d’un minimum et vice versa.

f(x)

Min f(x)

Max -f(x) x

-f(x)

2
Chapitre 1. Rappels mathématiques N. DJEGHALI

1.2 Convexité
a) Ensemble convexe : un ensemble D ⊂ R n est dit convexe si pour tout couple
( x 1 , x 2 ) ∈ D et ∀ α ∈ [0 1] , on a :
x = αx 1 + (1 − α) x 2 ∈ D
Cette définition peut être interprétée en disant que le segment reliant x 1 et x 2 doit être dans
D.
Exemples d’ensembles convexes :

D
x x2 D
x1

Exemples d’ensembles non convexes :

x
x1 x2
D

b) Fonction convexe : une fonction f : D → R , D ⊂ R n est convexe ssi :

∀x 1 , x 2 ∈ D , ∀ α ∈ [0 1] , f (αx 1 + (1 − α) x 2 ) ≤ αf ( x 1 ) + (1 − α)f ( x 2 )

f (x 2 )
αf ( x 1 ) + (1 − α)f ( x 2 )
f (x 1 )

f (αx 1 + (1 − α) x 2 )

x1 αx1 + (1 − α) x 2 x2 x
Fonction convexe

3
Chapitre 1. Rappels mathématiques N. DJEGHALI

f (αx 1 + (1 − α) x 2 )
f (x 2 )
αf ( x 1 ) + (1 − α)f ( x 2 )
f (x 1 )

x1 αx 1 + (1 − α) x 2 x2 x
Fonction non convexe

On dit que f est strictement convexe dans D ssi :

∀x 1 , x 2 ∈ D , ∀ α ∈ [0 1] , f (αx 1 + (1 − α) x 2 ) < αf ( x 1 ) + (1 − α)f ( x 2 )

c) Fonction concave : Une fonction est concave si –f est convexe. La définition d’une
fonction et ensemble concave se fait en inversant les inégalités dans les définitions
précédentes.

f(x)

x
Fonction concave

4
Chapitre 1. Rappels mathématiques N. DJEGHALI

1.3 Définitions
Soit le problème d’optimisation suivant:
Max ou Min f ( x ), x ∈ R n
s.c :
g i ( x ) = 0, i = 1,..., m
h j ( x ) ≥ 0, j = 1,..., p

Définition 1.1 : Tout vecteur x vérifiant l’ensemble des contraintes (i.e., x ∈ D ) est appelé
solution admissible ou réalisable du problème d’optimisation.

Définition 1.2 : Un optimum ou extremum d’une fonction f est soit un maximum soit un
minimum, c'est-à-dire la valeur la plus haute ou la plus faible que prend la fonction sur son
ensemble de définition D. Cet optimum est donné par f(x*).
f(x*)=Min f(x) dans le cas d’un problème de minimisation ⇒ f(x*) : Minimum.
f(x*)=Max f(x) dans le cas d’un problème de maximisation ⇒ f(x*) : Maximum.

Définition 1.3 : Le point x* où la fonction f possède un minimum (resp. maximum) est dit un
point de minimum ou minimiseur (resp. un point de maximum ou maximiseur). x* est aussi
appelé solution optimale du problème d’optimisation.

f(x)

max imum ← f ( x *1 )

min imum ← f ( x * 2 )

x *1 x *2 x

Point de maximum Point de minimum

5
Chapitre 1. Rappels mathématiques N. DJEGHALI

1.4 Minima et maxima d’une fonction

Soit f une fonction de D ⊂ R n dans R ( f : D ⊂ R n → R ) .
a) Minimum ou maximum local : f admet un minimum (resp. maximum) local (ou relatif) en
x* ∈ D , si et seulement s’il existe un voisinage Vε ( x*) de x*, tel que :

∀x ∈ Vε ( x*), f ( x*) ≤ f ( x ) (resp. f ( x*) ≥ f ( x ) )

On dit alors que f(x*) est un minimum local de f dans D et x* est un point de minimum local.

b) Minimum ou maximum local strict : f admet un minimum (resp. maximum) local au sens
strict en x* ∈ D si et seulement s’il existe un voisinage Vε ( x*) de x*, tel que :

∀x ∈ Vε ( x*), x ≠ x*, f ( x*) < f ( x ) (resp. f ( x*) > f ( x ) )

c) Minimum ou maximum global: f admet un minimum (resp. maximum) global (ou absolu)
en x* ∈ D si :
∀x ∈ D, f ( x*) ≤ f ( x ) (resp. f ( x*) ≥ f ( x ) )
Si les inégalités sont strictes, on obtient la définition d’un minimum (resp. maximum) global
strict.

Maximum
global
strict
Maximum Maximum
f(x) local local

Minimum
local strict

Minimum
global
strict
x

6
Chapitre 1. Rappels mathématiques N. DJEGHALI

1.5 Minima des fonctions convexes

Soit f une fonction f : D → R , D ⊂ R n est convexe :
• Si f est convexe sur D, alors tout minimum local est un minimum global.
• Si f est strictement convexe, alors tout minimum local devient non seulement global
mais aussi unique.

1.6 Gradient et Hessien d’une fonction

1.6.1 Gradient : Soit f : R n → R , le gradient de f noté ∇f ( x ) est donné par :

 ∂f 
 ∂x 
 1
 ∂f 
 
∇f ( x ) =  ∂x 2 
.
 
 . 
 ∂f 
 ∂x 
 n
1.6.2 Hessien ou matrice hessienne : Le hessien de f est défini comme suit :
 ∂ 2f ∂ 2f ∂ 2f 
 2 . . . 
 ∂ 2x 1 ∂x 1 ∂x 2 ∂x 1 ∂x n 
 ∂ f ∂ 2f ∂ 2f 
 ∂x ∂x . . .
∂2x2 ∂x 2 ∂x n 
H( x ) = ∇ 2 f ( x ) =  2 1 
 . 
 . 
 2 
 ∂ f ∂ 2f ∂ f 
2
. . .
 ∂x n ∂x 1 ∂x n ∂x 2 ∂ 2 x n 

Remarque 1.4 : La matrice hessienne est la jacobienne du gradient, elle est symétrique.

1.6.3 Caractérisation de la convexité en terme du hessien

Soit f : D ⊂ R n → R , de classe C2 sur D. ∇ 2 f ( x ) est le hessien de f , alors:

• Si ∀ x ∈ D, ∇ 2 f ( x ) est semi-définie positive (resp. définie positive) alors f est convexe

(resp. strictement convexe).
• Si ∀ x ∈ D, ∇ 2 f ( x ) est semi-définie négative (resp. définie négative) alors f est
concave (resp. strictement concave).

7
Chapitre 1. Rappels mathématiques N. DJEGHALI

Remarque 1.5 : Dans le cas d’une fonction d’une seule variable, c'est-à-dire
f : D ⊂ R → R , alors si f(x) est deux fois continûment dérivable sur D, on a:
• Si ∀ x ∈ D, f ′′( x ) ≥ 0 (resp. f ′′( x ) > 0 ) alors f est convexe (resp. strictement convexe).
• Si ∀ x ∈ D, f ′′( x ) ≤ 0 (resp. f ′′( x ) < 0 ) alors f est concave (resp. strictement concave).

1.6.4 Point stationnaire ou critique : un point x* vérifiant ∇f ( x*) = 0 est appelé point
stationnaire ou point critique de f.

I.7 Conditions suffisantes pour l’existence d’un minimum ou maximum local

Soit f : R n → R de classe C2. Soit le développement de Taylor d’ordre 2 de la fonction f
donné comme suit :
t2 T 2
f ( x * + th ) = f ( x*) + t ∇f ( x*) h + h ∇ f ( x*)h + t 2 h ε( th )
T 2

2
Avec t >0 et ε( th ) est une fonction qui tend vers 0 quand t tend vers 0, c’est-à-dire
lim ε( th ) = 0 .
t →0

Si t est suffisamment petit on aura : f ( x * + th ) − f ( x*) > 0 si ∇f ( x*) = 0 et ∇ 2 f ( x*) > 0

f ( x * + th ) − f ( x*) < 0 si ∇f ( x*) = 0 et ∇ 2 f ( x*) < 0

On conclue que :
a-x* est un point de minimum local si :

∇f ( x*) = 0 Condition du premier ordre

∇ 2 f ( x*) est définie positive (>0) Condition du second ordre

b-x* est un point de maximum local si :

∇f ( x*) = 0

∇ 2 f ( x*) est définie négative (<0)

8
Chapitre 1. Rappels mathématiques N. DJEGHALI

Remarque 1.6
• si ∇f ( x*) = 0 et si f(x) est convexe (resp. strictement convexe) alors x* est un point de
minimum global (resp. global et unique).
• si ∇f ( x*) = 0 et si f(x) est concave (resp. strictement concave) alors x* est un point de
maximum global (resp. global et unique).
• si ∇f ( x*) = 0 et ∇ 2 f ( x*) est semi-définie positive ou semi-définie négative alors on
peut rien conclure.
• si ∇f ( x*) = 0 et ∇ 2 f ( x*) est indéfinie alors x* est un point selle ou point col.

Remarque 1.7: Dans le cas d’une fonction d’une seule variable, les conditions ci-dessus
deviennent :

• si f ′( x*) = 0 et f ′′( x*) > 0 alors est x* est un point de minimum local.
• si f ′( x*) = 0 et f ′′( x*) < 0 alors est x* est un point de maximum local.

• si f ′( x*) = 0 et f ′′( x*) = 0 alors x* peut être un point d’inflexion.

I.8 Rappels sur les matrices définies, semi-définies positives ou négatives

1.8.1 Définitions : Soit A une matrice symétrique de dimension nxn.
• On dit que A est semi-définie positive (resp. semi-définie négative) et on note A ≥ 0
(resp. A ≤ 0 ), ssi :
x T Ax ≥ 0 (resp. x T Ax ≤ 0) , ∀x ∈ R n

• On dit que A est définie positive (resp. définie négative) et on note A > 0 (resp.
A < 0 ), ssi:
x T Ax > 0 (resp. x T Ax < 0) , ∀x ∈ R n , avec x ≠ 0.
• On dit que A est indéfinie, ssi :
∃ x , y ∈ R n tel que x T Ax > 0 et y T Ay < 0

I.8.2 Critères pour reconnaitre une matrice définie, semi-définie positive ou négative
a) Les valeurs propres
-A est semi-définie positive (resp. négative) ssi toutes ses valeurs propres sont ≥ 0 (resp. ≤ 0 ).
-A est définie positive (resp. négative) ssi toutes ses valeurs propres sont > 0 (resp. < 0 ).
-A est indéfinie ssi elle admet une valeur propre >0 et une valeur propre <0.

9
Chapitre 1. Rappels mathématiques N. DJEGHALI

b) Les mineurs principaux : Soit A une matrice symétrique qui s’écrit comme suit :
 a 11 a 12 . . . a 1n 
a a 22 . . . a 2 n 
 12
A= . . 
 
 . . . . 
a 1n a 2n . . . a nn 

a11 a12
Alors : ∆1 = a11 , ∆ 2 = ,......, ∆ n = det(A) sont les mineurs principaux de A. On a :
a12 a12

• Si ∆ k > 0, k = 1,..., n. , alors A est définie positive

• Si (−1) k ∆ k > 0, k = 1,..., n. , alors A est définie négative

• Si ∆ k > 0, k = 1,..., n − 1 et ∆ n = 0 alors A est semi-définie positive

• Si (−1) k ∆ k > 0, k = 1,..., n − 1 et ∆ n = 0 alors A est semi-définie négative

• Si ∆ n < 0 et si ‘’n’’ est pair alors A est indéfinie

Remarque 1.8 : Une matrice symétrique qui n’est ni définie positive, ni semi-définie
positive, ni définie ou semi-définie négative est indéfinie.

1.9 Représentation surfacique et contours d’une fonction

Soit la fonction f : R n → R .
• y = f ( x ) définit une surface dans R n +1 . C’est l’analogue de la courbe
représentative d’une fonction d’une seule variable.
• f(x)=C avec C constant définit des courbes (ou lignes) de niveau ou des contours
de cette surface. Un contour de niveau C est l’ensemble des points
S(C) = {x / f ( x ) = C}.

Exemple 1.2: Soit f : R 2 → R

f ( x 1 , x 2 ) = x 12 + x 22
La représentation par contours de niveau et surfacique de la fonction f sont données
respectivement par les figures (a) et (b).

10
Chapitre 1. Rappels mathématiques N. DJEGHALI

5
50
4

3 40

2 30
1
20
0
10
-1

-2 0
5
-3 5

-4
0
0
-5 -5
-5 -4 -3 -2 -1 0 1 2 3 4 5 -5

(a) (b)

I.10 Classification des problèmes d’optimisation

Un problème d’optimisation peut être classé suivant les propriétés de la fonction objectif et
des contraintes. Par exemple, on parle de :
• programmation linéaire lorsque la fonction objectif et les contraintes sont linéaires.
• programmation quadratique lorsque la fonction objectif est quadratique et les
contraintes sont linéaires.
• programmation non linéaire lorsque la fonction objectif et/ou les contraintes sont
non linéaires.
• programmation convexe lorsque la fonction objectif et les contraintes sont convexes.

I.11 Modélisation d’un problème d’optimisation : Cela consiste à représenter un

problème d’optimisation mathématiquement. Pour cela, on distingue trois étapes :
Etape 1 : Identification des variables de décision (le vecteur x ∈ R n ).
Etape 2 : Définition d’une fonction objectif permettant d’évaluer l’état du système.
Etape 3 : Description des contraintes imposées aux variables de décision (le domaine D).
Exemple : Voir les exercices 1 et 2 de la série de TD n°1.

La résolution d’un problème d’optimisation consiste à déterminer les variables de décision

conduisant aux meilleures conditions de fonctionnement du système (ce qui revient à
maximiser ou à minimiser la fonction objectif), tout en respectant les contraintes.

11
Chapitre 1. Rappels mathématiques N. DJEGHALI

Dans le chapitre suivant, nous nous intéressons aux méthodes locales de résolution d’un
problème d’optimisation sans contraintes.

A. JUTARD
M. BETEMPS

12