Ecole Nationale des Siences Appliquées

Université Mohamed Premier

OUJDA

Cours Techniques d’Optimisation

Pr. Loubna Boudjaj

Filière :
Génie Civil

Coordinateur de filière :
Pr. Mohammed Derouich
 Table des matières

1 Généralités 3

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Pourquoi l’optimisation ? . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.3 Vocabulaire d’optimisation . . . . . . . . . . . . . . . . . . . . . . . . 4

1.1.4 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.1.5 Formulation d’un problème d’optimisation (PO) . . . . . . . . . . . . 5

1.2 Notions et Rappel Mathématiques . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1 Norme et Suite minimisante . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1.1 Produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1.2 Norme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1.3 Suite minimisante . . . . . . . . . . . . . . . . . . . . . . . 8

1.2.2 Minimum local, Minimum global . . . . . . . . . . . . . . . . . . . . 8

1.2.3 Rappel de calcul différentiel . . . . . . . . . . . . . . . . . . . . . . . 9

1.2.3.1 Fonction différentiable . . . . . . . . . . . . . . . . . . . . . 10

1.2.3.2 Dérivée suivant un vecteur . . . . . . . . . . . . . . . . . . . 10

1.2.3.3 Dérivées partielles . . . . . . . . . . . . . . . . . . . . . . . 11

2
ENSAO Techniques d’Optimisation

1.2.3.4 Dérivées partielles successives . . . . . . . . . . . . . . . . . 11

1.2.3.5 Matrice Jacobienne et Matrice Hessienne . . . . . . . . . . . 12

1.2.3.6 Formule de Taylor . . . . . . . . . . . . . . . . . . . . . . . 13

2 Etude théorique des problèmes d’optimisation (PO) : Existence et Unicité

des solutions de (PO) 15

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2 Existence et unicité de minimum : Cas de dimension finie . . . . . . . . . . . 15

2.2.1 Existence de minimum . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.2.2 Unicité de minimum . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2.2.2.1 Ensembles et fonctions convexes . . . . . . . . . . . . . . . . 16

2.2.2.2 Caractérisation des fonctions convexes avec ∇ et Hess = ∇2 16

2.3 Existence et unicité de minimum : Cas général . . . . . . . . . . . . . . . . . 17

2.3.1 Fonction α−elliptique . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3.1.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3.1.2 Caractérisation des fonctions α−elliptique avec ∇et la Hess 17

2.3.2 Existence et Unicité de minimum . . . . . . . . . . . . . . . . . . . . 18

2.4 Équation et Inéquation d’Euler . . . . . . . . . . . . . . . . . . . . . . . . . 18

3 Optimisation sans ou avec contraintes : Quelques méthodes numériques 20

3.1 Optimisation sans contraintes . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.1.1 Méthode de relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.1.2 Méthode de gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.1.3 Méthode du gradient conjugué . . . . . . . . . . . . . . . . . . . . . . 22

3.2 Optimisation avec contraintes . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.2.1 Les Multiplicateurs de Lagrange . . . . . . . . . . . . . . . . . . . . . 24

3.3 Méthode de gradient projeté . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3
 Chapitre 1

Généralités

1.1 Introduction

1.1.1 Pourquoi l’optimisation ?

Les techniques d’optimisation sont aujourd’hui utilisées dans nombreux
domaines dont la logistique, la gestion de production, la finance, les protocoles
de transport d’information des réseaux informatiques, le transport d’énergie
dans les réseaux électriques, les stratégies militaires, les transports aériens et
ferroviaires entre autres...Et ces outils sont utilisés dans les bureaux d’études
mécaniques en génie civil. Il est important de mettre à disposition, et de
manière simple, la connaissance des méthodes d’optimisation.[green1]

1.1.2 Motivation
En mathématiques, l’optimisation est une science cherchant à modéliser, à
analyser et à résoudre analytiquement ou numériquement les problèmes qui
consistent à minimiser ou maximiser une fonction sur un ensemble donné.
Son objectif principal est la construction d’algorithmes permettant d’appro-
cher une solution d’un problème sous la forme:
(PO):Trouver u, tel que u ∈ U et f (u) = inf f (v)
v∈U

où U est une partie donnée d’un espace vectoriel V et f : V → R une fonction

donnée.
À l’optimisation on s’intéresse à répondre aux questions suivantes:
– Existence et unicité de la solution du problème (PO).
– Caractérisation d’une solution éventuelle du (PO) (ie) les conditions
nécessaires et suffisantes dans certains cas:
– les conditions nécessaires font intervenir la dérivée première de f , la
convexité de U , les dérivées premières des fonctions de contraintes

4
Techniques d’Optimisation ENSAO

– les conditions suffisantes font intervenir la convexité de f , les dérivées

secondes ainsi.
– la construction d’algorithme pour approcher la solution u (c’est-à-dire
)la construction d’une suite (un )n≥0 d’éléments de l’ensemble U tel que
lim un = u avec u0 choisi arbitrairement.
n→+∞

1.1.3 Vocabulaire d’optimisation

On considère le problème d’optimisation donné par

(PO):Trouver u, tel que u ∈ U et f (u) = inf f (v)

v∈U

f : U → R est appelée fonction coût ou critère, et on a:

– Si U = V , on dit que (PO) est un problème d’optimisation sans
contrainte.
– Si U ⊂ V , on dit que (PO) est un problème d’optimisation sous contrainte.
– Si dim U < +∞(resp. dimU = +∞), on dit que (PO) est un problème
d’optimisation en dimension finie (resp. infinie).

Remarque 1.1.1. Dans ce cours on s’intèresse à l’optimisation en dimen-

sion finie, et si la valeur du minimum est atteinte, le (PO) devient

(PO):Trouver u, tel que u ∈ U et f (u) = min f (v)

v∈U

Remarque 1.1.2. Puisque maximiser une quantité revient à minimiser son

opposé, alors les problèmes de minimisation englobe les problèmes de maxi-
misation

Remarque 1.1.3.
– Si le (PO) possède une solution, on cherchera à la caractériser, à la dé-
terminer lorsque ce sera possible et pour cela on exploitera les conditions
nécessaires d’optimalité.
– Si le (PO) ne possède pas de solution, on cherchera à exhiber une suite
minimisante (c’est à dire ) une suite des él‘ements de lensemble U
convergeant vers inf{f (x), x ∈ U }.

1.1.4 Classification

Optimisation fonctionnelle / paramétrique [green2]

Optimisation fonctionnelle
– Inconnues = fonctions → { Optimisation en dimension infinie
Commande optimale

Généralités 5
 Techniques d’Optimisation ENSAO


 Optimisation paramétrique
– Inconnues = entier ou réels → Optimisation en dimension finie
Programmation mathématique

∗Programmation mathématique

Optimisation combinatoire
– Inconnues = entiers →
 Programmation en nombres
 Optimisation continue
Inconnues = rels→ Programmation linéaire
Programmation non linéaire


– Inconnues = entiers et réels → Programmation mixte

1.1.5 Formulation d’un problème d’optimisation (PO)

un (PO) problème d’optimisation consiste à maximiser ou minimiser une
fonction objective de n variables de décision (de conception) soumises à un
ensemble de contraintes. On commence par :
– Définir les variables
– Ensemble des variables qui réegissent la situation àÂă modéliser.
– Variables réelles, entières, binaires.
– Préciser la fonction objectif
– Fonction mathématique composée des variables de décision (concep-
tion) qui représente le modéle.
– Préciser les contraintes du problème
– Ensemble des paramétres qui limitent le modéle réalisable.
– Equations ou inéquations composées des variables de décision(conception).
– Préciser les paramétres du modèle
– Constantes associées aux contraintes et à la fonction objective.
La formulation
 mathématique est la suivante:
 contraintes d’égalité CE
min f (x) contraintes d’inégalité CI
x ∈ U et U l’ensemble des valeurs admissibles


Exemple 1.1.1. Une entreprise qui fabrique des tables et des chaises uti-
lise une même machine pour fabriquer ses produits. - Fabriquer une chaise
nécessite 8 heures, tandis qu’une table nécessite 10 h à la machine, et cette
machine peut être utilisé au maximum de 140 heures par semaine. - Pour
répondre à la demande, l’entreprise veut fabriquer au moins 5 tables par se-
maine.
- Fabriquer une table requière 5 employés tandis qu’une chaise requière 3 em-
ployés.
Pour être efficace, le nombre d’employés nécessaire à la fabrication des tables
doit être au maximum 35 employées de plus que le nombre nécessaire d’em-
ployés Ãă la fabrication des chaises.

Généralités 6
Techniques d’Optimisation ENSAO

En considérant toutes ces contraintes, si la vente d’une table apporte un

profit de 51 dollars et celle d’une chaise un profit de 48 dollars.

Combien de tables et de chaises devrait produire l’entreprise en une se-

maine pour maximiser ses profits?

Solutions

– les variables
On pose:
X: le nombre des tables
Y : le nombre des chaises
– la fonction objectif
maximiser 51X + 48Y
– les contraintes
10X + 8Y ≤ 140
X≥5
5X ≤ 35 + 3Y
Y ≥0
On trace les droites donnés par ces équations D1 : 10X + 8Y = 140, D2 :
Y = 0, D3 : 5X = 35 + 3Y et D4 : X = 5

Polygone des contraintes avec A(5; 11, 25), B(10; 5), C(7; 0), D(5; 0).

Tout les points sur le contour bleu sont des solutions â l’exemple.
−On cherche le point qui maximise le profit.
−Pour maximiser ou minimiser,la solution doit être toujours un des points
des sommets du polygône des contraintes.
La solution sera au sommet de polygône:
X désigne le nombre de chaises, donc on va choisir le point entier le plus
près qui est A(5;11)
On calcule le proift associè â chacun des sommets de polygône:
f(A)=783
f(B)=750
f(C)=357

Généralités 7
Techniques d’Optimisation ENSAO

f(D)=255
Donc le point A qui maximise la fonction f et la réponse est: 5 tables et 11
chaises

1.2 Notions et Rappel Mathématiques

1.2.1 Norme et Suite minimisante

1.2.1.1 Produit scalaire

Definition 1.2.1. Soit E un R -espace vectoriel. On appelle produit scalaire

sur E toute application de E × E dans R notÃľe h·, ·i vÃľrifiant
-h·, ·iest bilinÃľaire
-h·, ·i est symÃľtrique : ∀x, y ∈ E, hx, yi = hy, xi .
- pour tout x ∈ E, hx, xi ≥ 0. De plus si hx, xi = 0, alors x = 0.

Exemple 1.2.1. Dans l’espace Rn , on introduit le produit scalaire canonique,

c’est-à-dire celui qu’on utilisera de maniére standard dans Rn . Il s’agit du
produit scalaire suivant :

h(x1 , ..., xn ), (y1 , ..., yn )iRn =Pni=1 xi yi

Il arrive parfois qu’on note ce produit scalaire simplement h., .i

1.2.1.2 Norme

Definition 1.2.2. Soit une fonction définie par k.k : Rn → R+ vérifiant les
proprietés suivantes:
– kxk = 0 =⇒ x = 0.
– kλxk = |λ|kxk.
– kx + yk ≤ kxk + kyk (InégalitÃľ triangulaire).
alors cette fonction s’appelle norme sur Rn

Généralités 8
Techniques d’Optimisation ENSAO

On définit les normes

n
suivantes :
X 1
Norme p : kxkp = ( |xi |p ) p
i=1
Norme ∞ : kxk∞ = max |xi |
i=1:n
n
1
X
Norme 2 : kxk2 = ( |xi |2 ) 2 (la norme euclidienne)
i=1

1.2.1.3 Suite minimisante

Definition 1.2.3. Soit X une partie minorée non vide de R. On dit que
m = inf{x, x ∈ X} si et seulement si ∀ > 0, ∃x ∈ X, m ≤ x < m + 

Proposition 1.2.1. Soit X une partie minorée non vide de R. Alors les
assertions suivantes sont équivalentes:
– m = inf{x, x ∈ X},
– m est un minorant de X et il existe (xn )n∈N ∈ X n , appelée suite
minimisante convergeant vers m.

Preuve 1.2.1. au séance de cours

1
Exemple 1.2.2. Soit A = { , n ∈ N∗ }, inf A = 0
n

1.2.2 Minimum local, Minimum global

Definition 1.2.4. Soit f : U → R une fonction et U un ouvert de Rn .

– a est un minimum local de f si :

∃V ∈ Va tel que ∀x ∈ Va , f (a) ≤ f (x)

– a est un minimum global de f si

∀x ∈ U, f (a) ≤ f (x)

Généralités 9
Techniques d’Optimisation ENSAO

Exemple 1.2.3. Graphes d’illustrations

Cas 1d
4
maximum global
maximum local
3

2
Y

1
minimum local
minimum global
0
2 4 6 8 10 12 14 16 18
X

Cas 2d

maximum global

10 maximum local

−5

−10
4
2 4
minimum global
0 2
0
−2 −2
−4 −4

Theorème 1.2.1. (ThÃľorÃĺme de Weierstrass)

Soit f une fonction continue sur U ⊂ Rn avec U fermé borné. Alors:
∃x0 ∈ U tel que f (x0 ) = min f (x)
x∈U
∃x1 ∈ U tel que f (x1 ) = max f (x)
x∈U

C’est à dire que f est bornée sur U (f (x0 ) ≤ f (x) ≤ f (x1 )) et atteint ses
bornes.

1.2.3 Rappel de calcul différentiel

Généralités 10
Techniques d’Optimisation ENSAO

1.2.3.1 Fonction différentiable

Definition 1.2.5. Soit U un ouvert de Rn , f : U → R une application et

a∈U .
On dit que f est différentiable en a s’il existe une application linÃľaire de Rn
vers R notée dfa (continue), telle que ∀h ∈ Rn , avec a + h ∈ U

f (a + h) = f (a) + dfa (h) + o(khk)

Autrement dit :
f (a + h) − f (a) − dfa (h)
lim =0
h→0 khk

Theorème 1.2.2. Soient U ⊂ Rn ,V ⊂ R.

Soient f, g deux fonctions de classe C 1 , f : U → R et g : V → R telle que
f (U ) ⊂ V alors :

d(g ◦ f )(x) = g 0 (f (x))df (x)

1.2.3.2 Dérivée suivant un vecteur

Definition 1.2.6. Soit f : U → R une application, a ∈ U et h ∈ Rn \{0}.

On dit que f admet une dérivée en a suivant le vecteur h si
f (a + th) − f (a)
lim existe dans R
t→0 t
si cette limite existe on la note Dh f (a)

Proposition 1.2.2. Si f : U → R est différentiable en un point a ∈ U ,

alors f admet une dérivée en a suivant tout vecteur h de Rn \{0} de plus
Dh f (a) = dfa (h)

Preuve 1.2.2. au séance de cours

Généralités 11
Techniques d’Optimisation ENSAO

1.2.3.3 Dérivées partielles

Soit B = {e1 , ..., en } une base de Rn

Definition 1.2.7. On dit que f : U → R admet une dérivée partielle en a

par rapport á la iéme élement de base B si f admet une dérivée en a suivant
le vecteur ei , 1 ≤ i ≤ n
Autrement dit :
∂f f (a + tei ) − f (a)
(a) = lim
∂xi t→0 t

1.2.3.4 Dérivées partielles successives

Definition 1.2.8. Soit f : U → R et U un ouvert de Rn .

On dit que f est de classe C r sur U toutes ses dérivées partielles jusqu’à
l’ordre r existent et continues.
Si f est de classe C 2 , alors pour j, k ∈ [[1, n]] on note

∂ 2f ∂ 2f
   
∂ ∂f ∂ ∂f
= si j 6= k, = si j = k
∂xj ∂xk ∂xj ∂xk ∂x2j ∂xj ∂xj

On a Ãľgalement des notations analogues pour les dÃľrivÃľes partielles Ãă

tout ordre.

Theorème 1.2.3. On suppose que f est de classe C 2 sur U . Alors pour tous
j, k ∈ [[1, n]] on a
∂ 2f ∂ 2f
=
∂xj ∂xk ∂xk ∂xj

Definition 1.2.9. Soit f : U → R, U ouvert de Rn et {e1 , . . . , en } la base

canonique. Pour r ∈ N∗ , des indices i1 , . . . , ir ∈ {1, . . . , n} on appelle le
vecteur
∂ r f (x)
:= Dei1 . . . Deir f (x)
∂xi1 , . . . , ∂xir
une dÃľrivÃľe partielle d’ordre r de f en x.

Exercices (Travaux Dirigés)

Généralités 12
Techniques d’Optimisation ENSAO

1.2.3.5 Matrice Jacobienne et Matrice Hessienne

Definition 1.2.10. Soit f : U ⊂ Rn → Rp et U ouvert de Rn . Si f est

différentiable sur U , la matrice des dérivées partielles de f s’appelle la matrice
jacobienne ou la Jacobienne de f . On la note J(f )a , elle a n colonnes et p
lignes:
∂f1 (a) ∂f1 (a)
 
 ∂x1 ...
∂xn 
J(f )a = 
 .
. .. 
 ∈ Mp,n (R)
 . . 
 ∂fp (a) ∂fp (a) 
...
∂x1 ∂xn
Autrement dit, si x = (x1 , . . . , xn ) pour une fonction vectorielle f (x1 , . . . , xn )
∂f
àÂă valeurs dans Rp , la Jacobienne a pour colonnes les vecteurs .
∂xi
En particulier, pour une fonction de n variables àÂă valeurs rélles, la matrice
jacobienne est juste une matrice ligne:
 
∂f (x) ∂f (x)
J(f )(x1 ,...,xn ) = ,...,
∂x1 ∂xn
et la transposée de ce vecteur est la matrice colonne
 t
∂f (x) ∂f (x)
grad(f )(x1 ,...,xn ) = ,...,
∂x1 ∂xn
grad est appelé gradient de f et il est noté ∇f (x) (qui se lit nabla f de x ).

Definition 1.2.11. Soit f : U ⊂ Rn → R et soit {e1 , . . . , en } la base cano-

nique de Rn . Si f est deux fois différentiable sur l’ouvert U alors pour tout
x ∈ E, pour tous i, j ∈ {1, . . . , n}
∂ 2f ∂ ∂f
(x) = (x)
∂xi ∂xj ∂xi ∂xj
Alors la matrice
 
∂ 2f ∂ 2f
(x) ··· (x)

 ∂x21 ∂x1 ∂xn 

Hess f (x) = 
 .. .. 
. . 
∂ 2f ∂ 2f
 
 
(x) · · · (x)
∂xn ∂x1 ∂x2n
est appelée matrice hessienne de f en x.

Remarque 1.2.1. la matrice hessienne est symétrique.

Exercices (Travaux Dirigés)

Généralités 13
Techniques d’Optimisation ENSAO

1.2.3.6 Formule de Taylor

Formule de Taylor-Young
Soit U un ouvert de Rn , f : U → R, f ∈ C r (U, R). Soit a ∈ U et h ∈ Rn avec
a+h∈U .
Alors f admet un développement de Taylor-Young en tout point a ∈ U ,on a
r
X 1 k
f (a + h) = f (a) + D f (a) · hk + o(khkr )
k=1
k!

En particulier
1. Si r = 1,

f (a + h) = f (a) + Df (a)(h) + o(khk)

= f (a) + h∇f (a), (h)i + o(khk)

2. Si r = 2, on a
1
f (a + h) = f (a) + Df (a)(h) + D2 f (a)(h, h) + o(khk2 )
2
1
= f (a) + h∇f (a), (h)i + hHf (a)(h), (h)i + o(khk2 )
2
Formule de Taylor−Lagrange
Soient U un ouvert de Rn , f : U → R une application p+1 fois diffÃľrentiable,
a ∈ U et h ∈ Rn tels que le segment [a, a + h] ⊂ U . Alors il existe θ ∈] 0, 1[
tel que :
p
X 1 k 1
f (a + h) = f (a) + D f (a) · hk + Dp+1 f (a + θh)hp+1
k=1
k! (p + 1)!

En particulier
1. Si p = 0, on a
f (a + h) = f (a) + Df (a + θh) · h
= f (a)+ < ∇f (a + θh), h >

2. Si p = 1, on a
1
f (a + h) = f (a) + Df (a) · h + D2 f (a + θh) · h2
2
1
= f (a)+ < ∇f (a), h > + < ∇2 f (a + θh)h, h >
2
Formule de Taylor avec reste intégral
Soient U un ouvert de Rn , f : U → R de classe C p+1 , a ∈ U et h ∈ Rn tels
que le segment [a, a + h] ⊂ U . Alors on
p
1 1
Z
X 1 k k
f (a + h) = f (a) + D f (a) · h + (1 − t)p Dp+1 f (a + th) · hp+1 dt
k=1
k! p! 0

En particulier
1. Si p = 0, on a

Généralités 14
Techniques d’Optimisation ENSAO

Z 1
f (a + h) = f (a) + Df (a + th) · h dt
0
Z 1
= f (a) + < ∇f (a + th), h > dt
0
2. Si p = 1, on a Z 1
f (a + h) = f (a) + Df (a) · h + (1 − t)D2 f (a + th) · h2 dt
0 Z 1
= f (a)+ < ∇f (a), h > + (1 − t) < ∇2 f (a + th)h, h > dt
0

Remarque 1.2.2. La formule la plus utilisée est la formule de Taylor-Young

à l’ordre 2 pour la recherche d’extrema.

Généralités 15
 CHAPITRE 2
ETUDE THÉORIQUE DES
PROBLÈMES D’OPTIMISATION
(PO): EXISTENCE ET UNICITÉ
DES SOLUTIONS DE (PO)

2.1 Introduction
Tout au long de ce chapitre, on considère le problème d’optimisation (PO)

min f (x)
(P O) (2.1)
x ∈ U.
avec f : U ⊂ V −→ R est continue et V un espace de Hilbert.

2.2 Existence et unicité de minimum: Cas de

dimension finie
Dans cette section, on se place dans V = Rn

2.2.1 Existence de minimum

La plupart des théorèmes d’existence de minimum sont des variantes du
théorème suivant

Theorème 2.2.1. une fonction continue sur un compact admet un mini-

mum.

Theorème 2.2.2. Soit f une fonction continue sur un sous ensemble U

fermé de Rn . On suppose que

16
Techniques d’Optimisation ENSAO

– ou bien U est borné,

– ou bien U est non borné et lim f (x) = +∞ (on dit alors que f est
kxk→+∞
coercive),
alors f posséde un minimum sur U .
Démonstration. au séance de cours

2.2.2 Unicité de minimum

2.2.2.1 Ensembles et fonctions convexes
– On dit qu’un ensemble U ⊂ Rn est convexe si, et seulement si pour tous
(x1 , x2 ) ∈ U 2 et t ∈ [0, 1], tx1 + (1 − t)x2 ∈ U
– Soit U , un convexe inclus dans Rn . La fonction f : U −→ R est dite
convexe si, et seulement si
∀ (x1 , x2 ) ∈ U 2 , ∀t ∈ [0, 1], f (tx1 + (1 − t)x2 ) 6 tf (x1 ) + (1 − t)f (x2 )
On dit que f est strictement convexe si l’inégalité ci-dessus est stricte
pour x 6= y, t ∈]0, 1[
– On dit que f est concave (respectivement strictement concave) si −f
est convexe (respectivement strictement convexe).

2.2.2.2 Caractérisation des fonctions convexes avec ∇ et Hess =

∇2
Theorème 2.2.3. 1. Si f : Rn −→ R est différentiable, on a les équiva-
lences entre
(a) f est convexe sur Rn ;
(b) f (y) > f (x) + h∇f (x), y − xi, ∀(x, y) ∈ [Rn ]2
(c) h∇f (y) − ∇f (x), y − xi > 0, ∀(x, y) ∈ [Rn ]2
2. On a équivalence entre convexité stricte et les inégalités (b) et (c) pré-
cédentes rendues strictes, pour x 6= y.
3. Si f : Rn −→ R est deux fois différentiable, on a les équivalences entre
(a) f est convexe ;
(b) pour tout x ∈ Rn , Hess f (x) est semi-définie positive.
Theorème 2.2.4. Soit le problème (PO) (2.1) avec f convexe et U convexe
(éventuellement de dimension infinie). Alors,
-Tout minimum local est un minimum global.
-Si f est strictement convexe, il y a au plus un minimum.
Exemple 2.2.1. -Dans R les ensembles convexes sont les intervalles.
- Une droite reliant deux éléments de Rn est un ensemble convexe.
-Les sous-espaces vectoriels de Rn sont convexes.
-la fonction f (x) = x2 est strictement convexe sur R.

Etude théorique des problèmes d’optimisation (PO): Existence et Unicité des solutions de17
(PO)
Techniques d’Optimisation ENSAO

Exercice d’application
Convexité d’une fonction quadratique

f : Rn −→ R
1
x 7−→ f (x) = hAx, xi − hb, xi + c,
2
avec A une matrice réelle symétrique, b un vecteur de Rn et c une constante
donnée. On peut montrer que pour tout x ∈ Rn , ∇f (x) = Ax − b et Hess
f (x) = A. En particulier, on déduit immédiatement de ce calcul et du théo-
rème que f est convexe si, et seulement si A est semi-définie positive, et
strictement convexe si, et seulement si A est définie positive.

2.3 Existence et unicité de minimum: Cas gé-

néral
Dans ce qui suit, on se place dans un espace de Hilbert V muni d’un
produit scalaire ≺ ·, · 

2.3.1 Fonction α−elliptique

2.3.1.1 Définition
Definition 2.3.1. Soit U ⊂ V , un convexe. Une fonction f : U −→ R est
dite α−elliptique s’il existe α > 0 tel que, pour tous (x, y) ∈ U 2 , t ∈ [0, 1],
α
f (tx + (1 − t)y) 6 tf (x) + (1 − t)f (y) − t(1 − t)kx − yk2
2
Remarque 2.3.1. – il est clair qu’une fonction α−elliptique est stricte-
ment convexe, et donc convexe.

2.3.1.2 Caractérisation des fonctions α−elliptique avec ∇et la

Hess
Corollary 2.3.1. 1. Si f : U −→ R est différentiable, on a les équiva-
lences
(a) f est α-elliptique ;
α
(b) f (y) > f (x) + h∇f (x), y − xi + ky − xk2 , ∀(x, y) ∈ U 2
2
(c) h∇f (y) − ∇f (x), y − xi > αky − xk2 , ∀(x, y) ∈ U 2 .
2. Si f : U −→ R est deux fois différentiable, on a les équivalences
(a) f est α-elliptique ;
(b) h Hess f (x)h, hi > αkhk2 , ∀x ∈ U, ∀h ∈ U .
Remarque 2.3.2. f est α -elliptique alors elle est strictement convexe et
coercive
Preuve 2.3.1. au séance de cours

Etude théorique des problèmes d’optimisation (PO): Existence et Unicité des solutions de18
(PO)
Techniques d’Optimisation ENSAO

2.3.2 Existence et Unicité de minimum

Theorème 2.3.1. Soit U , un convexe fermé non vide d’un espace de Hilbert
V et f , une fonction α-elliptique continue sur U . Alors, il existe un unique
minimum x∗ de f sur U et on a :
4
kx∗ − xk2 6 [f (x) − f (x∗ )] , ∀x ∈ U
α
En particulier, toute suite minimisante de f sur l’ensemble U converge vers
x∗ .
Exemple 2.3.1. une fonction α-elliptique

f : V −→ R
1
x 7−→ f (x) = hAx, xi − hb, xi + c,
2
avec A une matrice réelle symétrique, b un vecteur de V et c une constante
donnée. On a déjà prouvé dans l’exemple précedent que f est strictement
convexe sur V si, et seulement si A est définie positive, et que de plus Hess
f (x) = A pour tout x ∈ V . Étant donné que A est symétrique réelle, on peut
la diagonaliser dans une base orthonormée réelle de vecteurs propres notée
{ei }1≤i≤n . Le spectre de A rangé par ordre croissant est :

λ1 ≤ · · · ≤ λn

On peut alors écrire que A = P DP −1 , avec P inversible (P ∈ On (R),

P > = P −1 ). P est la matrice telle que P = [e1 · · · en ], oÃź les vecteurs
e1 , · · · , en , sont écrits en colonne, et D = diag (λ1 , · · · , λn ) . Posons u =
P −1 h. Alors,
n
X n
X
hAh, hi = λi u2i ≥ λ1 u2i = λ1 | u 2
= λ1 hk2 .
i=1 i=1

On en déduit que f est λ1 -elliptique. On peut d’ailleurs montrer facilement

que λ1 est la meilleure constante d’ellipticité de f en remarquant que l’in-
égalité ci-dessus est une égalité lorsque h est un vecteur propre associé Ãă
λ1 .

2.4 Équation et Inéquation d’Euler

Definition 2.4.1. Soit U ⊂ Rn un ensemble et u∗ ∈ U . On dit que w ∈ Rn
est une direction admissible pour u∗ en U s’il existe t0 > 0 tel que u∗ + t0 w ∈
U, ∀t ∈ [0, t0 ].
Proposition 2.4.1. Soit U ⊂ Rn un ouvert, V ⊂ U et f : V → R une
fonction de classe C 1 et u∗ ∈ V un point de minimum local de f sur U . Soit
w ∈ Rn une direction admissible pour u∗ en U . Alors ≺ ∇f (u∗ ), w ≥ 0 :

Etude théorique des problèmes d’optimisation (PO): Existence et Unicité des solutions de19
(PO)
Techniques d’Optimisation ENSAO

Theorème 2.4.1. Inéquation et équation d’Euler

Soit f : U ⊂ V → R, oÃź U est un convexe inclus dans V , un espace de
Hilbert. On suppose que f est différentiable en x ∈ U .
– Si x est un minimum local de f sur U , alors x vérifie l’inéquation d’Euler
:
≺ ∇f (x), (y − x) ≥ 0, ∀y ∈ U
Si de plus, f est convexe, alors x est un minimum global de f sur U .
– Si en plus x est dans l’intérieur de U alors l’inéquation d’Euler devient
∇f (x) = 0 (c’est l’équation d’Euler)

Etude théorique des problèmes d’optimisation (PO): Existence et Unicité des solutions de20
(PO)
 CHAPITRE 3
OPTIMISATION SANS OU AVEC
CONTRAINTES: QUELQUES
MÉTHODES NUMÉRIQUES

3.1 Optimisation sans contraintes

On considère le problème de minimisation f (x̄) = min f (x) où f : U −→
x∈U
R est une fonction numérique définie sur un ensemble ouvert U ⊂ Rn On
cherche àă produire une suite ayant les propriétés suivantes:
– f (xk+1 ) ≤ f (xk )
– xk → x̄ où x̄ est un point minimisant (local ou global).
Les méthodes sont regroupées en deux familles:
– Les méthodes de descentes
x0 ∈ Rn


xk+1 = xk + ρk dk

où dk est la direction de descente et ρk > 0.

– Les méthodes de type Newton. On résout le systéme non linéaire

∇f (x) = 0

3.1.1 Méthode de relaxation

On se place en dimension finie, i.e.(U = Rn ). Pour passer de xk Ãă xk + 1,
on minimise successivement dans les n directions de la base canonique de Rn .

1. xk,1 est défini par

J xk,1 = inf J xk − ρe1

ρ∈R

21
Techniques d’Optimisation ENSAO

ou encore
xk,1 = xk1 − ρ1 , xk2 , . . . , xkn

On note xk+1
1 = xk1 − ρ1
2. à l’étape i on a
k+1
xk,i = xk+1 , xki , .., xkn


1 , .., xi

xk,i+1 est maintenant défini par

J xk,i+1 = inf J xk,i − ρei+1

ρ

3. xk+1 = xk,n
Theorème 3.1.1. Si J est α−elliptique C 1 sur Rn , l’algorithme de relaxation
est bien défini el converge vers la solution optimale.

3.1.2 Méthode de gradient

Dans la méthode du gradient, on choisit

dk = −∇f (xk )

comme direction de descente car

f (xk+1 ) = f (xk − ρk ∇f (xk ))

1 2
= f (xk ) − ρk (∇f (xk ) , ∇f (xk )) + ρk (H∇f (xk ) , ∇f (xk ))
2
' f (xk ) − ρk k∇f (xk )k2 ≤ f (xk )
Algorithme du gradient:

– x0 ∈ Rn donné
– xk+1 = xk − ρk ∇f (xk ) où ρk > 0
Si ρk = ρ, l’algorithme est dit à pas constant (méthode de gradient à pas
fixe). On peut parler aussi de la méthode de gradient à pas optimale(ρ) c’est-
à-dire calculer exactement la valeur ρ qui minimise min f (xk − ρ∇f (xk )) ce
ρ
qui n’est pas facile en général.

Critère d’arrêt:
On peut utiliser un (ou une combinaison) des critères suivants pour arrÃłter
les itérations d’un algorithme de descente.
– Etant donné que ∇f (xk ) → ∇f (x̄) = 0, on pose

k∇f (xk )k < 1 .

– On a xk → x̄, on peut aussi prendre

kxk+1 − xk k < 2

Optimisation sans ou avec contraintes: Quelques méthodes numériques 22

Techniques d’Optimisation ENSAO

– Finalement, on a f (xk ) → f (x̄), on peut prendre

kf (xk+1 ) − f (xk )k < 3

Exemple 3.1.1. Le problème est de trouver la valeur de x qui minimise

F (x). Dans cette exemple, on connait l’expression analytique de la fonction
F:
F (x) = x4 − 11x3 + 41x2 − 61x + 30
On connait aussi sa dérivée:

F 0 (x) = 4x3 − 33x2 + 82x − 61

Pour trouver analytiquement le minimum de la fonction F , il faut trouver

les racines de l’équation F 0 (x) = 0, donc trouver les racines d’un polynôme
de degré 3, ce qui est difficile. Donc on va utiliser la DG. La DG consiste
à construire une suite de valeurs xi (avec x0 fixé au hasard) de manière
itérative:
xi+1 = xi − ρE 0 (xi )
Code : Scilab
function [xn, fxn, iter ] = gradient (x0, f, df, rho, stop, nmsx)
iter = 0; xn = x0
for i = 1 : nrnax
xnp1 = xn− rho ∗ df (xn)
fxn = f(xn)
if norm(xnp1-xn) istop then return;end xn = xnp
i;
iter=iter +1 end mprintf(Arret sur nombre maximum d’itÃľrations)
end function
function y = f(x)
y = x4 − 11 ∗ x3 + 41 ∗ x2 − 61 ∗ x + 30
end function
function y = df(x)
y = 4 ∗ x2 − 33 ∗ x2 + 82 ∗ x − 61
end function
[xn, f xn, iter] = gradient (5, f, df, 0.001, 1.e − 3, 100)

3.1.3 Méthode du gradient conjugué

On s’intéresse ici au cas quadratique
1
Soit f (x) = xt Ax − bt x, avec A symétrique définie positive.
2
On sait alors qu’il existe un minimum unique sur Rn donné par x∗ = A−1 b.
Dans la suite on note r(x) = Ax − b = ∇f (x) le résidu
Dans l’algorithme du gradient Conjugué linéaire on prend

u(k) = −∇f x(k) + βk d(k−1)

Optimisation sans ou avec contraintes: Quelques méthodes numériques 23

Techniques d’Optimisation ENSAO

avec βk tel que d(k)t Adk−1 = 0 On déduit que

t
r x(k) Ad(k−1)
βk = (k−1)t (k−1)
d Ad
2
Comme ≺ dk , ∇f (x(k) ) = − r x(k) 2 , on obtient bien une direction de

descente.

Algorithme (gradient conjugué linéaire)

choisir x(0) et poser k = 0
r(0) = Ax(0) − b, d(0) = −r(0) , k = 0
tant que r x(k)


>ε
t
r(k) r(k)
σk = (k)t (k)
d Ad
x(k+1) = x(k) + σk d(k)
r(k+1) = r(k) + σk Ad(k)
t
r(k+1) r(k+1)
βk+1 =
r(k)t r(k)
d(k+1) = −r(k+1) + βk+1 d(k)
k =k+1
Remarque
3.1.1. Méthodes de gradient: Ces méthodes nécessitent le calcul
de ∇f x(k) . Leur convergence est linéaire (donc lente).
1
Méthode de gradient conjugué : Si f est quadratique (c.à.d. f (x) = ≺
2
Ax, x  − ≺ b, x  avec A symétrique définie positive), la méthode est
excellente si elle est utilisée avec un préconditionnement (pour n grand). Dans
le cas général, elle n’est efficace que si n n’est pas trop grand.

3.2 Optimisation avec contraintes

On rappelle qu’on se donne U ∈ Rn ou U est un ensemble fermé des
contraintes, avec U 6= ∅ et U 6= Rn . On se donne aussi la fonction
J : Rn → R (3.1)
On cherche a résoudre le problème de minimisation

min J(u) (3.2)

n∈U

c’est-à-dire on cherche u∗ ∈ U tel que

J (u∗ ) ≤ J(u), ∀u ∈ U (3.3)
On va considérer deux cas pour U :

Optimisation sans ou avec contraintes: Quelques méthodes numériques 24

Techniques d’Optimisation ENSAO

1. U est un pave, c’est à dire, il est de la forme

U =| a1 , b1 ] × [a2 , b2 ] × . . . × [an, bn ]

2. U est de la forme

U = {x ∈ Rn , ϕi (x) ≤ 0, i = 1, 2, . . . , m} (∗)
avec m ∈ Nn et ϕ1 , ϕ2 , . . . ϕm des fonctions par des contraintes d’inéga-
lités .
on peut toujours se ramener à des problèmes avec contraintes d’inégalités
larges, ceci par deux méthodes:
1. Soit en éliminant des contraintes à l’aide des égalités
2. En écrivant une égalité φi (x) = 0 comme une double inégalité φi (x) ≤ 0
et −φi (x) ≤ 0
Proposition 3.2.1. Soit U donné par (∗) , si toutes les fonctions φ1 , φ2 , φ3 , ..., φm
sont convexes alors U un ensemble convexe.
Remarque 3.2.1. Si on suppose que U est un pavé l’algorithme dans ce cas
ressemble à celui pour minimisation sans contraintes.

3.2.1 Les Multiplicateurs de Lagrange

Theorème 3.2.1. de Kuhn-Tucker :
Soit J, fi , i ∈ {1, . . . , p}, gi , i ∈ {1, . . . , m} des fonctions de classe C 1 . On
veut minimiser J sur l’ensemble
C = x ∈ RN , fi (x) = 0, i = 1, . . . , p, gj (x) 6 0, j = 1, . . . , m .


On suppose les contraintes qualifiées au point X ∗ . Alors, une condition

nécessaire pour que X ∗ soit un minimum de J est qu’il existe des nombres
positifs λ∗1 , . . . , λ∗m et des nombres réels µ∗1 , . . . , µ∗p tels que
m p

X X
 ∇ J (x∗ ) +
 ∗ ∗
λj ∇gj (x ) + µ∗i ∇fi (x∗ ) = 0
x
j=1 i=1
(3.4)
 ∗ ∗
avec λi gi (x ) = 0, i = 1, . . . , m


Definition 3.2.1. Lagrangien du probléme (P )

On appelle Lagrangien du problème (P ) la fonction définie sur Rn × Rp × Rm
+
par :
p m
X X
L(x, µ, λ) = J(x) + µi fi (x) + λi gi (x)
i=1 j=1

La relation (3.4) s’écrit alors

∇x L (x∗ , µ∗ , λ∗ ) = 0

Optimisation sans ou avec contraintes: Quelques méthodes numériques 25

Techniques d’Optimisation ENSAO

Exemple 3.2.1. Optimiser la

fonction f (x, y) = xy sous la contrainte x2 +

y 2 = 1.(g(x, y) = x2 + y 2 − 1
1. Domaines de définitions : Df = R2 et Dg = R2
2. Lagrangien : L(x, y, λ) = xy − λ x2 + y 2 − 1

∂L
  
1
 ∂x (x, y, λ) = 0  λ = +/ −
  
  y − 2λx = 0
 
   2
∂L ⇔ x − 2λy = 0 ⇔ y = 2λx
(x, y, λ) = 0
 ∂y  x2 + y 2 = 1  x2 = y 2 = 1

 
 

2 2
x +y =1
  
2
Finalement les points stationnaires sur D sont:
 quatre 
1 1 1
− (x1 , y1 ) = √ , √ associé au multiplicateur λ1 = .
 2 2  2
1 1 1
− (x2 , y2 ) = − √ , − √ associé au multiplicateur λ2 = .
 2 2
 2
1 1 1
− (x3 , y3 ) = √ , − √ associé au multiplicateur λ3 = − .
 2 2  2
1 1 1
− (x4 , y4 ) = − √ , √ associé au multiplicateur λ4 = − .
2 2 2
3. Par le Théorème de Weierstrass, f posséde parmi ces points station-
naires an moins un point de minimum global sur D et un point de
maximum global. II suffit d’évaluer f en ces points stationnaires :
1 1
f (x1 , y1 ) = f (x2 , y2 ) = , f (x3 , y3 ) = f (x4 , y4 ) = −
2 2
f possède donc deux point de maximums globaux sur D : (x1 , y1 ) et
(x2 , y2 ) et deux point de minimums globaux sur D : (x3 , y3 ) et (x3 , y3 )

3.3 Méthode de gradient projeté

La méthode du gradient projeté s’inspire des méthodes de gradient décrites
dans la section précédente. L’idée de base consiste à suivre la direction de
plus profonde descente, comme dans le cas sans contrainte:
xk+1 = xk − sk ∇f (xk )
oÃź sk > 0 est choisi de sorte que: f (xk + sk dk ) < f (xk ). Toutefois, si
xk ∈ X, rien ne garantit que xk+1 appartienne également àă X. Pour résoudre
ce problème, si d’aventure on obtient un point xk+1 non admissible, on le
projette celui-ci sur l’ensemble de contraintes X.
Proposition 3.3.1. (Projection sur un convexe)
Soit X convexe fermé, non vide de Rn . La projection d’un point x ∈ Rn sur
X, notee pX (x), est définie comme l’unique solution de:
1
min kx − yk22
y∈X 2

Optimisation sans ou avec contraintes: Quelques méthodes numériques 26

Techniques d’Optimisation ENSAO

De plus pX (x) est l’unique élèment de X qui vérifie :

hpX (x) − x, y − pX (x)i ≥ 0, ∀y ∈ X

Remarque 3.3.1. si x ∈ X alors pX (x) = x

Algorithme du gradient projeté.

Données: f, pX l’opérateur de projection sur X, x0 un point initial et ε > 0
la précision demandée
Sortie: une approximation x? de la solution
1. k := 0;
2. Tant que critère d’arrêt non satisfait, (a) yk = xk − s∇f (xk ) où s est
le pas calculé par la méthode de gradient choisie;
(b) Projection sur X : xk+1 = pX (yk ) ; k := k + 1;
3. Retourner xk .

Optimisation sans ou avec contraintes: Quelques méthodes numériques 27

 BIBLIOGRAPHIE

[1] MichaÃńl Bruyneel, Jean-Charles Craveur et Pierre Gourmelen. OPTI-

MISATION DES STRUCTURES MECANIQUES Méthodes numériques
et éléments finis.
[2] max cerf(https://www.ljll.math.upmc.fr/ cerf/) classification Techniques
d’optimisation-2018.
[3] P.G Ciarlet. Introduction à l’analyse numérique matricielle et à l’opti-
misation.
[4] Chaperon M. Calcul differentiel et calcul integral 3e année.Dunod, Year:
2008

28