Techniquesd'Optimisation Cours

Ecole Nationale des Siences Appliquées
Université Mohammed Premier

OUJDA
Techniques d'Optimisation
Pr. Loubna Boudjaj
Filière :
Génie Civil
Coordinateur de lière :
Pr.
Pr.Mohammed Derouich
Mohamed Derouich
Généralités
Notions et Rappels Mathématiques
Chapitre 1: Généralités et Rappels Mathématiques
Loubna BOUDJAJ
ENSA OUJDA
14 Février 2022
L.B
2
Sommaire
1 Généralités
Motivation
Vocabulaire d'optimisation
Classication
Formulation d'un problème d'optimisation (PO)
2 Notions et Rappels Mathématiques

Norme et suite minimisante
Minimum local, minimum global
Rappel de calcul diérentiel
Fonction diérentiable
Dérivée suivant un vecteur
Dérivées partielles
Matrice Jacobienne et Matrice Hessienne
Formule de Taylor
Motivation
Généralités Vocabulaire d'optimisation
Notions et Rappels Mathématiques Classication
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
4
Motivation
Pourquoi l'optimisation ?
Les techniques d'optimisation sont aujourd'hui utilisées dans nombreux domaines
dont la logistique, la gestion de production, la nance, les protocoles de transport
d'information des réseaux informatiques, le transport d'énergie dans les réseaux
électriques, les stratégies militaires, les transports aériens et ferroviaires entre
autres...Et ces outils sont utilisés dans les bureaux d'études mécaniques en génie
civil. Il est important de mettre à disposition, et de manière simple, la
connaissance des méthodes d'optimisation.[1]
L.B
5
Motivation
En mathématiques, l'optimisation est une science cherchant à modéliser, à

analyser et à résoudre analytiquement ou numériquement les problèmes qui
consistent à minimiser ou maximiser une fonction sur un ensemble donné.
Son objectif principal est la construction d'algorithmes permettant d'approcher
une solution d'un problème sous la forme :
(PO) :Trouver u , tel que u ∈ U et f (u) = inf v ∈U f (v )
où U est une partie donnée d'un espace vectoriel V et f : V → R une fonction
donnée.
L.B
6
Motivation
A l'optimisation on s'intéresse à répondre aux questions suivantes :

Existence et unicité de la solution du problème (PO).
Caractérisation d'une solution éventuelle du (PO) (ie) les conditions
nécessaires et susantes dans certains cas :
les conditions nécessaires font intervenir la dérivée première de f , la convexité
de U , les dérivées premières des fonctions de contraintes
les conditions susantes font intervenir la convexité de f , les dérivées
secondes ainsi.
la construction d'algorithme pour approcher la solution u (c'est-à-dire )la
construction d'une suite (un )n≥0 d'éléments de l'ensemble U tel que
limn→+∞ un = u avec u0 choisi arbitrairement.
L.B
7
Motivation
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
8
Motivation
On considère le problème d'optimisation donné par

(PO) :Trouver u , tel que u ∈ U et f (u) = inf v ∈U f (v )
f : U ⊆ V → R est appelée fonction coût ou critère, et on a :
Si U = V , on dit que (PO) est un problème d'optimisation sans contrainte.
Si U ⊂ V , on dit que (PO) est un problème d'optimisation sous contrainte.
Si dim U < +∞(resp. dimU = +∞), on dit que (PO) est un problème
d'optimisation en dimension nie (resp. innie).
Remarque
Dans ce cours on s'intèresse à l'optimisation en dimension nie, et si la valeur du
minimum est atteinte, le (PO) devient
(PO) :Trouver u, tel que u ∈ U et f (u) = minv ∈U f (v )
L.B
Motivation
Remarque
Puisque maximiser une quantité revient à minimiser son opposé, alors les
problèmes de minimisation englobent les problèmes de maximisation
Remarque
Si le (PO) possède une solution, on cherchera à la caractériser, à la
déterminer lorsque ce sera possible et pour cela on exploitera les conditions
nécessaires d'optimalité.
Si le (PO) ne possède pas de solution, on cherchera à exhiber une suite
minimisante (c'est à dire ) une suite des élèments de l'ensemble U
convergeant vers inf{f (x), x ∈ U}.
L.B
10
Motivation
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
11
Motivation
Optimisation fonctionnelle / paramétrique [2]

Optimisation fonctionnelle
Inconnues = fonctions → { Optimisation en dimension innie
Commande optimale
 Optimisation paramétrique

Inconnues = entier ou réels → Optimisation en dimension nie


Programmation mathématique
∗Programmation mathématique
Optimisation combinatoire

Inconnues = entiers →
Programmation en nombres
 Optimisation continue

Inconnues = réels → Programmation linéaire


Programmation non linéaire
Inconnues = entiers et réels → Programmation mixte
L.B
12
Motivation
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
13
Motivation
Un (PO) problème d'optimisation consiste à maximiser ou minimiser une fonction

objectif de n variables de décision (de conception) soumises à un ensemble de
contraintes. On commence par :
Dénir les variables
Ensemble des variables qui régissent la situation à modéliser.
Variables réelles, entières, binaires.
Préciser la fonction objectif
Fonction mathématique composée des variables de décision (conception) qui
représente le modèle.
Préciser les contraintes du problème
Ensemble des paramétres qui limitent le modèle réalisable.
Equations ou inéquations composées des variables de décision(conception).
Préciser les paramétres du modèle
Constantes associées aux contraintes et à la fonction objectif.
L.B
14
Motivation
Exemple
Une entreprise qui fabrique des tables et des chaises utilise une même machine
pour fabriquer ses produits.
- Fabriquer une chaise nécessite 8 heures, tandis qu'une table nécessite 10 h à la
machine, et cette machine peut être utilisé au maximum de 140 heures par
semaine.
- Pour répondre à la demande, l'entreprise veut fabriquer au moins 5 tables par
semaine.
- Fabriquer une table requière 5 employés tandis qu'une chaise requière 3 employés.
Pour être ecace, le nombre d'employés nécessaire à la fabrication des tables doit
être au maximum 35 employées de plus que le nombre nécessaire d'employés à la
fabrication des chaises.
En considérant toutes ces contraintes, si la vente d'une table apporte un prot de
51 dollars et celle d'une chaise un prot de 48 dollars.
Combien de tables et de chaises devrait produire l'entreprise en une semaine pour
maximiser ses prots ?
L.B
Motivation
Solution
les variables
On pose :
X : le nombre des tables
Y : le nombre des chaises
la fonction objectif
maximiser 51X + 48Y
les contraintes
10X + 8Y ≤ 140
X ≥5
5X ≤ 35 + 3Y
Y ≥0
On trace les droites données par ces équations D1 : 10X + 8Y = 140, D4 : Y = 0,
D3 : 5X = 35 + 3Y et D2 : X = 5
L.B
16
Motivation
Polygône des contraintes avec des sommets

A(5; 11, 25), B(10; 5), C (7; 0), D(5; 0).
Tous les points sur le contour bleu sont des solutions á l'exemple.
−On cherche le point qui maximise le prot.
−Pour maximiser ou minimiser, la solution doit être toujours un des points des
sommets du polygône des contraintes.
L.B
17
Motivation
La solution sera au sommet de polygône :

X désigne le nombre de chaises, donc on va choisir le point entier le plus près qui
est A(5 ;11)
On calcule le prot associè á chacun des sommets de polygône :
f(A)=783
f(B)=750
f(C)=357
f(D)=255
Donc le point A qui maximise la fonction f et la réponse est :
5 tables et 11 chaises
L.B
Généralités Norme et suite minimisante
Notions et Rappels Mathématiques Minimum local, minimum global
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
19
Dénition
Soit E un R -espace vectoriel. On appelle produit scalaire sur E toute application
de E × E dans R notée ⟨·, ·⟩ vériant
-⟨·, ·⟩est bilinèaire
-⟨·, ·⟩ est symétrique : ∀x, y ∈ E , ⟨x, y ⟩ = ⟨y , x⟩ .
- pour tout x ∈ E , ⟨x, x⟩ ≥ 0. De plus si ⟨x, x⟩ = 0, alors x = 0.
Exemple
Dans l'espace Rn , on introduit le produit scalaire canonique, c'est-à-dire celui
qu'on utilisera de maniére standard dans Rn . Il s'agit du produit scalaire suivant :
⟨(x1 , ..., xn ), (y1 , ..., yn )⟩Rn =Pni=1 xi yi
Il arrive parfois qu'on note ce produit scalaire simplement ⟨., .⟩
L.B
Dénition
Soit une application dénie par ∥.∥ : Rn → R+ vériant les proprietés suivantes :
∥x∥ = 0 =⇒ x = 0.
∥λx∥ = |λ|∥x∥.
∥x + y ∥ ≤ ∥x∥ + ∥y ∥ (Inégalité triangulaire).
alors cette application s'appelle norme sur Rn
On dénit les normes
Psuivantes1:
Norme p : ∥x∥p = ( ni=1 |xi |p ) p
Norme ∞ : ∥x∥∞ =Pmaxi=1:n |x1i |
Norme 2 : ∥x∥2 = ( ni=1 |xi |2 ) 2 (la norme euclidienne)
L.B
Dénition
Soit A une partie minorée non vide de R. On dit que m = inf{x, x ∈ A} si et
seulement si ∀ϵ > 0, ∃x ∈ A, m ≤ x < m + ϵ
Proposition
Soit A une partie minorée non vide de R. Alors les assertions suivantes sont
équivalentes :
m = inf{x, x ∈ A},
m est un minorant de A et il existe (xn )n∈N ∈ An , appelée suite
minimisante convergeant vers m.
Exemple
Soit A = { n1 , n ∈ N∗ }, inf A = 0
L.B
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
23
Dénition
Soit f : U → R une fonction et U un ouvert de Rn .
a est un minimum local de f si :
il existe un voisinage Va de a tel que ∀x ∈ Va , f (a) ≤ f (x)

a est un minimum global de f si
∀x ∈ U, f (a) ≤ f (x)
L.B
24
Graphes d'illustrations
Cas 1d
4
maximum global
maximum local
3
2
Y
1
minimum local
minimum global
0
2 4 6 8 10 12 14 16 18
X
Cas 2d
maximum global
10 maximum local
−5
−10
4
L.B 2
minimum global
4
0 2
0 25
Théorème
(Théorème de Weierstrass)
Soit f une fonction continue sur U ⊂ Rn avec U fermé borné. Alors :
∃x0 ∈ U tel que f (x0 ) = minx∈U f (x)
∃x1 ∈ U tel que f (x1 ) = maxx∈U f (x)
C'est à dire que f est bornée sur U (f (x0 ) ≤ f (x) ≤ f (x1 )) et atteint ses bornes.
L.B
26
1 Généralités
Motivation
Classication

Formule de Taylor
L.B
27
Dénition
Soit U un ouvert de Rn , f : U → R une application et a ∈ U .
On dit que f est diérentiable en a s'il existe une application linéaire de Rn vers R
notée dfa (continue), telle que ∀h ∈ Rn , avec a + h ∈ U
f (a + h) = f (a) + dfa (h) + o(∥h∥)
Autrement dit :
limh→0 f (a+h)−f (a)−dfa (h)
∥h∥ =0
Théorème
Soient U ⊂ Rn ,V ⊂ R.
Soient f , g deux fonctions de classe C 1 , f : U → R et g : V → R telle que
f (U) ⊂ V alors :
d(g ◦ f )(x) = g ′ (f (x))df (x)

L.B
Dénition
Soit f : U → R une application, a ∈ U et h ∈ Rn \{0}. On dit que f admet une
dérivée en a suivant le vecteur h si
limt→0 f (a+th)−f (a)
t existe dans R
si cette limite existe on la note Dh f (a)
Proposition
Si f : U → R est diérentiable en un point a ∈ U , alors f admet une dérivée en a
suivant tout vecteur h de Rn \{0} de plus Dh f (a) = dfa (h)
preuve
au séance de cours
L.B
Soit B = {e1 , ..., en } une base de Rn et U un ouvert de Rn .

Dénition
On dit que f : U → R admet une dérivée partielle en a par rapport á la iéme
élement de base B si f admet une dérivée en a suivant le vecteur ei , 1 ≤ i ≤ n
Autrement dit :
∂f f (a+tei )−f (a)
∂xi (a) = limt→0 t
Dénition
On dit que f : U → R est de classe C r sur U si toutes ses dérivées partielles
jusqu'à l'ordre r existent et continues.
Si f est de classe C 2 , alors pour j, k ∈ [[1, n]] on note
∂2f ∂2f

∂ ∂f ∂ ∂f
= si j ̸= k, = si j = k
∂xj ∂xk ∂xj ∂xk ∂xj2 ∂xj ∂xj
On a également des notations analogues pour les dérivées partielles à tout ordre.
L.B
Théorème
On suppose que f est de classe C 2 sur U . Alors pour tous j, k ∈ [[1, n]] on a
∂2f ∂2f
=
∂xj ∂xk ∂xk ∂xj
Dénition
Soit f : U → R. Pour r ∈ N∗ et des indices i1 , . . . , ir ∈ {1, . . . , n}, on appelle le
vecteur r
∂ f (x)
:= Dei1 . . . Deir f (x)
∂xi1 , . . . , ∂xir
une dérivée partielle d'ordre r de f en x .
Exercices (Travaux Dirigés)
L.B
Dénition
Soit f : U ⊂ Rn → Rp . Si f est diérentiable sur U , la matrice des dérivées
partielles de f s'appelle la matrice jacobienne ou la Jacobienne de f . On la note
J(f )a , elle a n colonnes et p lignes :
 ∂f1 (a) ∂f1 (a)

∂x1 ... ∂xn
 .. .. 
J(f )a = 
 . .  ∈ Mp,n (R)

∂fp (a) ∂fp (a)
∂x1 ... ∂xn
Autrement dit, si x = (x1 , . . . , xn ) pour une fonction vectorielle f (x1 , . . . , xn )

à valeurs dans Rp , la Jacobienne a pour colonnes les vecteurs ∂x ∂f
.
En particulier, pour une fonction de n variables à valeurs reélles, la matrice
i
jacobienne est juste une matrice ligne :

∂f (x) ∂f (x)
J(f )(x1 ,...,xn ) = ,...,
∂x1 ∂xn
L.B
32
Dénition
et la transposée de ce vecteur est la matrice colonne
t
∂f (x) ∂f (x)
grad(f )(x1 ,...,xn ) = ,...,
∂x1 ∂xn
grad est appelé gradient de f et il est noté ∇f (x) (qui se lit nabla f de x ).
L.B
33
Dénition
Soit f : U ⊂ Rn → R. Si f est deux fois diérentiable sur l'ouvert U alors pour
tout x ∈ E , pour tous i, j ∈ {1, . . . , n}
∂2f ∂ ∂f
(x) = (x)
∂xi ∂xj ∂xi ∂xj
Alors la matrice
∂2f ∂2f
 
∂x12
(x) ··· ∂x1 ∂xn (x)
Hess f (x) = 
 .. .. 
 . . 

∂2f ∂2f
∂xn ∂x1 (x) ··· ∂xn2 (x)
est appelée matrice hessienne de f en x .
Remarque
la matrice hessienne est symétrique.
L.B
Formule de Taylor-Young
Soient U un ouvert de Rn , f : U → R, f ∈ C r (U, R). Soit a ∈ U et h ∈ Rn avec
a+h ∈U .
Alors f admet un développement de Taylor-Young en tout point a ∈ U ,on a
r
X 1 k
f (a + h) = f (a) + D f (a) · hk + o(∥h∥r )
k!
k=1
En particulier
1. Si r = 1,
f (a + h) = f (a) + Df (a)(h) + o(∥h∥)
= f (a) + ⟨∇f (a), (h)⟩ + o(∥h∥)
2. Si r = 2, on a
f (a + h) = f (a) + Df (a)(h) + 12 D 2 f (a)(h, h) + o(∥h∥2 )
= f (a) + ⟨∇f (a), (h)⟩ + 12 ⟨Hf (a)(h), (h)⟩ + o(∥h∥2 )
L.B
35
Formule de Taylor−Lagrange
Soient U un ouvert de Rn , f : U → R une application p + 1 fois diérentiable,
a ∈ U et h ∈ Rn tels que le segment [a, a + h] ⊂ U . Alors il existe θ ∈] 0, 1[ tel
que :
1 k 1
p
D p+1 f (a + θh)hp+1
X
f (a + h) = f (a) + D f (a) · hk +
k! (p + 1)!
k=1
En particulier
1. Si p = 0, on a
f (a + h) = f (a) + Df (a + θh) · h
= f (a)+ < ∇f (a + θh), h >
2. Si p = 1, on a
f (a + h) = f (a) + Df (a) · h + 21 D 2 f (a + θh) · h2
= f (a)+ < ∇f (a), h > + 12 < ∇2 f (a + θh)h, h >
L.B
36
Formule de Taylor avec reste intégral

Soient U un ouvert de Rn , f : U → R de classe C p+1 , a ∈ U et h ∈ Rn tels que le
segment [a, a + h] ⊂ U . Alors on
1 k 1 1
p Z
(1 − t)p D p+1 f (a + th) · hp+1 dt
X
k
f (a + h) = f (a) + D f (a) · h +
k! p! 0
k=1
En particulier
1. Si p = 0, on a R
1
f (a + h) = f (a) + 0 Df (a + th) · h dt
R1
= f (a) + 0 < ∇f (a + th), h > dt
2. Si p = 1, on a
f (a + h) = f (a) + Df (a) · h + 01 (1 − t)D 2 f (a + th) · h2 dt
R
R1
= f (a)+ < ∇f (a), h > + 0 (1 − t) < ∇2 f (a + th)h, h > dt
L.B
37
Remarque
La formule la plus utilisée est la formule de Taylor-Young à l'ordre 2 pour la
recherche d'extrema.
L.B
38
Existence et unicité de minimum : Cas de dimension nie
Existence et unicité de minimum : Cas général
caractérisation du minimum
Chapitre 2:
Etude théorique des problèmes d'optimisation (PO):
Existence et Unicité des solutions de (PO)
Loubna BOUDJAJ
Pr. Loubna BOUDJAJ
ENSA OUJDA
L.B 7 Mars 2022

Sommaire
1 Existence et unicité de minimum : Cas de dimension nie

Existence de minimum
Unicité de minimum
Ensembles et fonctions convexes
Caractérisation des fonctions convexes avec ∇ et Hess = ∇2
2 Existence et unicité de minimum : Cas général

Fonction α−elliptique
Dénition
Caractérisation des fonctions α−elliptique avec ∇et la Hess
Existence et Unicité de minimum
3 caractérisation du minimum
Équation d'Euler
Inéquation d'Euler
Le théorème de Kuhn Tucker exprimé par le Lagrangien
Existence et unicité de minimum : Cas de dimension nie
Existence et unicité de minimum : Cas général
Tout au long de ce chapitre, on considère le problème d'optimisation (PO)

min f (x)
(PO) (1)
x ∈ U.
avec f : U ⊆ V −→ R est continue et V un espace de Hilbert.
L.B
3
Existence et unicité de minimum : Cas de dimension nie Existence de minimum
Existence et unicité de minimum : Cas général Unicité de minimum

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
4
Dans cette section, on se place dans V = Rn

La plupart des théorèmes d'existence de minimum sont des variantes du théorème
suivant
Théorème
une fonction continue sur un compact admet un minimum.
Théorème
Soit f une fonction continue sur un sous ensemble U fermé de Rn . On suppose
que
ou bien U est borné,
ou bien U est non borné et lim∥x∥→+∞ f (x) = +∞ (on dit alors que f est
coercive),
alors f posséde un minimum sur U .
Démonstration.
au séance de cours
L.B

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
6
On dit qu'un ensemble U ⊂ Rn est convexe si, et seulement si pour tous

(x1 , x2 ) ∈ U 2 et t ∈ [0, 1], tx1 + (1 − t)x2 ∈ U
Soit U , un convexe inclus dans Rn . La fonction f : U −→ R est dite convexe
si, et seulement si
∀ (x1 , x2 ) ∈ U 2 , ∀t ∈ [0, 1], f (tx1 + (1 − t)x2 ) ⩽ tf (x1 ) + (1 − t)f (x2 )
On dit que f est strictement convexe si l'inégalité ci-dessus est stricte pour
x ̸= y , t ∈]0, 1[
On dit que f est concave (respectivement strictement concave) si −f est
convexe (respectivement strictement convexe).
L.B
7
Théorème
Si f : Rn −→ R est diérentiable, on a les équivalences entre
1 f est convexe sur Rn ;
2 f (y ) ⩾ f (x) + ⟨∇f (x), y − x⟩, ∀(x, y ) ∈ [Rn ]2
3 ⟨∇f (y ) − ∇f (x), y − x⟩ ⩾ 0, ∀(x, y ) ∈ [Rn ]2
On a équivalence entre convexité stricte et les inégalités (2) et (3)
précédentes rendues strictes, pour x ̸= y .
Si f : Rn −→ R est deux fois diérentiable, on a les équivalences entre
1 f est convexe ;
2 pour tout x ∈ Rn , Hess f (x) est semi-dénie positive.
L.B
8
Théorème
Soit le problème (PO) avec f convexe et U convexe (éventuellement de dimension
innie). Alors,
-Tout minimum local est un minimum global.
-Si f est strictement convexe, il y a au plus un minimum.
Exemple
-Dans R les ensembles convexes sont les intervalles.
- Une droite reliant deux éléments de Rn est un ensemble convexe.
-Les sous-espaces vectoriels de Rn sont convexes.
-la fonction f (x) = x 2 est strictement convexe sur R.
L.B
Exercice d'application
Convexité d'une fonction quadratique
f : Rn −→ R
1
x 7−→ f (x) = ⟨Ax, x⟩ − ⟨b, x⟩ + c,
2
avec A une matrice réelle symétrique, b un vecteur de Rn et c une constante
donnée.
On peut montrer que pour tout x ∈ Rn , ∇f (x) = Ax − b et Hess f (x) = A. En

particulier, on déduit immédiatement de ce calcul et du théorème que f est
convexe si, et seulement si A est semi-dénie positive, et strictement convexe si,
et seulement si A est dénie positive.
L.B
Existence et unicité de minimum : Cas de dimension nie Fonction α−elliptique
Existence et unicité de minimum : Cas général Existence et Unicité de minimum

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
11
en général, on se place dans un espace de Hilbert V muni d'un produit scalaire

≺ ·, · ≻
Dénition
Soit U ⊂ V , un convexe. Une fonction f : U −→ R est dite α−elliptique s'il existe
α > 0 tel que, pour tous (x, y ) ∈ U 2 , t ∈ [0, 1],
α
f (tx + (1 − t)y ) ⩽ tf (x) + (1 − t)f (y ) − t(1 − t)∥x − y ∥2
2
Remarque
la convexité correspond au cas α = 0
il est clair qu'une fonction α−elliptique est strictement convexe, et donc
convexe.
L.B
12
Corollaire
Si f : U −→ R est diérentiable, on a les équivalences
1 f est α-elliptique ;
2 f (y ) ⩾ f (x) + ⟨∇f (x), y − x⟩ + α2 ∥y − x∥2 , ∀(x, y ) ∈ U 2
3 ⟨∇f (y ) − ∇f (x), y − x⟩ ⩾ α∥y − x∥2 , ∀(x, y ) ∈ U 2 .
Si f : U −→ R est deux fois diérentiable, on a les équivalences
1 f est α-elliptique ;
2 ⟨ Hess f (x)h, h⟩ ⩾ α∥h∥2 , ∀x ∈ U, ∀h ∈ U .
Remarque
f est α -elliptique alors elle est strictement convexe et coercive
Démonstration.
au séance de cours
L.B

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
14
Théorème
Soit U , un convexe fermé non vide d'un espace de Hilbert V et f , une fonction
α-elliptique continue sur U . Alors, il existe un unique minimum x ∗ de f sur U et
on a :
∗ 2 4 ∗
∥x − x∥ ⩽ [f (x) − f (x )] , ∀x ∈ U
α
En particulier, toute suite minimisante de f sur l'ensemble U converge vers x ∗ .
L.B
15
Exemple
une fonction α-elliptique
f : V −→ R
1
x 7−→ f (x) =
⟨Ax, x⟩ − ⟨b, x⟩ + c,
2
avec A une matrice réelle symétrique, b un vecteur de V et c une constante
donnée. On a déjà prouvé dans l'exemple précedent que f est strictement convexe
sur V si, et seulement si A est dénie positive, et que de plus Hess f (x) = A pour
tout x ∈ V . Étant donné que A est symétrique réelle, on peut la diagonaliser dans
une base orthonormée réelle de vecteurs propres notée {ei }1≤i≤n . Le spectre de A
rangé par ordre croissant est :
λ1 ≤ · · · ≤ λn
L.B
16
Exemple
A suivre...
On peut alors écrire que A = PDP −1 , avec P inversible. P est la matrice telle que
P = [e1 · · · en ], où les vecteurs e1 , · · · , en , sont écrits en colonne, et
D = diag (λ1 , · · · , λn ) . Posons u = P −1 h. Alors,
n n
λi ui2 ≥ λ1 ui2 = λ1 | u 2 = λ1 h∥2 .
X X
⟨Ah, h⟩ =
i=1 i=1
On en déduit que f est λ1 -elliptique. On peut d'ailleurs montrer facilement que λ1

est la meilleure constante d'ellipticité de f en remarquant que l'inégalité ci-dessus
est une égalité lorsque h est un vecteur propre associé à λ1 .
L.B
Existence et unicité de minimum : Cas de dimension nie Équation d'Euler
Existence et unicité de minimum : Cas général Inéquation d'Euler
caractérisation du minimum Le théorème de Kuhn Tucker exprimé par le Lagrangien

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
18
Soit f : V → R avec V espace de Hilbert

Théorème
Si u est minimum local de f dans V , alors
Si f est diérentiable, ∇f (u) = 0,(Équation d'Euler)
Si f est deux fois diérentiable, on a de plus ∀w ∈ V , ≺ ∇2 f (u)w .w ≻⩾ 0.
Théorème
Soit f une fonction diérentiable dans V et u un point de V tel que ∇f (u) = 0.
Si f est deux fois diérentiable dans un voisinage de u et s 'il existe un
voisinage Ω de u tel que ∀v ∈ Ω, ∀w ∈ V , ≺ ∇2 f (v )w .w ≻⩾ 0, alors u est
minimum local de f .
Si f est deux fois diérentiable,et s'il existe α > 0 tel que
∀w ∈ V , ≺ ∇2 f (u)w .w ≻⩾ α∥w ∥2 ,
alors u est minimum local strict pour f .

L.B

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
20
On suppose que U est un convexe fermé non vide de V et que f est diérentiable.
Théorème
Si u est solution optimale on a l'inéquation d'Euler

u∈U
∀v ∈ U, ≺ ∇f (u) · (v − u) ≻⩾ 0.
Réciproquement si on a l'inéquation d'Euler en u et si de plus f est convexe, alors

u est solution optimale.
Cas U = V
Théorème
Si f est convexe diérentiable, alors u réalise le minimum de f sur V si et
seulement si ∇f (u) = 0.
Remarque
En particulier si f est α-elliptique, il existe une unique solution optimale,
caractérisée par ∇f (u) = 0.
L.B

Unicité de minimum

Dénition
Équation d'Euler
Inéquation d'Euler
L.B
22
On considère le problème
(P) : minx∈K f (x) où K = {x ∈ Rn | g1 (x) ≤ 0, . . . , gl (x) ≤ 0}.
On suppose que les applications f , g1 , . . . , gl sont convexes et de classe C 1 .
Le lagrangien est une application L de Rn × Rl dans R dénie par
l
X
L(x, λ) = f (x) + λT g (x) = f (x) + λi gi (x)
i=1
Le théorème de Kuhn & Tucker s'écrit alors

Théorème
Si un point x ∗ est unminimum du problème P et si K est qualiée en x ∗ , alors il
(λ∗ ) g (x ∗ ) = 0 condition d'exclusion
T
existe λ∗ ∈ Rl+ avec i) o u̇
ii ) ∇x L (x ∗ , λ∗ ) = 0 condition nécessaire
l
X
T
∇x L (x ∗ , λ∗ ) = ∇f (x ∗ ) + (Jg (x ∗ )) λ∗ = ∇f (x ∗ ) + λ∗i ∇gi (x ∗ )
i=1
L.B
23
Théorème
Théorème de dualité
On suppose que la contrainte est qualiée et que le problème (P) admet au moins
une solution. Alors
min f (x) = sup inf n L(x, λ)
x∈K λ∈R1+ x∈R
De plus, le problème supλ∈Rl+ inf x∈Rn L(x, λ) a au moins une solution λ∗ et le

problème inf x∈Rn L (x, λ∗ ) a une solution x ∗ qui est solution du problème (P).
L.B
24
Optimisation sans contraintes (sans restrictions)
Optimisation avec contraintes (sous restrictions)
Chapitre 3: Optimisation sans ou avec contraintes:
Techniques et Quelques Méthodes Numériques
Initiation aux logiciels :Lindo, Lingo
Loubna BOUDJAJ
ENSA OUJDA
L.B 28 Mars 2022

1
Sommaire
1 Optimisation sans contraintes (sans restrictions)

Méthode de relaxation
Méthode de gradient
Méthode du gradient conjugué
Méthode de Newton
2 Optimisation avec contraintes (sous restrictions)

Problème avec contraintes d'égalité
Problème avec contraintes : cas général
Méthode de gradient projeté
Optimisation sans contraintes (sans restrictions) Méthode de gradient
Optimisation avec contraintes (sous restrictions) Méthode du gradient conjugué
Méthode de Newton
On considère le problème de minimisation f (x̄) = minx∈U f (x) où f : U −→ R est

une fonction numérique dénie sur un ensemble ouvert U ⊂ Rn On cherche à
produire une suite ayant les propriétés suivantes :
f (xk+1 ) ≤ f (xk )
xk → x̄ où x̄ est un point minimisant (local ou global).
Les méthodes sont regroupées en deux familles :
Les méthodes de descentes
x 0 ∈ Rn

xk+1 = xk + ρk dk
où dk est la direction de descente et ρk > 0.

Les méthodes de type Newton. On résout le système non linéaire
∇f (x) = 0
L.B
3
Méthode de Newton

Méthode de Newton

L.B
Méthode de Newton
On se place en dimension nie, i.e.(U = Rn ) muni d'un repère orthonormée

{e1 , . . ., en }
Principe :
parcourir successivement tous les axes de l'espace et sur chaque axe on fait une
minimisation.
L'idée est de décomposer un problème de minimisation à N dimensions en N
problèmes à 1 dimension :
Choisir un axe dans {e 1, . . ., en },
1
Minimiser la fonction de long de cet axe (méthode au choix) F (xi )

2
Si la méthode n'a pas convergé, passer à l'axe suivant

3
Si tous les axes ont été testés et que la méthode n'a pas convergé,
4
recommencer à e1 .
L.B
5
Méthode de Newton
Algorithme :
1 Initialisation k = 0 :
choix de X0 dans Rn et calcul de g0 = ∇f (x0 ).
2 Itération k
pour i = 1 à n
calcul de la solution xik+1 de
min f x1k+1 , x2k+1 , . . . , xi−
k+1
1 , x, xi+1 , . . . , xn , x ∈ R. end for

k k
Critère d'arrêt : Si ∥xk+1 − xk ∥ < ε

3
alors
STOP
Sinon
on pose k = k + 1, et on retourne à (2) n si
Exemple,illustration graphique :Séance de cours
Théorème
Si f est α-convexe C 1 sur Rn , l'algorithme de relaxation est bien déni et converge
vers la solution optimale.
L.B
Méthode de Newton

Méthode de Newton

L.B
Méthode de Newton
Principe :
On veut construire un point critique de manière Itérative
xk → x̄ ∇f (x̄) = 0
- pour xk ∈ U , direction de descente dk = −∇f (xk ) :

pour t susamment petit, f (xk + tdk ) ⩽ f (xk )
Remarque
f (xk+1 ) = f (xk − ρk ∇f (xk ))
1

= f (xk ) − ρk (∇f (xk ) , ∇f (xk )) + ρ2k (H∇f (xk ) , ∇f (xk ))
2
2
≃ f (xk ) − ρk ∥∇f (xk )∥ ≤ f (xk )
L.B
Méthode de Newton
Algorithme :
Initialisation :
1
k = 0 : choix de x0 et de ρ0 > 0
Itération k :
2
xk+1 = xk − ρk ∇f (xk ) ;
Critère d'arrêt :
3
Si ∥xk+1 − xk ∥ < ε thn

STOP
Sinon
on pose k = k + 1 et on retourne à étape 2 . n si
Exercice,code et interface graphique :Séance de TD
L.B
9
Méthode de Newton
Remarque
Si ρk = ρ, l'algorithme est dit à pas constant (méthode de gradient à pas
xe).
Si ρk = minρ f (xk − ρ∇f (xk )) (c'est pas facile en général) On peut parler de
la méthode de gradient à pas optimale
Remarque
Critère d'arrêt :
Etant donné que ∇f (xk ) → ∇f (x̄) = 0, on pose
∥∇f (xk )∥ < ϵ1 .
On a xk → x̄ , on peut aussi prendre
∥xk+1 − xk ∥ < ϵ2
on a f (xk ) → f (x̄), on peut prendre

L.B
∥f (xk+1 ) − f (xk )∥ < ϵ3
Méthode de Newton

Méthode de Newton

L.B
Méthode de Newton
On s'intéresse ici au cas quadratique

Le principe :
On va utiliser La méthode du gradient conjugué pour la minimisation de
1
f (x) = x t Ax − b t x
2
avec A symétrique dénie positive.
On se donne une fonction f : Rn → R à minimiser et un point initial x0 ∈ Rn .
On initialise d0 = 0. On met à jour la direction de descente par
dk+1 = −∇f (xk ) + βk+1 dk ,
où
⟨∇f (xk ) − ∇f (xk−1 ) , ∇f (xk )⟩
βk+1 = 2 .
∥∇f (xk−1 )∥
et xk+1 = xk − ρk+1 dk+1 .
on cherche le meilleur pas de descente ρk+1 pour la direction de descente dk+1 en
appliquant une règle de la recherche linéaire inexacte
Remarque
x ∗ est solution de problème min f (x) sur Rn est équivalent à x ∗ = A−1 b
L.B
Méthode de Newton
Algorithme :
1 Initialisation - k = 0 :
choix de x0 ∈ Rn et calcul de r0 = Ax0 − b.(le résidu)
2 Itération k
Si rk = 0 alors
STOP
Sinon
r0 si k = 0
dk = avec αk = − (Ad (rk ,Adk−1 )
.
rk + αk dk−1 si k ⩾ 1 k−1 ,dk−1 )
(rk ,dk )
ρk = (Ad k ,dk )
xk+1 = xk − ρk dk ,
rk+1 = Axk+1 − b.
Fin si
3 k =k +1
L.B
13
Méthode de Newton

Méthode de Newton

L.B
Méthode de Newton
Principe :
La méthode de Newton en optimisation est une application directe de l'algorithme
de Newton pour la résolution d'équations du type : F (x) = 0.
On cherche les solutions de l'équation :
∇f (x) = 0,
c'est à dire les points critiques de la fonction f à minimiser. En supposant f de

classe C 2 et la matrice hessienne H[f ] (xk ) inversible, une itération de l'algorithme
de Newton s'écrit :
−1
xk+1 = xk − H[f ] (xk ) ∇f (xk ) ,
où dk = −H[f ] (xk )−1 ∇f (xk ) est appelée direction de Newton.
Remarque
A condition que la matrice H[f ] (xk ) soit dénie positive à chaque itération, la
méthode de Newton est bien une méthode de descente à pas xe égal à 1.
L.B
Méthode de Newton
Algorithme :
1 Initialisation k = 0 :
choix de x0 dans un voisinage de x̄ .
2 Itération k :
−1
xk+1 = xk − [H (xk )] ∇f (xk )
Critère d'arrêt :
3
Si ∥xk+1 − xk ∥ < ε
Alors
STOP
Sinon
L.B
16

Méthode de Newton

L.B
un problème d'optimisation avec contraintes d'égalité peut être s'écrit sous la

forme
min f (x)
x∈Rn
P|
s.c. gk (x) = 0, ∀k ∈ {1, 2, . . . , ℓ}
Les points qui vérient les contraintes gk (x) = 0 pour tout k ∈ 1, 2, ...,sont dits
admissibles
si les contraintes d'égalités gk (x) = 0 peuvent être résolues par rapport à
1
variablesx1 , x2 , ..., x , ces relations peuvent être substituées dans l'expression

de f .
Sinon on a l'énoncé suivant :
2
L.B
18
Si les fonctions f , g1 , g2 , . . . , gℓ dénissant le problème d'optimisation avec

contraintes d'égalité P sont diérentiables dans un voisinage de la solution x⋆ de
P et si si les gradients des contraintes sont linéairement indépendants en x ⋆ , alors
il existe Λ⋆ = (λ1⋆ , λ2⋆ , . . . , λℓ⋆ ) ∈ Rℓ tel que (x ⋆ , Λ⋆ ) est un point stationnaire
du Lagrangien
ℓ
L(x, Λ) = f (x) − λk gk (x)
X
k=1
Remarque
-(x ⋆ , Λ⋆ ) est un point stationnaire de L si DL (x ⋆ , Λ⋆ ) = 0
- les (λ1 , λ2 , . . . , λℓ ) ∈ Rℓ sont appelées les multiplicateurs de lagrange
L.B
19
on pose : S = {x ∈ Rn : g (x) = 0}.

Tx S = {v ∈ Rn : ∀i = 1, . . . , l, ⟨x, Dgi (x)⟩ = 0} .
Proposition
Soient f , g1 , g2 , . . . , gℓ deux fois continûment dérivables au voisinage de x ⋆ telles
que le Lagrangien L(x, Λ) est stationnaire en (x ⋆ , Λ⋆ ).
Si HL(x ⋆ ,Λ⋆ ) est dénie positive sur Tx S i.e. si ∆xT HLx,⋆ ∆x > 0 ∀∆x ̸= 0
tel que ∆x ∈ Tx S alors f admet un minimum sous contrainte en x ⋆ .
Si HL(x ⋆ ,Λ⋆ ) est dénie négative sur Tx S , i.e. si ∆xT HLx,⋆ ∆x < 0 ∀∆x ̸= 0
tel que ∆x ∈ Tx S alors f admet un maximum sous contrainte en x ⋆
Si HL(x ⋆ ,Λ⋆ ) est indénie sur Tx S , i.e. si ∃∆x1 , ∆x2 ̸= 0 tels que
∆x1 , ∆x2 ∈ Tx S et
∆x T
1 HLx,⋆ ∆x1 < 0, ∆x T
2 HLx,⋆ ∆x2 > 0
alors f n'admet ni minimum ni maximum sous contrainte en x ⋆ .
L.B
20
Exemple :
fonction f (x, y ) = xy sous la contrainte x 2 + y 2 = 1.(g (x, y ) =
Optimiser la
x +y −1
2 2
Domaines de dénitions : Df = R2 et Dg = R2
1
Lagrangien : L(x, y , λ) = xy − λ x 2 + y 2 − 1

2
∂L
=0  y − 2λx = 0  λ = +/ − 12
  
 ∂x (x, y , λ)
∂L
=0 ⇔ x − 2λy = 0 ⇔
∂y (x, y , λ) y = 2λx
x + y2 = 1 x = y 2 = 12
 2  2
x + y2 = 1
 2
Finalement les quatrepoints stationnaires sur D sont :

− (x1 , y1 ) = √12 , √12 associé au multiplicateur λ1 = 12 .

− (x2 , y2 ) = − √12 , − √12 associé au multiplicateur λ2 = 21 .

− (x3 , y3 ) = √12 , − √12 associé au multiplicateur λ3 = − 21 .

− (x4 , y4 ) = − √12 , √12 associé au multiplicateur λ4 = − 21 .
L.B
21
f possède parmi ces points stationnaires an moins un point de minimum global

sur D et un point de maximum global.
II sut d'évaluer f en ces points stationnaires :
1 1
f (x1 , y1 ) = f (x2 , y2 ) = , f (x3 , y3 ) = f (x4 , y4 ) = −
2 2
f possède donc deux point de maximums globaux sur D : (x1 , y1 ) et (x2 , y2 ) et
deux point de minimums globaux sur D : (x3 , y3 ) et (x3 , y3 )
L.B
22

Méthode de Newton

L.B
un problème d'optimisation avec contraintes En général peut être s'écrit sous la

forme
min f (x)
x∈Rn
(P) | s.c. gi (x) ≤ 0, ∀i ∈ {1, 2, . . . , ℓ}
hp (x) = 0 ∀j ∈ {1, 2, . . . , p}
le domaine admissible K est déni par une ou plusieurs contraintes :
K = {x ∈ Rn : g1 (x) ≤ 0, g2 (x) ≤ 0, . . . , gℓ (x) ≤ 0eth1 (x) = 0, h2 (x) = 0, . . . , hp (x)
où gi (i = 1, 2, . . . , ℓ) et hj (j = 1, 2, . . . , p) désignent des fonctions réelles. On
suppose que les fonctions f , gi (i = 1, 2, . . . , ℓ) et hj (j = 1, 2, . . . , p) sont
continûment dérivables.
L.B
24
Théorème
(F. John)
Soit x ∗ , un minimum local du problème (P). Alors, il existe (λ1 , · · · , λp ) ∈ Rp et
1
(µ0 , µ1 , · · · , µq ) ∈ Rq+
+ tels que
p q
µj ∇gJ (x ∗ ) = 0,
X X
µ0 ∇f (x ∗ ) + λl ∇hl (x ∗ ) +
l=1 j=1
et
h (x ∗ ) = 0 et g (x ∗ ) ⩽ 0,
µj gj (x ∗ ) = 0, ∀j ∈ {1, · · · , q} (condition de complémentarité).
L.B
Dénitions
Contrainte active, qualication des contraintes
Soit x ∈ K .
L'ensemble I (x) = {i ∈ {1, · · · , l}, gi (x) = 0} est appelé ensemble des
contraintes actives en x .
On dit que les contraintes sont qualiées en x ∈ K si, et seulement si il existe
une direction d ∈ Rn telle que I'on ait pour tout i ∈ {1, · · · , p} et j ∈ I (x),
⟨∇hi (x), d⟩ = 0 et ⟨∇gj (x), d⟩ < 0,
et si les vecteurs ∇h1 (x), · · · , ∇hp (x) sont linéairement indépendants.
L.B
26
Théorème
(Karush-Kuhn-Tucker) Soit x ∗ , un minimum local du problème (P).
On suppose que les contraintes sont qualiees en x . Alors, il existe
(λ1 , · · · , λp ) ∈ Rp et (µ1 , · · · , µq ) ∈ Rq+ tels que
p q
µj ∇gj (x ∗ ) = 0
X X
∇f (x ∗ ) + λl ∇hl (x ∗ ) +
l=1 j=1
et
h (x ∗ ) = 0 et g (x ∗ ) ⩽ 0,
µj gj (x ∗ ) = 0, ∀j ∈ {1, · · · , q} (condition de complémentarité).
L.B
27
Exemple
Minimiser
min f (x, y ) = x 4 + 3y 4

x2 + y2 ⩾ 1
existence : Pour tous (x, y ) ∈ R2 ,

f (x, y ) ⩾ 2x 2 + 6y 2 − 4 ⩾ 2(x, y )∥2 − 4 −→ +∞.
∥(x,y )∥→+∞
l'ensemble des contraintes K = (x, y ) ∈ R2 , g (x, y ) ⩽ 0 ,avec

g (x, y ) = 1 − x 2 − y 2 est fermé, alors la solution du problème existe.

Soit (x, y ) un minimiseur , d'après Le théorème de Kuhn-Tucker il existe µ ⩾ 0 tel
que ∇f (x, y ) + µ∇g (x, y ) = 0,on obtient :
 4x 3− 2µx = 0
3



12y − 2µy = 0
 x +2 y ⩾2 1
2 2

µ x +y −1 =0

- Si µ = 0. Alors, les deux premières équations du système donne x = y = 0. Mais

c'est impossible car (0, 0) ∈/ K donc µ > 0 nécessairement .
L.B
- Des deux premières équations, on tire que les minimiseurs sont à choisir parmi
r r r r
µ µ µ µ
(x1 , y1 ) = 0, ± , (x2 , y2 ) = ± , 0 et (x3 , y3 ) = ± ,±
6 2 2 6
- Pour (x1 , y1 ). Puisque x 2 + y 2 = 1, on obtient µ = 6 dans ce cas, et
(x1 , y1 ) = (0, ±1) et f (x1 , y1 ) = 3.

(x2 , y2 ) = (±1, 0) et f (x2 , y2 ) = 1
3
√
3 1 3
!
(x3 , y3 ) = ± ,± et f (x3 , y3 ) =
2 2 4
On en deduit que
3
min f (x) = f (x3 , y3 ) =
L.B
x∈K 4
29
Exemple
Minimiser
2 2
 min f (x, y ) =f(x)=(x1 + 1) + (x2 + 2)

g (x) = −x1 + x2 ≤ 0,
2
 1
g2 (x) = −x2 ≤ 0
L.B

Méthode de Newton

L.B
(P) minx∈Rn f (x)

s.t. : x ∈ X .
Principe
cette méthode s'inspire des méthodes de gradient. Elle consiste à suivre la
direction de plus profonde descente, comme dans le cas sans contrainte :
xk+1 = xk − sk ∇f (xk )
où sk > 0 est choisi de sorte que : f (xk + sk dk ) < f (xk ).

Toutefois, si xk ∈ X , rien ne garantit que xk+1 appartienne également à X . Dès
que l'on obtient un point non admissible, on projette celui-ci sur l'ensemble de
contraintes X .
Théorème
Projection sur un convexe. Soit X un convexe fermé, non vide de Rn . La projection
d'un point x ∈ Rn sur X , notée pX (x), est obtenue comme solution du problème
d'optimisation suivant : Minimiser 12 ∥x − y ∥22 sous la contrainte : y ∈ X
L.B
algorithme
1 Initialisation :
choisir x0 ∈ X et un pas λ > 0
2 Itérations k :
Calculer la direction de descente dk = −∇f (xk )
xek+1 = xk + λdk
3 projeter xek+1
xk+1 = ΠX (e xk+1 )
test de convergence :
4
Si ∥xk+∥x10−x
∥
k∥
⩽ ε ou |f (xk+f1(x)−f
0)
(xk )|
⩽ε
Alors
STOP
Sinon
Exercice, interface graphique :Séance de TD
L.B
33
Références
Michél Bruyneel, Jean-Charles Craveur et Pierre Gourmelen. OPTIMISATION

DES STRUCTURES MECANIQUES Méthodes numériques et éléments nis.
max cerf(https ://www.ljll.math.upmc.fr/ cerf/) classication Techniques
d'optimisation-2018.
P.G Ciarlet. Introduction à l'analyse numérique matricielle et à l'optimisation.
Chaperon M. Calcul diérentiel et calcul intégral 3e année.Dunod, Year : 2008
. ALLAIRE, Analyse numérique et optimisation, éditions de l'école
Polytechnique, 2005.
. ALLAIRE, S.M. KABER, Numerical Linear Algebra, Texts in
AppliedMathematics, Vol. 55, Springer, 2008.
. BERGOUNIOUX, Optimisation et contrôle des systèmes linéaires, Dunod,
2001.

Techniquesd'Optimisation Cours

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Techniquesd'Optimisation Cours

Transféré par

Droits d'auteur :

Formats disponibles

Ecole Nationale des Siences Appliquées

Université Mohammed Premier

Pr. Loubna Boudjaj

Chapitre 1: Généralités et Rappels Mathématiques

2 Notions et Rappels Mathématiques

2 Notions et Rappels Mathématiques

En mathématiques, l'optimisation est une science cherchant à modéliser, à

A l'optimisation on s'intéresse à répondre aux questions suivantes :

2 Notions et Rappels Mathématiques

On considère le problème d'optimisation donné par

2 Notions et Rappels Mathématiques

Optimisation fonctionnelle / paramétrique [2]

Inconnues = entier ou réels → Optimisation en dimension nie

Inconnues = réels → Programmation linéaire

2 Notions et Rappels Mathématiques

Un (PO) problème d'optimisation consiste à maximiser ou minimiser une fonction

Polygône des contraintes avec des sommets

La solution sera au sommet de polygône :

2 Notions et Rappels Mathématiques

Il arrive parfois qu'on note ce produit scalaire simplement ⟨., .⟩

2 Notions et Rappels Mathématiques

il existe un voisinage Va de a tel que ∀x ∈ Va , f (a) ≤ f (x)

2 Notions et Rappels Mathématiques

d(g ◦ f )(x) = g ′ (f (x))df (x)

Soit B = {e1 , ..., en } une base de Rn et U un ouvert de Rn .

Autrement dit, si x = (x1 , . . . , xn ) pour une fonction vectorielle f (x1 , . . . , xn )

jacobienne est juste une matrice ligne :

est appelée matrice hessienne de f en x .

Formule de Taylor avec reste intégral

Etude théorique des problèmes d'optimisation (PO):

Existence et Unicité des solutions de (PO)

L.B 7 Mars 2022

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

Tout au long de ce chapitre, on considère le problème d'optimisation (PO)

avec f : U ⊆ V −→ R est continue et V un espace de Hilbert.

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

Dans cette section, on se place dans V = Rn

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

On dit qu'un ensemble U ⊂ Rn est convexe si, et seulement si pour tous

On peut montrer que pour tout x ∈ Rn , ∇f (x) = Ax − b et Hess f (x) = A. En

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

en général, on se place dans un espace de Hilbert V muni d'un produit scalaire

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

On en déduit que f est λ1 -elliptique. On peut d'ailleurs montrer facilement que λ1

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

Soit f : V → R avec V espace de Hilbert

alors u est minimum local strict pour f .

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

Réciproquement si on a l'inéquation d'Euler en u et si de plus f est convexe, alors

1 Existence et unicité de minimum : Cas de dimension nie

2 Existence et unicité de minimum : Cas général

Le théorème de Kuhn & Tucker s'écrit alors

De plus, le problème supλ∈Rl+ inf x∈Rn L(x, λ) a au moins une solution λ∗ et le

Chapitre 3: Optimisation sans ou avec contraintes:

Techniques et Quelques Méthodes Numériques

Initiation aux logiciels :Lindo, Lingo

Inconnues = entier ou réels → Optimisation en dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

1 Existence et unicité de minimum : Cas de dimension nie

On se place en dimension nie, i.e.(U = Rn ) muni d'un repère orthonormée

Si ∥xk+1 − xk ∥ < ε thn

Si les fonctions f , g1 , g2 , . . . , gℓ dénissant le problème d'optimisation avec

Finalement les quatrepoints stationnaires sur D sont :