Vous êtes sur la page 1sur 80

Présentation du cours

Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Optimisation Numérique
(Notes provisoires destinées exclusivement aux étudiants de l’UNH)

3 crédits (45 heures)

Jean TSHIMANGA Ilunga

Université Nouveaux Horizons, Lubumbashi, RDC

3 juillet 2020

1 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

2 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

3 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Enseignement, Langue, Pré-requis

La langue principale utilisée dans le cours est le francais bien que certains
documents proposés à la lecture des apprenants soient en anglais.

L’apprentissage de ce cours exige une bonne maîtrise de l’algèbre linéaire


classique.

4 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Objectifs et contours

5 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Compétences attendues

6 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Prérequis

Calcul Numérique
Analyse
Algèbre Linéaire Numérique

7 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Travaux pratiques

8 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Quelques livres

Jorge Nocedal & Steve Wright, (2000), Numerical Optimization, Springer Verlag

Michel Bierlaire, (2006), Introduction à l’optimisation différentielle, Presses


Polytechniques et Universitaires Romandes

9 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Quelques Journaux

SIAM Journal on Optimization, SIAM


Journal of Optimization in Industrial Engineering,
Optimization and Engineering, Springer.
Engineering Optimization, Taylor & Francis

10 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

11 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Définition

Définition
On appelle problème d’optimisation, un problème noté

P : min f (x).
x∈C

La fonction
f (x) : C → R : x → f (x)

est appelée fonction objectif, et C, l’ensemble des contraintes.

Nous nous limitons dans ce cours au cas où C ⊆ Rn

12 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.1
Différence entre dimension finie et dimension infinie sur un exemple

Soient
Le problème
P1 : min f (x) = xT x,
x∈Cn ⊂Rn
 
1
où Cn = x ∈ Rn , x1 = et kxk ≤ 1
2
et le problème Z 1
P2 : min f (x(t)) = x(t)2 dt,
x(t)∈C∞ 0
 Z 1 
1
où C∞ = x(t) : x(t) est continue et x(0) = et x(t)2 dt ≤ 1
2 0

Etudiez l’ensemble des solutions de ces deux problèmes.

13 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.2

Un fabricant de composants électroniques possède deux types de fabriques : A et B, notées Ai ,


1 ≤ i ≤ m et Bj , 1 ≤ j ≤ n. Lors de la fabrication, chacun de ces composants doit tout d’abord
passer par une des usines de type A puis par une de type B. Comme ces usines ne se trouvent pas dans
le même lieu géographique, le fabricant doit étudier le meilleur moyen pour transporter ces composants
à moindre coût des usines Ai vers les usines Bj .

Connaissant la matrice des coûts C = [cij ] où cij correspond au coût de transport d’une pièce de
l’usine Ai vers l’usine Bj , ainsi que le nombre de pièces ai produites par l’usine Ai et le nombre de
pièces bj que l’usine Bj doit recevoir, formuler le plan de transport optimal (en terme de coût de
transport) sous la forme d’un problème d’optimisation. Données m = 2, n = 3, capacités des usines
[a1, a2] = [10, 20], [b1, b2, b3] = [5, 10, 15] et

 
2 8 7
C =
3 4 5

14 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Solution exercice 1.2. : Formulation mathématique du


problème

1 Soient les variables de décisions suivantes : xij nombre de pièces allant de l’usine Ai vers l’usine
Bj avec 1 ≤ i ≤ 2 et 1 ≤ j ≤ 3.

2 Le problème de minimisation s’écrit

mininiser z = 2x11 + 8x12 + 7x13 + 3x21 + 4x22 + 5x23

3 Les contraintes sont

x11 + x12 + x13 = 10




x21 + x22 + x23 = 20




x11 + x21 = 5

 x12 + x22
 = 10
 x13 + x23 = 15



x11 , x12 , x13 , x21 , x22 , x23 ≥ 0

15 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.3

Soient deux milieux physiques M1 = {(x, y), y > 0} et M2 = {(x, y), y < 0} et c1 et
c2 les vitesses de propagation de la lumière dans M1 et M2 respectivement. On
considère que le rayon se propage en ligne droite dans chaque milieu et que le rayon
suit un trajet de temps global de parcours minimum (principe de Fermat).

Formuler le problème de la recherche du trajet entre A(0, a) et B(c, −b) sous la forme
d’un problème d’optimisation, avec a, b, c > 0. En utilisant une étude de fonction,
montrez que le principe de Fermat se traduit par la loi de Snell

sin α1 sin α2
=
c1 c2

16 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Solution exercice 1.3
Soit sur l’axe des abscisses, x égal à la distance de l’origine au point de passage de la
lumière du milieu M 1 au milieu M 2. Le temps de trajet de la lumière du point A au
point B s’écrit :
√ p
a2 + x2 (c − x)2 + b2 )
t(x) = +
c1 c2

La dérivée du temps en fonction de x :

dt 2x 2(x − c)
= √ + p
dx 2c1 a2 + x2 2c2 (c − x)2 + b2

A l’optimum, on a dt/dx = 0, ce qui donne

sin α1 sin α2
=
c1 c2

Les quantités α1 et α2 sont ici les angles de la trajectoire de la lumière avec la


verticale en A et en B, respectivement.
Rappel

√ u0
( u)0 = √
2 u
Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.4

Un problème d’optimisation linéaire à contraintes linéaires à deux variables

Une entreprise fabrique des tables et des chaises à partir de deux matières : le bois et
la peinture. La réalisation d’une table nécessite 3 m3 de bois et 4 kg de peinture. La
réalisation d’une chaise nécessite 2 m3 de bois et 1 kg de peinture. L’entreprise ne
peut s’approvisionner que de 10 m3 de bois et 12 kg de peinture par semaine. La
vente fournit un bénéfice de 50 $ par table et 30 $ par chaise.

On demande de déterminer les quantités de chaises et de tables à produire en sorte de


maximiser le bénéfice par semaine.

Sari Triqui Lama

18 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Solution exemple 1.4. Formulation mathématique


Soient x1 (chaises) et x2 (tables) deux variables réelles soumises aux contraintes
ci-après.

Contraintes

2x1 + 3x2 ≤ 10 quantité disponible de bois


1x1 + 4x2 ≤ 12 quantité disponible de peinture
x1 ≥ 0 non négativité du nombre de chaises
x2 ≥ 0 non négativité du nombre de tables

On demande de maximiser la fonction (bénéfice)

Fonction économique

maximiser (z = 30x1 + 50x2 ) bénéfice

La contrainte de non négativité n’est pas donnée dans l’énoncé.

19 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exemple 1.5.

Quelles sont les valeurs du rayon et de la hauteur d’un cylindre de volume V


donné (imposé) qui conduisent à une surface totale minimale (surface latérale
avec deux bases) ?
Refaire le même exercice en considérant une seule base, on parle alors d’une
casserole.

20 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exemple 1.5.
a) Le rayon et la hauteur sont les variables. Le volume constitue la contrainte. La
surface totale est la fonction à optimiser.

V (r, h) = πr2 h, S(r, h) = 2 × πr2 + 2πrh = 2 × πr2 + 2V /r

dS
= 4 × πr − 2V /r2 = 0
dr

r
3 V
r =

r
3 4V
h = 2r =
π

d2 S
= 4 × π + 4V /r3 > 0 → concavité tournée vers le haut : minimum
dr2

21 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte Introduction
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exemple 1.5.

b) Le rayon et la hauteur sont les variables. Le volume constitue la contrainte. La


surface totale est la fonction à optimiser.

V (r, h) = πr2 h, S(r, h) = 1 × πr2 + 2πrh = πr2 + 2V /r

dS
= 2 × πr − 2V /r2 = 0
dr

r
3 V
r =
π
h = r

d2 S
= 2 × π + 4V /r3 > 0 → concavité tournée vers le haut : minimum
dr2

22 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

23 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Convexité. Ensembles convexes et fonctions convexes


Définition : Ensemble convexe
Une partie C ⊂ Rn est dite convexe si et seulement si pour tout (x, y) ∈ C 2 , et pour
tout α ∈ [0, 1],

αx + (1 − α)y ∈ C combinaison convexe.

Définition : Fonction convexe


Une fonction f définie sur une partie C convexe est une fonction convexe dans C ssi
(x, y) ∈ C 2 , et pour tout α ∈ [0, 1] on a

f (αx + (1 − α)y) ≤ αf (x) + (1 − α)f (y)

et si
f (αx + (1 − α)y) < αf (x) + (1 − α)f (y)
on dit que la fonction est strictement convexe dans C

24 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.6

Si C est convexe et si f est strictement convexe sur C, alors f admet au plus un


minimum sur C.

25 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonction dérivable. Vecteur Gradient.

Définition
Une fonction multivariée
f (x) : Rn → R : x → f (x)

définie sur un ouvert O ∈ Rn est dite dérivable (au sens de Fréchet) en x ssi il existe
un vecteur noté ∇f (x) ∈ Rn tel que

f (x + h) = f (x) + ∇f (x)T h + o(khk),

où l’on a posé que le reste o(khk) = khk(h) ∈ R, avec

(h) : Rn → R, lim (h) = 0.


khk→0

Le vecteur ∇f (x) est unique et s’appelle gradient de f (x) en x.


Remarque : limkhk→0 o(khk)/khk = 0.

26 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

A propos de la notation o(khk)

La notation de Landau o(khk) traduit le comportement d’une fonction de h qui est


tend vers 0 d’un ordre de grandeur plus vite que khk.

Elle est infiniment plus petit que h dans le voisinage de 0.

En dimension finie on peut se débarraser de la norme pour écrire alors simplement


o(h).

27 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.7
On considère la fonction quadratique définie sur Rn par

1 T
f (x) = x Ax − xT b + c,
2

où A est carrée et symétrique. Montrez (en utilisant la définition de la dérivée de


Fréchet et sans passer par les dérivés partielles) que le gradient de f (x) s’écrit

∇f (x) = Ax − b

.
Déduire du résulat précédent que le gradient du problème de moindres carrés
linéaire
1
kAx − bk22 est AT Ax − AT b
2
Attention, ici A ∈ Rm×n est rectangulaire.

28 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.7
A = AT est symétrique
1
f (x + h) = (x + h)T A(x + h) − (x + h)T b + c,
2
1 T 1 1 1
= x Ax + xT Ah + hT Ax + hT Ah−xT b − hT b + c
2 2 2 2
1 1 1
= f (x) + xT Ah + hT Ax + hT Ah − hT b
2 2 2
T T 1 T
= f (x) + x Ah − b h + h Ah
2
1
= f (x) + (x A − b )h + hT Ah
T T
2
T 1 T
= f (x) + (Ax − b) h + h Ah
| {z } 2
gradient

1 T 1
lim h Ah/khk = lim hT A(h/khk) = 0
h→0 2 h→0 2

29 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.7
Rappel (CD)T = DT C T

1 1
kAx − bk22 = (Ax − b)T (Ax − b)
2 2
1h T T i
= x A Ax − xT AT b − bT Ax + bT b
2
1h T T i
= x A Ax − 2xT AT b + bT b
2
1 T T 1
= x A Ax − xT AT b + bT b
2 2
1 T
= x Âx − xT b̂ + c
2

avec  = AT A et b̂ = AT b ainsi, par analogie avec le résultat précédent,


 
1
∇ kAx − bk22 = Âx − b̂ = AT Ax − AT b
2

30 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient

Proposition
On peut montrer que si f est dérivable en x, alors
f est continue en x,
f admet des dérivées partielles en x et
 
∂f (x)
∂x1
..
 
∇f (x) =   ∈ Rn
 
 . 
∂f (x)
∂xn

31 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30.ter

Soient x = [x1 , x2 , x3 , x4 , x5 , x6 ]T et

2
f (x) = x1 + x2 e−(x3 −t) /x4
+ x5 cos (x6 t).

Dire si cette fonction est quadratique. Calculer le gradient de f (x).

Soient x = [x1 , x2 , x3 ]T et

f (x) = e2x1 + x21 x3 − 3x2 x3 .

Dire si cette fonction est quadratique. Calculer le gradient de f (x).

32 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30.ter. Indications

Forme quadratique
Avec A = AT
 
1 T 1 T a11 x1 + a12 x2
x Ax − bT x + c = x − x1 b 1 − x2 b 2 + c
2 2 a x
21 1 + a x
22 2
1
= (x1 (a11 x1 + a12 x2 ) + x2 (a21 x1 + a22 x2 )) − x1 b1 − x2 b2 + c
2
1 1
= a11 x21 + a12 x1 x2 + a22 x22 − x1 b1 − x2 b2 + c
2 2

(aeu )0 = au0 eu

33 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonctions deux fois dérivable. Matrice Hessienne

Définition
∂f (x)
Une fonction f (x) est dite deux fois dérivable si chaque dérivée partielle ∂x1
est
dérivable.

34 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonctions deux fois dérivable. Matrice Hessienne

Définition
Supposons que f : Rn → R définie sur un ouvert O ∈ Rn . La fonction f (x) est dite 2
fois continûment dérivable (au sens de Fréchet) si en tout x ∈ O on a

1 T 2
f (x + h) = f (x) + ∇f (x)T h + h ∇ f (x)h + o(khk2 ),
2

où on a posé que le reste o(khk2 ) = khk2 (h) ∈ R avec limkhk→0 (h) = 0

La matrice carrée symétrique ∇2 f (x) appelée Hessien de f (x) en x.

Remarque : limkhk→0 o(khk2 )/khk2 = 0.

35 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.11

On considère la fonction quadratique définie sur Rn par

1 T
f (x) = x Ax − xT b + c,
2

où A est carrée et symétrique montrez (en utilisant la définition) que

∇2 f (x) = A.

Refaire l’exercice en en utilisant la formule des dérivés premières.

36 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.10

Proposition
On peut montrer que
∂ 2 f (x)
 
∇2 f (x) =
∂xi ∂xj

37 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Matrice Hessienne

Théorème de Schwarz
Supposons que f : Rn → R définie sur un ouvert O ∈ Rn . Alors

∂ 2 f (x) ∂ 2 f (x)
=
∂xi ∂xj ∂xj ∂xi

La matrice Hessienne est symétrique (mais pas nécessairement définie positive).

38 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30.ter

Soient x = [x1 , x2 , x3 , x4 , x5 , x6 ]T et

2
f (x) = x1 + x2 e−(x3 −t) /x4
+ x5 cos (x6 t).

Calculer le Hessien de f (x).

Soient x = [x1 , x2 , x3 ]T et

f (x) = e2x1 + x21 x3 − 3x2 x3 .

Calculer le Hessien de f (x).

39 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Matrice Jacobienne

Définition
Soit f (x) : Rn → Rm définie sur un ouvert O ⊂ Rn . On dit que f (x) est dérivable
(au sens de Fréchet) en x, si chacune des composantes fi (x) est dérivable (au sens de
Fréchet) en x. On a alors

f (x + h) = f (x) + Df (x)h + o(khk) avec


 
∂f1 (x) ∂f1 (x)
∂x1
··· ∂xn

∇f1 (x)T

.. .. ..
 
Df (x) = 
 .. =
 
∈R
 m×n
,
 . . .  .
∂fm (x) ∂fm (x) ∇fm (x) T
∂x1
··· ∂xn

et o(khk) = khk(h) ∈ Rm avec limkhk→0 (h) = 0.

La matrice rectangulaire Df (x) est appelée Jacobienne de f (x) en x.

40 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30
Fonctionnelle des moindres carrés non linéaires.
Soit f (x) : Rn → Rm définie sur un ouvert O ⊂ Rn , deux fois différentiable. On
définit la fonction J(x) : Rn → R des moindres carrés non linéaires par

1
J(x) = kf (x)k22 .
2

Montrez que le gradient de J(x) en x est

∇J(x) = Df (x)T f (x)

et que la matrice Hessienne de F en x est

m
X
∇2 J(x) = Df (x)T Df (x) + fk (x)∇2 fk (x),
k=1

où Df (x) est la Jacobienne de f (x).

41 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30.bis

Utiliser les résultats précédents en ramplacant f (x) par Ax − b pour retrouver le


gradient AT Ax − AT b et la Hessienne AT A de J(x) = 21 kAx − bk22 .

42 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 7.30.ter
On dispose d’un modèle théorique

2
y(t; x) = x1 + x2 e−(x3 −t) /x4
+ x5 cos (x6 t)

On fournit les données ti , yi , i = 1, . . . , m


Les paramètres étant xj , j = 1, . . . , 6.
Calculer ∇J(x) et ∇2 J(x) si

fi (x) = yi − y(ti ; x)

1
J(x) = kf (x)k22
2
et
f (x) = [f1 (x), f2 (x), . . . , fm (x)]T

43 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Dérivée directionnelle

Soit f (x) : Rn → R, définie sur un ouvert O ⊂ Rn , dérivable en tout x ∈ O. Soit un


vecteur d ∈ Rn . On définit localement en x la fonction de la variable réelle α par
φ : R → R : α → φ(α) = f (x + αd). Montrez que φ est dérivable en O et que

n
X ∂f (x + αd)
φ0 (α) = ∇f (x + αd)T d = di
i=1
∂xi

d’où, pour α = 0, on a

n
X ∂f (x)
φ0 (0) = ∇f (x)T d = di
i=1
∂xi

Remarquez que φ(α) est une fonction univariée alors que f (x) est multivariée.

44 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Courbure d’une fonction

∂f (x) 0
On suppose que chaque composante ∂x de f (x) est dérivable en x. Montrez que
i
φ est deux fois dérivable en 0 et montrez que

n X n n X n
00 X ∂ 2 f (x + αd) 00 X ∂ 2 f (x)
φ (α) = di dj φ (0) = di dj
i=1 j=1
∂xi ∂xj i=1 j=1
∂xi ∂xj

et que par suite

∂ 2 f (x+αd) ∂ 2 f (x+αd)
 
∂x2
··· ∂x1 ∂xn
 1 
00 .. ..
φ (t) = dT Hd ..
 
avec H= .

 . . 
∂ 2 f (x+αd) ∂ 2 f (x+αd)
 
∂xn ∂x1
··· ∂x2n

45 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte convexité
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Courbure d’une fonction

Définition
Soit f (x) : Rn → R, une deux fois dérivables sur un ouvert O ∈ Rn . Soinet x, d ∈ Rn .
La quantité
dT ∇2 f (x)d
dT d
est la courbure de la fonction f en x dans la direction d.

46 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

47 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Conditions liées au minimum local

Définition
Soit f (x) : Rn → R, une fonction définie sur un ouvert O ∈ Rn . Un point x∗ ∈ O
pour lequel il existe  > 0 tel que

f (x∗ ) ≤ f (x) pour tout x tel que kx∗ − xk < 

est un minimiseur local de f

48 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercices 1.15, 1.17, 1.18

Théorème (Condition nécessaire du premier ordre).


Si f est différentiable en x∗ et si x∗ est un minimum local f alors

∇f (x∗ ) = 0.

Théorème (Condition nécessaire du second ordre).


Si x∗ est un minimum local de f et si f est deux fois diffŕentiable en x∗ , alors
∇f (x∗ ) = 0 et ∇2 f (x∗ ) est symétrique semi-définie positive.

Théorème (Conditions suffisantes du second ordre).


Si f est deux fois différentiable en x∗ et si ∇f (x∗ ) = 0 et ∇2 f (x∗ ) est définie
positive, alors x∗ est un minimum local de f .

49 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice 1.19

On considère la fonction quadratique définie sur Rn par

1 T
f (x) = x Ax − xT b,
2

où A est carrée et symétrique. Montrez que si A est en plus définie positive,


alors A−1 b est l’unique minimum de f .

Appliquez ce résultat aux moindres carrés linéaires

1
min kAx − bk22 ,
x∈Rn 2

avec rang (A) = n.

50 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Remarques

«Note that the second-order sufficient conditions guarantee something stronger than
the necessary conditions discussed earlier ; namely, that the minimizer is a strict local
minimizer. Note too that the second-order sufficient conditions are not necessary : A
point x may be a strict local minimizer, and yet may fail to satisfy the sufficient
conditions. A simple example is given by the function f (x) = x4 , for which the point
x∗ is a strict local minimizer at which theHessian matrix vanishes (and is therefore not
positive definite). When the objective function is convex, local and global minimizers
are simple to characterize.»
J. Nocedal & S. Wright

51 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercices

Calculer le gradient ∇f (x) et la Hessienne ∇2 f (x) de la fonction

f (x) = 100(x2 − x21 )2 + (1 − x1 )2

Montrer que x∗ = (1, 1)T est le seul minimiseur de f (x).

52 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Méthode de la plus forte pente (1)


Il s’agit de l’algorithme le plus simple lorsqu’on de dispose que du calcul de la fonction
et du gradient.

Modèle linéaire
m(αp) = f (xk ) + α∇f (xk )T p ≈ f (x + αk p)

Le méthode utilise l’opposé du gradient comme direction de descente

Choose x0
for k = 0, 1, . . .
Compute ∇f (xk ) ;
pk = −∇f (xk ) and choose αk > 0 ;
xk+1 = xk + αk pk ;
end (for)
1
Les choix rudimentaires (et pas les plus efficaces) de αk sont 1 et kpk k

53 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Méthode de la plus forte pente (2)

Caractéristiques

Facile à mettre en oeuvre


Ne demande que des informations du premier ordre
Peut être très inefficace en termes de convergence sur des problèmes difficiles

54 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice (simplissime)

Calculer quelques iterations de la methode de la plus forte pente sur

f (x) = −exp(−x2 )

pour x0 = 0.1, x0 = 1/2 et x0 = 1

55 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient conjugué. Fct quadratiques spd. (1)

La solution de :
1 T
min x Ax − xT b
x∈Rn 2
où A est symétrique définie positive est équivalente à la solution à

Ax = b.

Méthodes selon la taille de A

Petite taille → Cholesky (directe)

Grande taille ou non accessibilité à A → Gradient conjugué (itérative)

56 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient conjugué. Fct quadratiques spd. (2)

Soit une fonction quadratique definie positive

1 T
f (x) = x Ax − xT b,
2

un point x̄ et une direction p.

Montrer que le minimiseur de la fonction univariée

φ(α) = f (x̄ + αp)

de variable α est
(Ax̄ − b)T p
α∗ = −
pT Ap

57 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient conjugué. Fct quadratiques spd. (3)

Définition
Un ensemble de vecteurs non nuls {p0 , p1 , . . . , pk} est conjugué par rapport à une
matrice symétrique définie positive A si

pT
i Apj = 0, ∀ i 6= j

Théorème
Un ensemble de vecteurs conjugués par rapport à une matrice symétrique définie
positive A est linéairement indépendant.

58 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient conjugué. Fct quadratiques spd. (4)


Théorème
Pour tout point de départ x0 , la suite {xk } générée par

xk+1 = xk + αk pk , k = 0, 1 . . .

où l’ensemble {p0 , p1 , . . . , pn−1 } est conjugué par rapport à A et αk est calculé


comme minimiseur de φ(xk + αpk ), c-à-d

(Axk − b)T pk
αk = −
pT
k Apk

converge vers la solution x∗ de l’équation

Ax = b

en, tout au plus, n pas.

59 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Gradient conjugué. Fct quadratiques spd. (4)

Théorème
Les vecteurs xk générés par xk+1 = xk + αk pk avec αk = −rkT pk /(pT k Apk ) à partir
d’un x0 quelconque en utilisant des directions A-conjuguées p0 , p1 , . . . , pn−1 sont tels
que
rkT pi = 0, pour i = k − 1, k − 2, . . . , 0
avec rk = Axk − b

60 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exo
Génération des directions conjuguées

On définit rk = Axk − b dans la suite. On part de

p0 = −r0

puis, pour k = 1, . . .
pk = −rk + βk pk−1 ,
avec
rkT Apk−1
βk = ,
pT
k−1 Apk−1

de sorte que pk et pk−1 soient A-conjugués.

Montrer que les directions p0 , p1 , . . . , pk sont conjuguées.

61 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exercice

Montrer que les scalaires αk et βk peuvent se calculer par

T
rkT rk rk+1 rk+1
αk = et βk+1 =
pT
k Apk rkT rk

62 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Algorithme
x0 donné ;
r0 = Ax0 − b, p0 = −r0 , k = 0;
while (rk 6= 0)

rkT rk
αk = ;
pT
k Apk
xk+1 = xk + α k p k ;
rk+1 = rk + αk Apk ;
T
rk+1 rk+1
βk+1 = ;
rkT rk
pk+1 = −rk+1 + βk+1 pk ;
k = k + 1;

end (while)

63 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Exo

Résoudre avec gradient conjugué

 1 1   
1 2 2 0
1 1
A= 2
1 2
, b=  2 
1 1 0
2 2
1

64 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Aspects algorithmiques

65 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Autres propriétés

Théorème
1 T
Un point x̃ est minimiseur de f (x) = 2
x Ax − xT b dans le sous-espace

x0 + span{p0 , p1 , . . . , pk−1 },

si et seulement si
(Ax̃ − b)T pi = 0, pour i = 0, . . . , k − 1

66 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonctions non linéaires. Méthode de Newton.

Il s’agit de l’algorithme le plus utilisé avec ses variantes.

1 T 2 def
f (xk + p) ≈ f (xk ) + ∇f (xk )T p + p ∇ f (xk )p = mk (p)
2

Ainsi
∇p mk (p) = ∇f (xk ) + ∇2 f (xk )p

et par suite par l’annulation du gradient on a pk solution de

∇2 f (xk )p = −∇f (xk )

67 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonctions non linéaires. Méthode de Newton.

Choose x0

for k = 0, 1, . . .

Compute ∇f (xk ) and ∇2 f (xk ),

if ∇2 f (xk ) is nonsingular ;

pk = −∇2 f (xk )−1 ∇f (xk ) ;

xk+1 = xk + pk ;

end (for)

68 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Méthodes quasi-Newton.

69 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Moindres carrés non linéaires. Méthode de Gauss-Newton.

70 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Fonctions non linéaires. CG non linéaire

Texte...
gdggdgd
fffd

71 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Moindres carrés non linéaires. Méthode de Gauss-Newton.

72 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Techniques de globalisation

Il existe deux grandes familles de stratégies de globalisation

Recherche linéaire

Régions de confiance

73 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Stratégies de recherche linéaire


Soit une fonction
f (x) : x → f (x) : Rn → R.
Les stratégies de recherche linéaire partent d’un point initial x0 ∈ Rn appélé itéré
initial et procèdent à chaque itération k par les deux étapes suivantes

Détermination d’une direction pk ∈ Rn , dite de direction recherche linéaire, à


partir de l’itéré courant xk ∈ Rn et de la fonction f (x)

Recherche linéaire dans la direction pk du pas d’itération αk pk ∈ Rn , avec


αk ∈ R, la longueur du pas, puis calcul du prochain itéré par

xk+1 = xk + αk pk ∈ Rn de sorte que f (xk+1 ) < f (xk ).

La procédure s’arrête selon un critère d’arrêt fixé.

74 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Stratégies de région de confiance

Soit une fonction


f (x) : x → f (x) : Rn → R.
Le développement de Taylor en un point xk dans la direction p s’écrit

1 T 2
f (xk + p) = f (xk ) + ∇f (xk )T p + p ∇ f (xk )p + o(p2 ),
2

Basée sur cette approximation, la méthode des régions de confiance, produit à


chacune de ses itérations k un modèle quadratique (différent)

1 T
mk (xk + p) = f (xk ) + ∇f (xk )T p + p Bk p,
2

approchant f (x) autour de xk . La matrice Bk est soit égale, soit une approximation
de ∇2 f (xk ).

75 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Stratégies de région de confiance

Soit ∆k ∈ R+ un rayon de confiance ou le modèle est estimé de bonne qualité, alors


la méthode résoud approx
min mk (xk + p)
kpk≤∆k

pour produire pk et faire la m-a-j

xk+1 = xk + pk .

La quantité ∆k+1 est ajustée selon l’adéquation du modèle à la fonction f (x) en xk


mesurée par :
f (xk ) − f (xk + pk )
ρk =
mk (0) − mk (pk )

76 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel Minimum local
Optimisation sans contrainte Algorithmes de base de minimisation sans contrainte
Optimisation avec contraintes de type égalité Techniques de globalisation
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Stratégies de région de confiance


Algorithme Région de Confiance
Given ∆ˆ > 0, ∆0 ∈ (0, ∆),
ˆ and η ∈ [0, 1 )
4
for k = 0, 1, . . .
Obtain pk by (approximately) solving minkpk≤∆k mk (xk + p) ;
Evaluate ρk ;
if ρk < 14
∆k+1 = 41 ∆k ;
else
if ρk > 34 and kpk k = ∆k
∆k+1 = min(2∆k , ∆)ˆ ;
else
∆k+1 = ∆k ;
if ρk > η
xk+1 = xk + pk ;
else
xk+1 = xk ;
end (for)

77 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

78 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

79 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique


Présentation du cours
Généralités
Eléments de calcul différentiel
Optimisation sans contrainte
Optimisation avec contraintes de type égalité
Optimisation avec contraintes de type inégalité
Optimisation sans derivées

Sommaire

1 Présentation du cours

2 Généralités

3 Eléments de calcul différentiel

4 Optimisation sans contrainte

5 Optimisation avec contraintes de type égalité

6 Optimisation avec contraintes de type inégalité

7 Optimisation sans derivées

80 / 80 Jean TSHIMANGA Ilunga Optimisation Numérique

Vous aimerez peut-être aussi