Optimisation non linéaire

Programme:

Introduction

1. Analyse convexe.
2. Optimisation unidimensionnelle.
3. Optimisation sans contraintes.
4. Optimisation avec contraintes.
5. Cas particuliers et approximation.

Introduction:

On considère le problème d’optimisation non linéaire suivant:

Min 𝑓 (𝑥 ) Function-objective
𝑠. 𝑐
( )
(PNL) 𝑔𝑖 𝑥 ≤ 0 𝑝𝑜𝑢𝑟 𝑖 = 1,2, … , 𝑚 Constraints d’inégalité
ℎ𝑗 (𝑥 ) = 0 𝑝𝑜𝑢𝑟 𝑗 = 1,2, … , 𝑝 Constraints d’égalité
{ 𝑥∈𝐾 K: domaine des solutions réalisables

K est donné par : K={𝑥 ∈ 𝐼𝑅𝑛 /𝑔𝑖 (𝑥) ≤ 0, 𝑖 = 1,2, … , 𝑚; ℎ𝑗 (𝑥 ) = 0, 𝑗 = 1,2, … , 𝑝}.

f est définie de IRn dans IR, g : IRn IRm, h : IRn IRm .

Les fonctions vectorielles g et h sont définies par les fonctions :

g1 , g2 , … ,gm ; h1 , h2 , … , hp par : g(x)=( g1(x) , g2(x) , … ,gm(x)) et

h(x)= (h1(x) , h2(x) , … , hp(x))

gi : IRn IR pour i=1,2, …, m et hj : IRn IR pour j=1,2, … ,p.

Il s’agit de trouver x* K, tel que : f(x*) ≤ f(x) , x K.

x* est appelée solution optimale du problème (PNL) et f(x*) est la valeur optimale (minimum) du
problème (PNL).

Si K=IRn , on dit que (PNL) est un problème d’optimisation sans contrainte.

Si K IRn, on dit que (PNL) est un problème d’optimisation avec contraintes.

Puisque K IRn et dim(IRn) est finie, on dit que (PNL) est un problème d’optimisation en
dimension finie.

1
Exercice 1 : 2 r=2

min 𝑍 = (𝑥 − 4)2 + (𝑦 − 2)2

𝑠. 𝑐
(PNL) 𝑥2 − 𝑦 − 3 ≤ 0 ; K 2 4 x
𝑦≤1
{ 𝑥≥0

La notion de courbes de niveau qui constitue le lieu géométrique des points admettant une valeur
commune de l’objectif.

Un résultat fondamental est que le gradient de la fonction f différentiable au point x IRn,

c.-à-d, le vecteur colonne de ses dérivées premières,
𝜕𝑓 𝜕𝑓 𝜕𝑓
f(x)T = (𝜕𝑥 (𝑥 ), 𝜕𝑥 (𝑥 ), … , 𝜕𝑥 (𝑥)), est orthogonal à la courbe de niveau passant par le point x,
1 2 𝑛

d’équation C ={𝑦 ∈ 𝐼𝑅𝑛 /𝑓(𝑦) = 𝑓(𝑥) = 𝛼 }.

x2
x
f(x)

x1

Courbes de niveau.

La direction du gradient est la direction de plus grande pente (ascendante). Une direction d est
une direction de montée au point x si le produit scalaire f(x)Td est positif, et une direction de
descente si f(x)Td est négatif.

f(x)Td est la dérivée directionnelle de la fonction f différentiable dans la direction d au point x.

La géométrie d’un programme non linéaire est beaucoup plus complexe que celle d’un
programme linéaire.

En particulier :

la solution n’est pas forcément extrémale ; celle-ci peut se situer à l’intérieur du domaine
réalisable (x* K ), c.-à-d là où aucune contrainte n’est satisfaite à égalité.
Il peut exister des optimums locaux. max
En conséquence, voici les questions qu’on se posera lorsqu’on local
veut résoudre un problème d’optimisation:
Ce problème possède t-il une solution ?
1ercas: si ce problème possède une solution, on cherchera à la min min
caractériser (par exemple, set-elle unique ?) et la déterminer local global
lorsque ce sera possible. On exploitera pour cela les conditions nécessaires d’optimalité (de
premier et second ordres).
2èmecas : lorsqu’on ne sait pas déterminer explicitement les solutions du problème d’optimisation,
minimum.

2
Exercice 2 :
Résoudre le probleme linéaire suivant :
𝑚𝑖𝑛 𝑍 = −𝑥1 − 2𝑥2
𝑠. 𝑐
(PL) −𝑥1 + 𝑥2 ≤ 2 ;
𝑥1 + 𝑥2 ≤ 4
{ 𝑥1 ≥ 0, 𝑥2 ≥ 0
Approche graphique :
-x1+x2 = 2 (D1) (contrainte 1)
x1+x2 = 4 (D2) (contrainte 2) x2 (D1)

−1
𝑛⃗ = Z = ( ) vecteur normal a la courbe de niveau
−2
de Z= 4
2
𝑣 =( ) vecteur directeur de Z 3 X*
−1
2 Z*=-7
1 K
(D2)
1 4 x1
𝑣 Z=0
Z Courbe de niveau =0

Présentation en tableau :
𝑚𝑖𝑛 𝑍 = −𝑥1 − 2𝑥2
𝑠. 𝑐
Standardisation : −𝑥 1 + 𝑥 2 + 𝑥3 = 2 ; x3 et x4 sont les variables d’écart.
𝑥1 + 𝑥2 + 𝑥4 = 4
{𝑥1 ≥ 0, 𝑥2 ≥ 0𝑥3 ≥ 0, 𝑥4 ≥ 0
Min {𝑐𝑗 − 𝑧𝑗 }=-2
VDB/VHB x1 x2 x3 x4 b RT L1=Lp x2 variable entrante dans la base
x3 -1 1 1 0 2 2 X3 est la variable sortante
x4 1 1 0 1 4 4 x1=0, x2=0 ,correspond au sommet (0,0).
Cj-zj -1 -2 0 0 0 Le tableau n’est pas optimal
Itération 1 :
VDB/VHB x1 x2 x3 x4 b RT Min {𝑐𝑗 − 𝑧𝑗 }=-3
x2 -1 1 1 0 2 -2 L2=Lp x1variable entrante dans la base
x4 2 0 -1 1 2 1 x4 variable sortante
Cj-zj -3 0 2 0 4
x1=0, x2=2, correspond au sommet (0,2)
Iteration 2 : Le tableau n’est pas optimal
VDB/VHB x1 x2 x3 x4 b Le tableau est optimal
x2 0 1 1/2 1/2 3 𝑥∗ 1
X*= ( 1∗ ) = ( ) solution optimale, correspond au
x1 1 0 -1/2 1/2 1 𝑥2 3
Cj-zj 0 0 1/2 3/2 7 sommet (1,3)
Z*=Z(X*)=-7 la valeur optimale.

3
Exercice 3 : Représenter ce problème graphiquement. On utilise les ellipses.

(Approche géométrique). 6 (2,6) Z*

min 𝑍 = −3𝑥 − 5𝑦
𝑠. 𝑐 2
𝑥≤4 6√
; 5 K
2 2
9𝑥 + 5𝑦 ≤ 216
{ 𝑥 ≥ 0, 𝑦 ≥ 0

2 4
La fonction-objectif est linéaire et le domaine des solutions réalisables K est convexe. C’est un
modèle de problème d’optimisation convexe. La solution optimale est sur la frontière de K
(x* K), mais ce n’est pas un sommet (intersection de 2 contraintes).

Exercice 4 : Résoudre le problème suivant : 6 (8/3,5)

min 𝑍 = 9𝑥 2 − 126𝑥 + 13𝑦 2 − 182𝑦
𝑠. 𝑐
3
𝑥≤4
; K
2𝑦 ≤ 12
3𝑥 + 2𝑦 ≤ 18
{ 𝑥 ≥ 0, 𝑦 ≥ 0
2 4

Exercice 5: Résoudre le problème suivant:

min 𝑍 = 9𝑥 2 − 54𝑥 + 13𝑦 2 − 78𝑦 6
𝑠. 𝑐
𝑥≤4 3
; K (3,3)
2𝑦 ≤ 12
3𝑥 + 2𝑦 ≤ 18
{ 𝑥 ≥ 0, 𝑦 ≥ 0
2 4
C’est un problème d’optimisation convexe. La solution optimale est (3,3)(x* K) à l’intérieur K.

Exercice 6 :
7
min 𝑍 = −3𝑥 − 5𝑦
Z*=-35
𝑠. 𝑐
𝑥≤4
; 3 K Z=-27
2𝑦 ≤ 14
8𝑥 − 𝑥 2 + 14𝑦 − 𝑦 2 ≤ 49
{ 𝑥 ≥ 0, 𝑦 ≥ 0

Un modèle de problème d’optimisation non convexe. 4

On est en présence de 2 minimums locaux : les minimums locaux sont (4,3) et (0,7), mais x*=(0,7)
est le minimum global. Les conditions d’optimalité permettent d’identifier un minimum local mais
pas nécessairement un optimum global.
Remarque : Dans un problème convexe, alors tout optimum local est un optimum global.

4
Devoir (révisions), à rendre le 10 Jan.2021 : dans la boite aux lettres de la Fac de Math.

1) Donner la définition d’un espace vectoriel normé (E,II.II).

Donner la définition d’une boule ouverte B o(x0,r) et d’une boule fermée Bf(x0,r).

On prend E=IR2. Dessiner B0((0,0),1) et Bf((0,0),1)(boules unités) pour les normes II.II 1 et II.II2.

Dessiner B0((0,0),1) , Bf((0,0),1) et Fr(B0((0,0),1) (sphère).

2) Formes quadratiques

Forme matricielle : donner la définition du signe d’une matrice associée à une forme
quadratique.

Définition d’une matrice D.P (définie positive), D.N (définie négative), s-D.P (semi-définie
positive), s-D.N (semi-définie négative).

3) Différentiabilité.

Calcul des dérivées partielles d’ordre 1 et d’ordre 2 : exemple dans IR3,

f(x,y,z )= (x-y2)2 - (y-z2)2 - (x-z2)2.

Définition du gradient.

Définition de la matrice Hessienne.

Définition de la dérivée directionnelle.

4) Ecrire les Algorithmes de la méthode de dichotomie, de la méthode de Newton.

Ecrire l’algorithme de Gram-Schmidt pour déduire une base orthogonale.

Indications :

Soit A une matrice symétrique D.P, u et v deux vecteurs de IRn,

Définir deux vecteurs u et v A-conjugués.

La procédure de Gram-Schmidt :

Considérons un ensemble de vecteurs linéairement indépendants, v 1 ,v2 ,…, vm , il est construit

récursivement les vecteurs d1 ,d2 ,…,dm tels que d1 ,d2 ,…,dm sont A-conjugués et
d1 ,d2 ,…,di = v1 ,v2 ,…,vi , i = 1,2,…,m. Il vient alors la série d’étapes suivante :
Posons d’abord : d1 = v1
Supposons (H.R) que l’on ait déjà construit d1 ,d2 ,…,di-1 tels que d1 ,d2 ,…,di-1 sont
A-conjugués et d1 ,d2 ,…,di-1 = v1 ,v2 ,…,vi-1 ,
Alors, on obtient : di = vi + ∑𝑖−1
𝑘=1 𝑐𝑖𝑘 𝑑𝑘
Soit pour 1≤ j ≤i-1 : 𝑑𝑗𝑇 A di = 0. Calculer cij
finalement, calculer di .
5