Introduction loptimisation

Stphane Canu
stephane.canu@litislab.eu
ASI 4 - Introduction loptimisation pour lingnieur

November 5, 2013

Plan

Introduction loptimisation pour lingnieur Histoire Quelques exemples

Variables, contraintes, objectifs Lexemple des moindres carrs

Formulation gnrale
Objectifs du cours

Auteur principal (INSA Rouen - ASI)

Intro

November 5, 2013

2 / 24

Naissance de Carthage

Le problme de la reine Didon.

matoumatheux.ac- rennes.fr/classe/ens/isoperimetre2.htm

Cest un problme isoprimtrique [Bonnans, 2006]. La solution est larc de cercle.

En mathmatique, un problme doptimisation (encore appel problme de programmation mathmatique) consiste trouver, parmi un ensemble donn, un lment (pour nous ici un vecteur de I Rp mais ce peut tre aussi un vecteur dentiers, une fonction...) minimisant ou maximisant une fonction donne de cet ensemble sur I R.

Optimisation et recherche oprationnelle

Programmation linaire, (George Dantzig, 1940).
contexte de la guerre (project SCOOP) programme par les forces armes amricaines pour tablir des horaires de formation et des choix logistiques Lemploi du terme programmation avait galement un intrt pour dbloquer des crdits pas la programmation informatique

europeanfinancialreview.com/?p=4948

Optimisation et wikipedia : les dirents sens

Optimisation et wikipedia : Une dnition

Exemples de problmes doptimisation

chaine logistique (suply chain) quilibrage dun rseau (lectricit, informatique. . . ) (load balancing)

planication des vols (emplois du temps) scheduling

calcul de trajectoire

Formalisation des problmes Classication des problmes

Optimisation discrte et sous contraintes

Quelques problme types : calcul dune trajectoire de rentre dans latmosphre dune navette dmnageur de Piano, sac dos, bibliothcaire, emploi du temps voyageur de commerce. . .

min x { 0,1}n2 avec et

xij dij
i =1 j =1

xij = 1
i

xij = 1
j

plus une contrainte liminant les sous tours...

Optimisation discrte et sous contraintes

Quelques problme types : calcul dune trajectoire de rentre dans latmosphre dune navette dmnageur de Piano, sac dos, bibliothcaire, emploi du temps voyageur de commerce. . .

min x { 0,1}n2 avec et

xij dij
i =1 j =1

xij = 1
i

xij = 1
j

plus une contrainte liminant les sous tours...

Variables, contraintes, objectifs

Dans tout problme doptimisation on se doit de dnir : les variables V I Rp xij {0, 1} toutes les relations entre les villes minimiser la distance globale une entre et une sortie par ville Google V = paramtres dun modle, C = les temps de rponse les informations priori, O = maximum du pages pertinentes

le ou les objectifs O : les contraintes C:

V I R(q) V I Rm

Composant lectronique V = la disposition des composants, C = la taille du composant, les couts, O = la consommation lectrique

optimiser un programme : V = le code..., C = toujours calculer le bon rsultat, O = rduire lutilisation de la mmoire, les temps de calculs, amliorer sa stabilit (robustesse) ...multi critre avec des critres contradictoires

Lexemple des moindres carrs

V =x O=1 2 Ax b pas de C

minp 1 xI R 2

Ax b

Gnralisation : min
x

J (ri )
i =1

ri = ai x bi

J1 (r ) = |r |; J2 (r ) = |r |2 ; J3 (r ) = 2 log(1
r2 ) 2

Le cas de la nance...
V = la rpartition des sommes investir, C = le montant disponible, O = gagner plus ! Cest le problme du portefeuille de Markowitz
p xI R

minp
i =1

1 ri xi + x x; 2

x 0,
i =1

xi = 1

r rendement de la part investie (moyenne), un coecient daversion au risque la matrice de variance covariance des actifs des direntes lignes maximiser le rendement : Or (x) = minimiser le risque :
1 2 x p i =1 ri xi

Le cas de la nance...
V = la rpartition des sommes investir, C = le montant disponible, O = gagner plus ! Cest le problme du portefeuille de Markowitz
p xI R

minp
i =1

1 ri xi + x x; 2

x 0,
i =1

xi = 1

r rendement de la part investie (moyenne), un coecient daversion au risque la matrice de variance covariance des actifs des direntes lignes maximiser le rendement : Or (x) = minimiser le risque :
1 2 x p i =1 ri xi

Les contraintes et le domaine de faisabilit

Les contraintes dnissent un domaine de faisabilit : exemple du portefeuille : x vrie les contraintes
p

x 0,
i =1

xi = 1

peut se rcrire x
p

avec

= xI R

x 0,
i =1

xi = 1

exemple : le simplex des probabilits :

p1 + p2 + p3 = 1,

0 pi

Plan

Introduction loptimisation pour lingnieur Histoire Quelques exemples

Variables, contraintes, objectifs Lexemple des moindres carrs

Formulation gnrale
Objectifs du cours

Auteur principal (INSA Rouen - ASI)

Intro

November 5, 2013

13 / 24

Formulation abstraite
Les points qui vrient les contraintes appartiennent au domaine de faisabilit Soit I Rp min J (x)
x

J:I R

On appelle domaine de J lensemble dom(J ) = {x | J (x ) < +} Un fonction J est dite impropre si son domaine est vide. Le problme est donc li la gestion des fonctions de plusieurs variables

Minimisation dune fonction continue

le problme :
x I R

min f (x )
f(x)

caractrisation mathmatique de la solution :

unicit ?

x = arg min f (x ) f (x ) = 0
x I R

calcul de la solution :
solution exacte analytique de f (x ) = 0 solution approche : construction dune suite xk qui converge
x

le problme multidimensionel : lexemple des moindres carres Trouver le polynme qui approche au mieux la fonction ci-dessus
x I Rp

min f (x ) =

1 2

Ax b

x f (x ) = 0

Rcriture des domaines

min J (x)
x

J:I R

= {x I Rp | Hi (x) 0; i = 1, m}

Forme standard
xI Rp

min J (x)

J:I Rp I R

avec H (x) 0 H : I Rp I Rm Rcritures galit vers ingalit G (x) = 0

G (x) 0 et G (x) 0.

galit vers ingalit : laide de variables dcart e I Rm : H (x) 0 H (x) + e = 0; avec e 0

Formulation pratique
min J (x) J:I Rp I R

xI Rp

avec et Reformulation min J (x)

x

G (x) = 0 G : I Rp I Rn p H (x) 0 H : I R I Rm max J (x)

x

Exemple (LP) : xmin I Rp avec et c x Ax = b 0x J G H

Solutions des Problmes doptimisation

xI R2 J:I R2 I R

solution (minimum) globale : x = arg min J (x)

x

minimum local : x = arg min J (x)

xV (x )

V (x) : un voisinage de x V (x) = {x I Rp | x xa < }

solution approche : xa V (x )

Problmes doptimisation convexes

xI Rp

min J (x)

J:I Rp I R

avec H (x) 0 H : I Rp I Rm Denition Problme doptimisation convexe [Boyd and Vandenberghe, 2004] J fonction convexe = {x|H (x) 0} ensemble convexe Problme convexe peut tre rsolu ecacement superbe thorie (trs pratique)
x = x (toute solution locale est aussi globale)

souvent le cas des problmes dingnierie ... parfois non reconnus !

Minimisation robuste et alatoire

xI Rp

min sup J (x, )

xI Rp

min IE J (x, ) I P( )

[m , M ] exemple : taux dination

exemple : rendement dune action r N ( , )

Classication daprs [Minoux, 1983]

entier vs. continue linaires vs. non linaires mono objectifs vs. multi objectifs convexes vs. non convexes
objectif J linaire linaire quadratique non linaire non linaire convexe non linaire multivoque contraintes G linaires linaires linaires convexe domaine I Rp I Np I Rp I Rp I Np I Rp I Rp I Rp nature du problme programmation linaire programmation linaire en nombre entiers programmation quadratique optimisation continue sans contraintes optimisation discrte sans contraintes optimisation convexe optimisation (programmation mathmatique) optimisation multicritres

Rsolution des problmes doptimisation

En gnral : modlisation rductrice trs dicile rsoudre ncessite des compromis entre prcision et ressources (temps de calcul)

Exceptions moindres carr (optimisation sans contrainte) programmation linaire problme convexes
solution unique (belles maths) dicile reconnaitre des astuces pour les transformer (rcrire) algorithmes ecaces

volutions algorithmiques

avant force brute = numration : O(p !) 1947 simplexe : numration cout dcroissant : O(p !) 1984 point intrieur : approximation : O(p 3 ) 2009 mthodes de gradient : approximation : O(p )
p xI R

min p

J (x) =
p i =1

ci xi j = 1, m

Le cas de la programmation linaire :

avec
i =1

aij xi = bj ; 0 xi ;

et

i = 1, m

trs petits problmes p < 10 petits problmes p < 100 problmes moyens p < 10 000 grands problmes

Big Data

Objectifs du cours
Modlisation reconnaitre et (re)formuler les problmes
classer les problmes doptimisation (LP, QP . . . ) [Nocedal and Wright, 2006]

Thorie caractrisation de la solution

convexit conditions doptimalit calcul de gradients

conditions de convergence Mthodes prsenter quelques algorithmes de base

gradient programmation linaire programmation quadratique

Mise en uvre savoir aborder leur rsolution laide de matlab (pour les problmes de taille moyenne)

Bonnans, F. (2006). Optimisation continue. Dunod. Boyd, S. P. and Vandenberghe, L. (2004). Convex optimization. Cambridge university press. Minoux, M. (1983). Programmation mathmatique: thorie et algorithmes, volume 1. Dunod Paris. Nocedal, J. and Wright, S. J. (2006). Numerical Optimization. Springer, New York, 2nd edition.

Auteur principal (INSA Rouen - ASI)

Intro

November 5, 2013

24 / 24