Asset-V1 MinesTelecom+04006+Session09+Type@Asset+Block@Télécom FBD S4 AnalysePartie2 V1

Analyse 2: Optimisation avec Analyse 2: Optimisation avec contrainte
contrainte
Minimisation avec Joseph Salmon

contraintes
Condition du premier ordre
Lagrangien et conditions KKT
Septembre 2014
Joseph Salmon
Fondamentaux pour le Big Data c Télécom ParisTech 1/14
Plan du cours
Analyse 2: Optimisation avec

contrainte
Minimisation avec contraintes
Minimisation avec
contraintes Lagrangien et conditions KKT
Joseph Salmon
Exemples de problèmes avec contraintes
En pratique : on optimise souvent avec contraintes (physiques)
I Contrainte de positivité :
K = {x ∈ Rd : ∀i ∈ J1, dK, xi ≥ 0}
Analyse 2: Optimisation avec I Contrainte de type simplexe (pour des probabilités) :
K = ∆d = {x ∈ R : i=1 xi = 1 et ∀i ∈ J1, dK, xi ≥ 0}
Pd
contrainte d
Moindres carrés contraints : on cherche x tel que Ax = b

Minimisation avec
I
avec une contrainte linéaire sur x, e.g., Bx = 0 pour une
contraintes matrice B ∈ Rm×d
Lagrangien et conditions KKT On cherche alors à résoudre
x∗ ∈ arg min f (x)

x∈K
où K ⊂ Rd est un ensemble qui encode les contraintes
Joseph Salmon
Condition d'existence d'un minimum II
Théorème de Weierstrass
Si une fonction f : Rd 7→ R est continue sur un ensemble fermé
et borné K (i.e., un ensemble compact) alors il existe un point
x∗ qui atteint le minimum : x∗ ∈ arg min f (x)
x∈K
contrainte
Minimisation avec
contraintes
Joseph Salmon
Théorème : CNO cas contraint

Si f a un minimum local en x∗ sur un convexe K , alors
Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

contrainte
Minimisation avec
contraintes
Joseph Salmon


contrainte
Minimisation avec
contraintes
Joseph Salmon


contrainte
Minimisation avec
contraintes
Joseph Salmon


contrainte
Minimisation avec
contraintes
Joseph Salmon
Projection sur les convexes fermés
Théorème de projection
Si K ⊂ Rd est un convexe fermé non-vide, alors pour tout point
x ∈ Rd il y a un unique point noté ΠK (x) qui satisfait :
1
Analyse 2: Optimisation avec ΠK (x) = arg min kx − zk2
z∈K 2
contrainte
De plus un point x∗ est solution de ce problème ssi
Minimisation avec
contraintes ∀z ∈ K, hz − x∗ , x − x∗ i ≤ 0
Joseph Salmon
Projection sur les convexes fermés :
exemples
I Le projecteur sur un intervalle [a, b] ⊂ R est la fonction

contrainte
si x ∈ [a, b]

x

Minimisation avec Π[a,b] (x) = a si x < a

contraintes si x > b

b

Joseph Salmon
Vérication visuelle
I Le projecteur sur B(0, 1) (la boule centrée en 0 et de rayon
unité) est la fonction
si kxk ≤ 1
(
x
ΠB(0,1) (x) =
Analyse 2: Optimisation avec x
si kxk > 1
kxk
contrainte
Minimisation avec
contraintes
Joseph Salmon
Contraintes et Lagrangien
En pratique : forme explicite pour les contraintes, avec m
contraintes d'égalité, et r contraintes d'inégalité
min f (x)
(P) s. c. h1 (x) = 0, . . . , hm (x) = 0,
contrainte g1 (x) ≤ 0, . . . , gr (x) ≤ 0,
Minimisation avec
contraintes Dénition : Lagrangien
Condition du premier ordre On appelle Lagrangien du problème (P) la fonction
m
X r
X
L(x, λ, µ) = f (x) + λi hi (x) + µj gj (x)
i=1 j=1
avec λ = (λ1 , . . . , λm ) et µ = (µ1 , . . . , µr ) ayant toutes leurs

coordonnées négatives ou nulles.
Joseph Salmon
Conditions de Karush-Khunn-Tucker
(KKT)
Théorème : KKT
Si x∗ est un minimum local du problème (P), que f, hi , gj sont
dérivables avec des gradients continus, sous des conditions de
contrainte qualication sur x∗ , il existe λ∗ = (λ∗1 , . . . , λ∗m ) et
µ∗ = (µ∗1 , . . . , µ∗r ) tel que :
Minimisation avec
contraintes ∀j ∈ J1, rK, µ∗j ≥ 0,
Condition du premier ordre ∇x L(x∗ , λ∗ , µ∗ ) = 0, (CNO)
Lagrangien et conditions KKT ∗ ∗
h1 (x ) = 0, . . . , hm (x ) = 0, (satisabilité)
g1 (x∗ ) ≤ 0, . . . , gr (x∗ ) ≤ 0, (satisabilité)
∀j ∈ J1, rK, µ∗j gj (x∗ ) = 0. (complémentarité)
cf. Bertsekas (1999) pour les détails sur la qualication d'un

point
Joseph Salmon
Conditions de Slater
Théorème : Slater
Supposons les même hypothèses que précédemment, et que de
Analyse 2: Optimisation avec plus ∀i ∈ J1, mK, hi est ane, et qu'il existe un point x̄ vériant
contrainte ∀j ∈ J1, rK, gj (x̄) < 0 alors
Minimisation avec ∀j ∈ J1, rK, µ∗j ≥ 0,

contraintes ∇x L(x∗ , λ∗ , µ∗ ) = 0, (CNO)
∗ ∗
h1 (x ) = 0, . . . , hm (x ) = 0, (satisabilité)
g1 (x∗ ) ≤ 0, . . . , gr (x∗ ) ≤ 0, (satisabilité)
∀j ∈ J1, rK, µ∗j gj (x∗ ) = 0. (complémentarité)
Joseph Salmon
Exemple de résolution I
Objectif quadratique et contrainte ane
1 2
min (x + x22 )
x1 ,x2 2 1
(P) s. c. x1 + x2 ≤ −2,
contrainte
1
Minimisation avec L(x, µ) = (x21 + x22 ) + µ(x1 + x2 + 2)
contraintes 2
La CNO donne x1 + µ = x∗2 + µ∗ = 0. Par complémentarité, on
∗ ∗
Lagrangien et conditions KKT peut traiter deux cas exclusifs
1. x∗1 + x∗2 < −2 et µ∗ = 0 (absurde !)
2. x∗1 + x∗2 = −2 et µ∗ = 1, puis x∗1 = x∗2 = −1
Joseph Salmon
Vérication visuelle
Objectif quadratique et contrainte ane
1 2
min (x + x22 )
x1 ,x2 2 1
Analyse 2: Optimisation avec (P) s. c. x1 + x2 ≤ −2,
contrainte
Minimisation avec
contraintes
Joseph Salmon
Références I

contrainte
D. P. Bertsekas.
Nonlinear programming.
Minimisation avec
contraintes Athena Scientic, 1999.

Joseph Salmon

Asset-V1 MinesTelecom+04006+Session09+Type@Asset+Block@Télécom FBD S4 AnalysePartie2 V1

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Asset-V1 MinesTelecom+04006+Session09+Type@Asset+Block@Télécom FBD S4 AnalysePartie2 V1

Transféré par

Droits d'auteur :

Formats disponibles

Analyse 2: Optimisation avec Analyse 2: Optimisation avec contrainte

Minimisation avec Joseph Salmon

Analyse 2: Optimisation avec

Moindres carrés contraints : on cherche x tel que Ax = b

x∗ ∈ arg min f (x)

où K ⊂ Rd est un ensemble qui encode les contraintes

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

I Le projecteur sur un intervalle [a, b] ⊂ R est la fonction

Minimisation avec Π[a,b] (x) = a si x < a

avec λ = (λ1 , . . . , λm ) et µ = (µ1 , . . . , µr ) ayant toutes leurs

cf. Bertsekas (1999) pour les détails sur la qualication d'un

Minimisation avec ∀j ∈ J1, rK, µ∗j ≥ 0,

Analyse 2: Optimisation avec

Condition du premier ordre

Vous aimerez peut-être aussi

Asset-V1 MinesTelecom+04006+Session09+Type@Asset+Block@Télécom FBD S4 AnalysePartie2 V1

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Asset-V1 MinesTelecom+04006+Session09+Type@Asset+Block@Télécom FBD S4 AnalysePartie2 V1

Transféré par

Droits d'auteur :

Formats disponibles

Analyse 2: Optimisation avec Analyse 2: Optimisation avec contrainte

Minimisation avec Joseph Salmon

Analyse 2: Optimisation avec

Moindres carrés contraints : on cherche x tel que Ax = b

x∗ ∈ arg min f (x)

où K ⊂ Rd est un ensemble qui encode les contraintes

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

Théorème : CNO cas contraint

Analyse 2: Optimisation avec ∀x ∈ K, h∇f (x∗ ), x − x∗i ≥ 0

I Le projecteur sur un intervalle [a, b] ⊂ R est la fonction

Minimisation avec Π[a,b] (x) = a si x < a

avec λ = (λ1 , . . . , λm ) et µ = (µ1 , . . . , µr ) ayant toutes leurs

cf. Bertsekas (1999) pour les détails sur la qualication d'un

Minimisation avec ∀j ∈ J1, rK, µ∗j ≥ 0,

Analyse 2: Optimisation avec

Condition du premier ordre

Vous aimerez peut-être aussi

cf. Bertsekas (1999) pour les détails sur la qualication d'un