Cours Optim Maths

Optimisation
mathématique.
Dr Jean
KOUDI
Dr Jean KOUDI (Ecole Nationale d’Economie Appliquée etOptimisation

de Management
mathématique.
(ENEAM) jean.koudi@imsp-uac.org,
December
jeankoudi1@gmail.com
16, 2023 Nive
1 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Optimisation mathématique.
Présenté par : Dr Jean KOUDI
Ecole Nationale d’Economie Appliquée et de Management

(ENEAM)
jean.koudi@imsp-uac.org, jeankoudi1@gmail.com
Niveau: Masters
December 16, 2023

de Management
mathématique.
December
16, 2023 Nive
1 / 72
Plan
Optimisation
mathématique.
Dr Jean
1 Introduction and motivation
KOUDI
2 Classification des problèmes d’optimisation
3 Quelques notions d’Analyse
4 Existence de solutions et conditions d’optimalité
5 Résolution des problèmes sans contraintes.
6 Quelques algorithmes d’optimisation sans contrainte
Les méthodes du gradient
La méthode de la plus grande pente
7 Optimisation sous contrainte.
Optimisation sous contrainte d’égalité.
Optimisation sous contrainte d’inégalité.

de Management
mathématique.
December
16, 2023 Nive
2 / 72
Introduction et motivation
Optimisation
mathématique.
Dr Jean
KOUDI Introduction
Plan Un problème d’optimisation est tout problème dont le but est de
Introduction
and motivation
minimiser ou de maximiser une quantité donnée. La résolution d’un
Classification
tel problème fournit une meilleure décision parmi tant d’autres. Tel
des problèmes
d’optimisation
que cela a été développé dans l’introduction, Les problèmes
Quelques d’optimisation se posent quotidiennement que ce soit au niveau
notions
d’Analyse global, gouvernemental, communautaire, corporatif ou familial.
Existence de L’homme cherche toujours à atteindre un objectif à un coût minimal,
solutions et
conditions en d’autres termes à allouer le mieux ses ressources limitées de la
d’optimalité
façon la plus efficiente possible. Ce faisant, il cherche à minimiser ses
Résolution des
problèmes sans investissements (dépenses) ou à maximiser ses gains (biens). Dans le
contraintes.
Quelques
domaine industriel, l’on cherche à concevoir des appareils
algorithmes
d’optimisation
consommant moins d’énergie et occupant moins d’espace.
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
0 / 72
Optimisation
mathématique.
En bref, l’homme cherche toujours à optimiser. D’où l’importance de
Dr Jean
KOUDI
cette théorie dans notre quotidien. La théorie d’optimisation est la
branche mathématique qui s’occupe de l’étude de l’existence et de la
Plan
détermination ou de l’approximation du maximum ou du minimum
Introduction
and motivation d’une fonctionnelle. Tout problème d’optimisation peut-être ramené
Classification
des problèmes
sous la forme suivante:
d’optimisation
Quelques sup f (x) ou inf f (x) (1)

notions
x∈K x∈K
d’Analyse
Existence de
solutions et et comme le suprémum (plus petite valeur des majorants et seule
conditions
d’optimalité valeur pouvant être le maximum) d’une fonctionnelle est l’opposé de
Résolution des
problèmes sans
l’infimum de l’opposé de cette fonctionnelle,
contraintes.

Quelques i.e., sup f = − inf − f ,
algorithmes
K K
d’optimisation
sans contrainte
Les méthodes du
gradient
tout problème d’optimisation peut être ramené à un problème de
La méthode de la
minimisation.
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
1 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation K est un sous ensemble d’un ensemble non vide d’un espace X, f est
Classification une application définie de X vers la droite réelle achevée
des problèmes
d’optimisation R = R ∪ {−∞, +∞}. f est appelée la fonction-objectif, x est
Quelques
notions
appelée un élément admissible ou variable de décision et K est appelé
d’Analyse un ensemble admissible ou ensemble des solutions réalisables.
Existence de
solutions et
L’ensemble admissible K est défini par toutes les contraintes
conditions
d’optimalité
auxquelles les variables de décision sont soumises.
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
2 / 72
Optimisation
mathématique.
Minimiser f sur un ensemble non vide X consiste à trouver le
Dr Jean
KOUDI minimum de f , valeur minimale, m s’il existe, et un point minimum
Plan
xo ∈ X appelé solution minimale ou minimiseur qui réalise ce
Introduction
minimum (i.e. f (xo ) = m). Un tel problème de minimisation s’écrit
and motivation alors
Classification
des problèmes
inf f (x) ou simplement inf f .
d’optimisation x∈X X
Quelques
notions
Lorsqu’on sait que ce problème admet au moins une solution, on
d’Analyse
préfère écrire
Existence de
solutions et
conditions
d’optimalité
min f (x) ou simplement min f .
x∈X X
Résolution des
problèmes sans
contraintes. L’ensemble des solutions minimales de ce problème se désigne
Quelques souvent par
algorithmes
d’optimisation n o
sans contrainte
Les méthodes du Argmin f (x) : x ∈ X ou simplement ArgminX f .
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
3 / 72
Optimisation
mathématique.
Une méthode d’optimisation est un ensemble de processus ou
Dr Jean
KOUDI d’alternatives qui satisfont une certaine propriété et permettant
Plan
d’obtenir un minimiseur (minimiseur local). La plupart des méthodes
Introduction d’optimisation sont basées sur les principes mathématiques utilisant
and motivation
les propriétés des inégalités dans R ou dans les espaces de fonctions,
Classification
des problèmes les notions de calcul différentiel ou de calcul variationnel. La
d’optimisation
construction des méthodes d’optimisation a une histoire très
Quelques
notions ancienne. Après l’énoncé du principe du plus court chemin par Héron
d’Analyse
Existence de
d’Alexandrie trois (03) siècles avant Jésus-Christ dans Catoptrica
solutions et
conditions
dans le contexte de l’optique, c’est au tour de Newton de mettre au
d’optimalité point une méthode itérative permettant de trouver les extrema
Résolution des
problèmes sans
locaux d’une fonction en faisant intervenir la notion de dérivée, issue
contraintes. de ses travaux avec Leibniz au XVII e siècle. Durant le XVIII e siècle,
Quelques
algorithmes
les travaux des mathématiciens Euler et Lagrange mènent au calcul
d’optimisation
sans contrainte
des variations, une branche de l’analyse fonctionnelle regroupant
Les méthodes du
gradient
plusieurs méthodes d’optimisation.
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
4 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
Ce dernier invente une technique d’optimisation sous contraintes: la
and motivation méthode des multiplicateurs de Lagrange. Ces méthodes ont évolué
Classification
des problèmes
et ont engendré plusieurs méthodes comme les méthodes du gradient,
d’optimisation les méthodes de pénalité, etc. aussi la la méthode de Karush, Kuhn
Quelques
notions et Tucker (KKT) qui est une extension de la méthode de Lagrange.
d’Analyse
L’évolution du monde et sa complexité sont essentiellement à la base
Existence de
solutions et de l’éclosion de la théorie d’optimisation. Ainsi il existe de nos jours
conditions
d’optimalité plusieurs classes de problèmes d’optimisation que nous allons
Résolution des présenter dans la section suivante.
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
5 / 72
Classification
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Étant donné le problème d’optimisation suivant
Classification
des problèmes inf f (x) (2)
d’optimisation x∈K
Quelques
notions
d’Analyse où K est un sous ensemble non vide de X et
Existence de f : X −→ R ∪ {−∞, +∞} est une application. La classe d’un
solutions et
conditions problème d’optimisation est généralement déterminée par la nature
d’optimalité
de la variable de décision et celle de l’ensemble admissible. Ainsi
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
6 / 72
Classification
Optimisation
mathématique.
Dr Jean
KOUDI
Plan a) Lorsque K = X, on dit que le problème (2) est un problème

Introduction d’optimisation sans contrainte.
and motivation
Classification b) Lorsque K ⊊ X, on dit que (2) est un problème d’optimisation

des problèmes
d’optimisation sous contraintes.
Quelques
notions
c) Si X est un ensemble discret, on dit que (2) est un problème
d’Analyse d’optimisation discrète, sinon on parle d’optimisation continue
Existence de
solutions et
lorsque la variable x ∈ X décrit uniquement des valeurs
conditions
d’optimalité
continues et d’optimisation hybride lorsque la variable x ∈ X
Résolution des prend des valeurs mixtes (certaines valeurs discrètes et d’autres
problèmes sans
contraintes. valeurs continues).
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
7 / 72
Classification
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
d) Dans le cas où X est un espace vectoriel,
Introduction si dimX < +∞, on parle d’optimisation en dimension finie,
and motivation
si K et f sont convexes, on parle d’optimisation convexe,
Classification
des problèmes
Si la variable de décision x dépend du temps, on parle
d’optimisation d’optimisation dynamique,
Quelques
notions
si f est différentiable et K est définie par des fonctions
d’Analyse différentiables, on parle d’optimisation différentiable.
Existence de
solutions et e) Lorsque f est une fonction aléatoire ou les contraintes sont
conditions
d’optimalité aléatoires, on parle d’optimisation stochastique.
Résolution des
problèmes sans f) Lorsque f ou la variable de décision x est une fonction du temps,
contraintes.
alors on parle d’optimisation dynamique.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
8 / 72
Classification
Optimisation
mathématique.
Dr Jean
KOUDI Résoudre le problème (2), c’est trouver x ∗ ∈ K tel que
Plan
Introduction
f (x ∗ ) ≤ f (x) pour tout x ∈ K .
and motivation
Classification Lorsque la fonction f prend la valeur −∞ ou est identiquement

des problèmes
d’optimisation égale à +∞ sur K , ce problème admet trivialement une solution
Quelques
notions
minimale dans K . Donc on ne considérera que le cas où
d’Analyse
Existence de
solutions et
f : X −→ R ∪ {+∞} et ∃ xo ∈ X : f (xo ) < +∞ ;
conditions
d’optimalité
i.e., f est propre.
Résolution des
problèmes sans
contraintes.
Quelques Dans la suite, X sera un espace Euclidien ou un espace de Hilbert réel

algorithmes
d’optimisation séparable.
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
9 / 72
Rappel des notions d’analyse
Optimisation
mathématique. Fonction différentiable
Dr Jean
KOUDI On considère deux espaces (E , ∥∥E ) et (F , ∥∥F ) deux R-evn, Ω un
Plan
ouvert de E et f une application définie sur Ω à valeurs dans F .
Introduction
Soit d un vecteur non nul de E .
and motivation
On dit que f admet une dérivée directionnelle en x dans la direction
Classification
des problèmes d si la limite suivante existe (au sens de la topologie de ∥∥F dans F )
d’optimisation
Quelques f (x + td) − f (x)

notions
d’Analyse
lim
t→0,t̸=0 t
Existence de
solutions et
conditions Si cette limite existe, on l’appelle dérivée directionnelle de f en x
d’optimalité
Résolution des
dans la direction d et on la note Df (x, d)
problèmes sans
contraintes.
Notons que f est dérivable en x dans la direction d si seulement si les
Quelques
limites (à droite et à gauche) suivantes
algorithmes
d’optimisation
sans contrainte f (x + td) − f (x) f (x + td) − f (x)
Les méthodes du lim et lim
gradient t→0− ,t̸=0 t t→0 +,t̸=0 t
La méthode de la
plus grande pente
existent et sont égales. Ceci conduit à la définition:
de Management
mathématique.
December
16, 2023 Nive
10 / 72
Optimisation
mathématique.
Fonction différentiable
Dr Jean
KOUDI On dit que f est dérivable à droite en x dans la direction d si
Plan seulement si la limite suivante existe (au sens de la topologie de ∥∥F
Introduction dans F )
and motivation
f (x + td) − f (x)
Classification lim
des problèmes
d’optimisation
t→0+ ,t̸=0 t
Quelques Si cette limite existe, on l’appelle dérivée à droite de f en x dans la
notions
d’Analyse direction d et on la note D + f (x, d)
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
11 / 72
Optimisation
mathématique.
Dr Jean
KOUDI On dit que f est dérivable à droite en x dans la direction d si
Plan seulement si la limite suivante existe (au sens de la topologie de ∥∥F
Introduction dans F )
and motivation
f (x + td) − f (x)
Classification lim
des problèmes
d’optimisation
t→0+ ,t̸=0 t
Quelques Si cette limite existe, on l’appelle dérivée à droite de f en x dans la
notions
d’Analyse direction d et on la note D + f (x, d)
Existence de
solutions et
On dit que f est dérivable à droite en x dans la direction d si
conditions
d’optimalité
seulement si la limite suivante existe (au sens de la topologie de ∥∥F
Résolution des
dans F )
problèmes sans f (x + td) − f (x)
contraintes.
lim
Quelques
−
t→0 ,t̸=0 t
algorithmes
d’optimisation
sans contrainte Si cette limite existe, on l’appelle dérivée à droite de f en x dans la
Les méthodes du
gradient
direction d et on la note D − f (x, d)
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
11 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction On dit que f est Gâteaux-dérivable en x si seulement si f admet une
and motivation
dérivée directionnelle dans la direction d pour tout d ∈ E et
Classification
des problèmes l’application d 7→ Df (x; d) est linéaire et continue. On note alors
d’optimisation
Quelques
Df (x; d) := DGf (x)(d) et DGf (x) ∈ Lc(E , F )(l’ensemble des
notions
d’Analyse
applications linéaires et continues de E vers F ) s’appelle la dérivée au
Existence de
sens de Gâteaux de f en x. On dit que f est Gâteaux dérivable sur Ω
solutions et
conditions
si et seulement si f est Gâteaux-différentiable en chaque point de x
d’optimalité de Ω.
Résolution des
problèmes sans Remarque. La Gâteaux différentiabilité est une notion assez faible
contraintes.
qui n’entraîne pas automatiquement la continuité.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
12 / 72
Optimisation
mathématique.
Dr Jean
KOUDI Fonction différentiable
Plan Soit x ∈ Ω, on dit que f est Fréchet-dérivable (ou simplement
Introduction
and motivation
dérivable ou différentiable) en x si et seulement si il existe
Classification L ∈ Lc(E , F ) et une fonction ϵ définie sur un voisinage de 0 dans E
des problèmes
d’optimisation et à valeurs dans F tels que:
Quelques
notions
d’Analyse
f (x + h) = f (x) + L(x)(h) + ∥h∥ϵ(h)
Existence de
solutions et
conditions
L(x) est noté f ′ (x).
d’optimalité Remarque. Si f est dérivable en x alors f est continue en x (noter la
Résolution des
problèmes sans différence avec la Gâteaux différentiabilité).
contraintes.
Si E = Rn (n ∈ N∗) et F = R, f ′ (x) est appelé le gradient de f en x
Quelques
algorithmes noté ∇f (x) ou gradf (x).
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
13 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Le gradient de f en x = (x1 , · · · , xn ), est déterminé par les dérivées
Classification
des problèmes partielles de f .
d’optimisation
Quelques
La dérivée partielle de f par rapport à la variable xi notée ∂f∂x(x) i
ou
notions
d’Analyse
∂xi f (x) est la dérivée directionnelle de f en x dans la direction
Existence de d = ei = (0, · · · , 1, · · · , 0) où ei est le ième vecteur unitaire de la
solutions et
conditions base canonique de Rn . Ona:
∇f (x) = ( ∂f∂x(x) , · · · , ∂f∂x(x)
d’optimalité
1 n
)T
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
14 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
Si E = Rn (n ∈ N∗) et F = Rm , f ′ (x) est appelé matrice jacobienne
and motivation
de f en x noté Jf (x). On a:
Classification
des problèmes
d’optimisation Jf (x) = (∇f1 (x), · · · , ∇fm (x))T
Quelques
notions
d’Analyse On dit que f est deux fois différentiable en x si la dérivée f ′ de f est
Existence de
solutions et
différentiable en x. La dérivée seconde de f en x se note f ′′ (x).
conditions
d’optimalité
Si E = Rn (n ∈ N∗) et F = R, f ′′ (x) est appelé matrice Hessienne de
Résolution des
f en x noté ∇2 f (x) ou Hf (x). On a:
problèmes sans
contraintes.
Quelques
Hf (x) = (∇(∂1 f1 )(x), · · · , ∇(∂n fm )(x))T
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
15 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Forme quadratique
Plan
Soient A une matrice carrée d’ordre n(n ∈ N∗) et b un vecteur de
Introduction
Rn . L’application de définie de Rn à valeurs dans R par
and motivation
f (X ) = X T AX + b T X est une forme quadratique. f (X ) s’écrit aussi
Classification
des problèmes de la forme: f (X ) = ⟨X , AX ⟩ + ⟨b, X ⟩ où ⟨, ⟩ est un produit scalaire
d’optimisation
sur Rn .
Quelques
notions La forme quadratique f est infiniment différentiable sur Rn .
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
16 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Forme quadratique
Plan
Soient A une matrice carrée d’ordre n(n ∈ N∗) et b un vecteur de
Introduction
Rn . L’application de définie de Rn à valeurs dans R par
and motivation
f (X ) = X T AX + b T X est une forme quadratique. f (X ) s’écrit aussi
Classification
des problèmes de la forme: f (X ) = ⟨X , AX ⟩ + ⟨b, X ⟩ où ⟨, ⟩ est un produit scalaire
d’optimisation
sur Rn .
Quelques
notions La forme quadratique f est infiniment différentiable sur Rn .
d’Analyse
Existence de
solutions et Exercice
conditions
d’optimalité 1 Déterminer le gradient ∇f (X ) pour tout X ∈ Rn .
Résolution des
problèmes sans 2 Déterminer la matrice hessienne Hf (X ).
contraintes.
Quelques
3 On suppose que A est une matrice symétrique. Déterminer à
algorithmes
d’optimisation nouveau ∇f (X ) et Hf (X ).
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
16 / 72
Optimisation
mathématique. Forme quadratique
Dr Jean
KOUDI Soit A une matrice carrée d’ordre n(n ∈ N∗) associée à une forme
Plan
quadratique. On dit que f est:
Introduction 1 Positive si pour tout X ∈ Rn , f (X ) ≥ 0
and motivation
Classification
2 Définie si pour tout X ∈ Rn , si f (X ) = 0 alors X = 0Rn
des problèmes
d’optimisation 3 Définie positive si f est positive et définie.
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
17 / 72
Optimisation
mathématique. Forme quadratique
Dr Jean
KOUDI Soit A une matrice carrée d’ordre n(n ∈ N∗) associée à une forme
Plan
quadratique. On dit que f est:
Introduction 1 Positive si pour tout X ∈ Rn , f (X ) ≥ 0
and motivation
Classification
2 Définie si pour tout X ∈ Rn , si f (X ) = 0 alors X = 0Rn
des problèmes
d’optimisation 3 Définie positive si f est positive et définie.
Quelques
notions
d’Analyse
Propriétés
Existence de
solutions et
conditions
On suppose que A est une matrice symétrique. Alors
d’optimalité
1 Toutes les valeurs propres de A sont des nombres réels
Résolution des
problèmes sans
contraintes.
2 A est positive si toutes ses valeurs propres sont positives ou
Quelques nulles
algorithmes
d’optimisation
sans contrainte
3 A est définie positive si toutes ses valeurs propres sont
Les méthodes du
gradient
strictement positives
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
17 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
Ensemble convexe et fonction convexe
des problèmes
d’optimisation Dans les problèmes d’optimisation, avec ou sans contraintes, une
Quelques notion va jouer un rôle très important: celle de la convexité. En effet,
notions
d’Analyse pour la plupart des algorithmes, la convergence vers un optimum
Existence de
solutions et
global ne pourra être démontrée qu’avec des hypothèses de convexité.
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
18 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI Ensemble convexe
Plan K est un sous-ensemble non vide de Rn . On appelle:
Introduction
and motivation
1 segment fermé x, y noté [x, y ] l’ensemble définie par:
Classification [x, y ] = {(1 − t)x + ty , 0 ≤ t ≤ 1}
des problèmes
d’optimisation 2 segment ouvert x, y noté ]x, y [ l’ensemble définie par:
Quelques
notions
]x, y [= {(1 − t)x + ty , 0 < t < 1}
d’Analyse
Cette définition peut s’interpréter en disant que K est convexe si et
Existence de
solutions et seulement si pour deux points quelconques x et y pris dans K , le
conditions
d’optimalité segment [x, y ] tout entier est contenu dans K
Résolution des
problèmes sans
contraintes. En somme K est convexe si et seulement si pour tout (x, y ) ∈ K 2 et
Quelques
algorithmes
pour tout t ∈ [0, 1], (1 − t)x + ty ∈ K
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
19 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Ensemble convexe
Soient S = {x1 , · · · , xm } une famille d’éléments de Rn et y ∈ Rn . y
Plan
peut ^etre obtenu par:
Introduction
and motivation
♣ Combinaison linéaire des points de S si:
Classification
des problèmes
d’optimisation m
X
Quelques y= λi xi , λi ∈ R, ∀i ∈ [|1, m|]
notions
d’Analyse i=1
Existence de
solutions et
conditions
♣ Combinaison affine des points de S si:
d’optimalité
m m
Résolution des X X
problèmes sans
contraintes.
y= λi xi , λi ∈ R, ∀i ∈ [|1, m|] et λi = 0
Quelques i=1 i=1
algorithmes
d’optimisation
sans contrainte ♣ Combinaison conique des points de S si:
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
20 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
Ensemble convexe
and motivation
m
X
Classification
des problèmes y= λi xi , λi ∈ R+ , ∀i ∈ [|1, m|]
d’optimisation
i=1
Quelques
notions
d’Analyse
Combinaison convexe des points de S si:
Existence de
solutions et
m
X m
X
conditions
d’optimalité
y= λi xi , λi ∈ R+ , ∀i ∈ [|1, m|] et λi = 1
Résolution des i=1 i=1
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
21 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Ensemble convexe
Plan
On définit l’enveloppe convexe d’un sous-ensemble K de Rn par
Introduction l’ensemble défini par les toutes les combinaisons convexes d’éléments
and motivation
de K . On note Conv (K )
Classification
des problèmes
d’optimisation
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
22 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Ensemble convexe
Plan
On définit l’enveloppe convexe d’un sous-ensemble K de Rn par
Introduction l’ensemble défini par les toutes les combinaisons convexes d’éléments
and motivation
de K . On note Conv (K )
Classification
des problèmes
d’optimisation
Cône
Quelques
notions
d’Analyse
Un sous-ensemble K de Rn est appelé cône si pour tout réel
Existence de
strictement positif λ et pour tout élément x de K , λx appartient à K .
solutions et
conditions
d’optimalité On définit l’enveloppe conique d’un sous-ensemble K de Rn par
Résolution des
problèmes sans
l’ensemble défini par les toutes les combinaisons coniques d’éléments
contraintes. de K . On note Con(K )
Quelques
algorithmes
On dit que K est un cône convexe si K est un sous-ensemble convexe
d’optimisation
sans contrainte
et un cône.
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
22 / 72
Convexité
Optimisation
mathématique.
Dr Jean
Ensemble convexe
KOUDI
Plan Propriétés
Introduction
and motivation Soient K1 et K2 deux ensembles convexes de Rn . Alors
Classification
des problèmes
♣ K1 ∩ K2 est un convexe de Rn .
d’optimisation
♣ K1 + K2 = {x + y ; x ∈ K1 , y ∈ K2 } est un convexe de Rn .
Quelques
notions
d’Analyse
♣ K1 − K2 = {x − y ; x ∈ K1 , y ∈ K2 } est un convexe de Rn .
Existence de
solutions et
conditions
d’optimalité Propriétés
Résolution des
problèmes sans
Soit un sous-ensemble K de Rn . Si K est un ensemble convexe.
contraintes.
Alors
Quelques
algorithmes
d’optimisation
♣ l’intérieur de K , noté Int(K ), est un ensemble convexe;
sans contrainte
Les méthodes du
♣ la clôture K de K est un ensemble convexe.
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
23 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
d’optimisation Ensemble convexe
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
24 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI Fonction convexe
Plan Soit K un sous-ensemble convexe de Rn . On dit qu’une fonction f
Introduction
and motivation
définie de K vers R est convexe, si elle vérifie:
Classification
des problèmes
d’optimisation
Quelques
∀(x, y ) ∈ K 2 , ∀t ∈ [0, 1], f ((1 − t)x + ty ) ≤ (1 − t)f (x) + tf (y ) (3)
notions
d’Analyse
Existence de
Une fonction f est dite strictement convexe si l’inégalité ci-dessus est
solutions et
conditions
stricte pour t ∈]0, 1[.
d’optimalité Une fonction f est dite concave si −f est convexe.
Résolution des
problèmes sans
L’interprétation géométrique de cette définition est que le graphe
contraintes.
d’une fonction convexe est toujours en dessous du segment reliant les
Quelques
algorithmes points (x, f (x)) et (y , f (y ))
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
25 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction Fonction convexe

and motivation
Classification
Soit K un sous-ensemble convexe de Rn . La fonction indicatrice IK
des problèmes
d’optimisation
définie par:

0 si x ∈ K
Quelques
IK (x) = est convexe
notions
d’Analyse
+∞ si x ∈ /K
Existence de La fonction distance dK définie par: dK (x) = inf {∥x − y ∥, y ∈ K }
solutions et
conditions est convexe.
d’optimalité
Une fonction convexe peut aussi être décrite par son épigraphe.
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
26 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Fonction convexe
Introduction On appelle épigraphe d’une fonction convexe f , l’ensemble noté
and motivation
Classification
epi(f ) défini par
des problèmes
d’optimisation
Quelques
notions
d’Analyse
epi(f ) = {(x, α) ∈ Rn × R, f (x) ≤ α} (4)
Existence de
solutions et L’ensemble de niveau α de f est:
conditions
d’optimalité
Résolution des
problèmes sans
contraintes. Vα (f ) = {x ∈ Rn , f (x) ≤ α} (5)
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
27 / 72
Convexité
Optimisation
mathématique.
Dr Jean
Fonction convexe
KOUDI
Plan Théorème
Introduction
and motivation Soient K un sous-ensemble convexe non vide de Rn et f une fonction
Classification définie de K vers R.
des problèmes
d’optimisation f est convexe si et seulement si epi(f ) est un sous-ensemble convexe
Quelques de Rn+1
notions
d’Analyse
Existence de
solutions et Propriétés
conditions
d’optimalité
P1 Soient f une fonction convexe sur un ensemble convexe non vide
Résolution des
problèmes sans K ⊂ Rn et un nombre réel α ≥ 0. Alors αf est aussi convexe sur
contraintes.
K.
Quelques
algorithmes
d’optimisation
P2 Soient f1 , f2 deux fonctions convexes sur un ensemble convexe
sans contrainte K . Alors f1 + f2 est aussi une fonction convexe sur K .
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
28 / 72
Convexité
Optimisation
mathématique.
Dr Jean
Fonction convexe
KOUDI
Plan Propriétés
Introduction
and motivation P3 Soient f1 , f2 , · · · , fm des fonctions convexes sur un ensemble
Classification
des problèmes
convexe K et α1 , α2 , · · · , αm ≥ 0, des nombres réels. Alors
P m
i=1 αi fi est aussi convexe sur K .
d’optimisation
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
29 / 72
Convexité
Optimisation
mathématique.
Dr Jean
Fonction convexe
KOUDI
Plan Propriétés
Introduction
Classification
des problèmes
P m
d’optimisation
Quelques
notions
d’Analyse
Existence de Propriétés
solutions et
conditions
d’optimalité
Soit f définie de Rn vers R une fonction continuement différentiable
Résolution des sur Rn . Alors, f est convexe si et seulement si pour tout x, y ∈ Rn ,
problèmes sans
contraintes. f (y ) ≥ f (x) + ⟨∇f (x), y − x⟩
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
29 / 72
Convexité
Optimisation
mathématique.
Dr Jean
Fonction convexe
KOUDI
Plan Propriétés
Introduction
Classification
des problèmes
P m
d’optimisation
Quelques
notions
d’Analyse
Existence de Propriétés
solutions et
conditions
d’optimalité
Soit f définie de Rn vers R une fonction continuement différentiable
Résolution des sur Rn . Alors, f est convexe si et seulement si pour tout x, y ∈ Rn ,
problèmes sans
contraintes. f (y ) ≥ f (x) + ⟨∇f (x), y − x⟩
Quelques
algorithmes
d’optimisation
Si f est de classe C 2 c’est-à-dire 2 fois continuement différentiable,
sans contrainte
Les méthodes du
on a la propriété suivante.
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
29 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation Fonction convexe
Classification
des problèmes
d’optimisation Propriétés
Quelques
notions Soit f définie de Rn vers R une fonction 2 fois continuement
d’Analyse
Existence de
différentiable sur Rn . Alors, f est convexe si et seulement si pour
solutions et
conditions
tout x, y ∈ Rn , ∇2 f (x) est une matrice semi-définie positive.
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
30 / 72
Convexité
Optimisation
mathématique.
Dr Jean
KOUDI
Fonction convexe
Plan
Introduction
and motivation Exercice
Classification
des problèmes Étudier la convexité de chacune des fonctions suivantes:
d’optimisation
Quelques
f1 (X1 , X2 ) = 10X1 + 10X2 + 100 − X12 − 2X1 X2 − X22
notions
d’Analyse
f2 (X1 , X2 ) = X12 + 2X1 X2 + 100X1 + 100X2
Existence de
f3 (X1 , X2 ) = X1 e X1 +X2 , X1 , X2 ≥ 0
solutions et
conditions
f4 (X1 , X2 , X3 ) =
d’optimalité 3X12 + 2X22 + X32 − 2X1 X2 − 2X1 X3 + 2X2 X3 − 6X1 − 4X2 − 2X3
Résolution des
problèmes sans
f5 (X1 , X2 , X3 ) =
contraintes.
3X12 + 2X22 + X32 − 2X1 X2 − 2X1 X3 + 2X2 X3 − 6X1 − 4X2 − 2X3
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
31 / 72
Existence de solutions
Optimisation
mathématique.
Dr Jean
KOUDI
L’optimisation dans R se récapitule en quelques théorèmes
Plan fondamentaux à savoir:
Introduction
and motivation
Théorème I (Weierstrass)
Classification
des problèmes
d’optimisation Étant donné, deux nombres réels a < b, si f : [a, b] −→ R est
Quelques continue, alors l’infimum de f est atteint (en d’autres termes, f
notions
d’Analyse atteint sa borne inférieure).
Existence de
solutions et
conditions
d’optimalité Théorème II (Fermat)
Résolution des
problèmes sans
contraintes.
Étant donné deux nombres réels a < b et une fonction dérivable
Quelques f : ]a, b[−→ R, si xo minimise f sur ]a, b[, alors f ′ (xo ) = 0.
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
32 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction Théorème III (de concavité)

and motivation
Classification Étant donné deux nombres réels a < b, si f : [a, b] −→ R est une
des problèmes
d’optimisation fonction concave, alors f est continue et atteint son minimum en a
Quelques
notions
ou b.
d’Analyse
Existence de
solutions et Théorème IV (de convexité)
conditions
d’optimalité
Résolution des
Étant donné deux nombres réels a < b et une fonction dérivable et
problèmes sans
contraintes.
convexe f : ]a, b[−→ R, si f ′ (xo ) = 0 alors xo minimise f sur ]a, b[.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
33 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan Ces résultats illustrent les trois thèmes de l’Optimisation à savoir :

Introduction Existence de valeur optimale, Conditions Nécessaires d’optimalité et
and motivation
Conditions Suffisantes d’optimalité.
Classification
des problèmes Ainsi tout problème d’Optimisation soulève les questions suivantes :
d’optimisation
Quelques - Existe t-il de solution(s)? Si oui, est-elle unique ou au moins

notions
d’Analyse isolée?
Existence de
solutions et
- Comment la caractériser ou tout au moins la localiser à l’aide
conditions
d’optimalité
d’une équation, d’une inéquation ou d’une inclusion (algébrique
Résolution des ou différentielle)?
problèmes sans
contraintes. - Comment la calculer?
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
34 / 72
Optimisation
mathématique. Minimum local, minimum global
Dr Jean
KOUDI
Plan (P) : inf f (x) (6)

x∈K
Introduction
and motivation
Classification
avec K est un sous-ensemble de Rn ou K = Rn . On dit que
des problèmes
d’optimisation ♣ x ∗ est une solution globale de (13) ou un point de minimum
Quelques
notions
global de f sur K si et seulement si f (x ∗ ) ≤ f (x) pour tout
d’Analyse x ∈ K.
Existence de
solutions et ♣ On dit que x ∗ est une solution locale de (13) ou un point de
conditions
d’optimalité minimum local de f sur K s’il existe r > 0 tel que f (x ∗ ) ≤ f (x)
Résolution des pour tout x ∈ K tel que d(x, x ∗ ) < r ou ∥x ∗ − x∥ < r
problèmes sans
contraintes.
♣ On dit que x ∗ est un point de minimum global strict de f sur K
Quelques
algorithmes si et seulement si f (x ∗ ) < f (x) pour tout x ∈ K {x ∗ }.
d’optimisation
sans contrainte ♣ On dit que x ∗ un point de minimum local strict de f sur K s’il
Les méthodes du
gradient existe r > 0 tel que f (x ∗ ) < f (x) pour tout x ∈ K tel que
La méthode de la
plus grande pente d(x, x ∗ ) < r ou ∥x ∗
− x∥mathématique.
de Management
̸= x ∗ .
r et xjean.koudi@imsp-uac.org,
<(ENEAM) December
16, 2023 Nive
35 / 72
Optimisation
mathématique. Minimum local, minimum global
Dr Jean
KOUDI On considère le problème (13).
Plan
Introduction
Théorème 1
and motivation
Si K est un ensemble compact (K est fermé et borné) et que la
Classification
des problèmes fonction f est continue, alors le problème (13) admet au moins une
d’optimisation
Quelques
solution.
notions
d’Analyse
Existence de Théorème 2
solutions et
conditions
d’optimalité
Si K est un ensemble fermé non borné, la fonction f est continue et
Résolution des coercive (ie lim f (x) = +∞), alors le problème (13) admet au
problèmes sans ∥x∥→+∞
contraintes.
moins une solution. Cette propriété est valable seulement pour les
Quelques
algorithmes problèmes de minimisation. Pour l’appliquer aux problème de
d’optimisation
sans contrainte maximisation, on transforme le problème en un problème de
Les méthodes du
gradient minimisation.
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
36 / 72
Condition d’optimalité
Optimisation
mathématique.
Théorème(CN1)
Dr Jean
KOUDI Etant donné un problème d’optimisation
Plan
Introduction
and motivation
(P) : inf f (x) (7)
Classification x∈K
des problèmes
d’optimisation
Quelques
avec K est un ouvert de Rn ou K = Rn . On suppose que f est
notions
d’Analyse
différentiable sur K . Si x ∗ ∈ K est une solution locale de (P) alors
Existence de
solutions et
conditions
∇f (x ∗ ) = 0 (8)
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
37 / 72
Optimisation
mathématique.
Théorème(CN1)
Dr Jean
KOUDI Etant donné un problème d’optimisation
Plan
Introduction
and motivation
(P) : inf f (x) (7)
Classification x∈K
des problèmes
d’optimisation
Quelques
avec K est un ouvert de Rn ou K = Rn . On suppose que f est
notions
d’Analyse
différentiable sur K . Si x ∗ ∈ K est une solution locale de (P) alors
Existence de
solutions et
conditions
∇f (x ∗ ) = 0 (8)
d’optimalité
Résolution des En général, les solutions de l’équation (8) sont appelées les points
problèmes sans
contraintes. critiques de f . Un point critique est soit:
Quelques
algorithmes ♣ un point de minimum
d’optimisation
sans contrainte ♣ un point de maximum
Les méthodes du
gradient
La méthode de la
♣ un point-selle ou point col (en anglais: saddle point)
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
37 / 72
Optimisation
mathématique.
Une condition suffisante est donc nécessaire pour déterminer la
Dr Jean
nature d’un point critique.
KOUDI
Plan
Théorème(CS1)
Introduction
and motivation
Etant donné un problème d’optimisation
Classification
des problèmes
d’optimisation
Quelques
(P) : inf f (x) (9)
notions x∈K
d’Analyse
Existence de avec K est un ouvert de Rn ou K = Rn . On suppose que f est

solutions et
conditions différentiable sur K et x ∗ ∈ K est une solution de l’équation
d’optimalité
∇f (x ∗ ) = 0
Résolution des
problèmes sans (10)
contraintes.
Quelques
algorithmes Si le problème (P) est convexe (c’est-à-dire K est un ensemble
d’optimisation
sans contrainte convexe et f est une fonction convexe) alors x ∗ est un point de
Les méthodes du
gradient minimum global de f sur K .
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
38 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification Théorème(CS1)
des problèmes
d’optimisation
Si de plus le problème (P) est strictement convexe (c’est-à-dire K est
Quelques
notions un ensemble convexe et f est une fonction strictement convexe) alors
d’Analyse
Existence de
x ∗ est l’unique point de minimum global de f sur K .
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
39 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Théorème(CS2)
Plan
Introduction
Soit un problème d’optimisation
and motivation
Classification
des problèmes
(P) : inf f (x) (11)
x∈K
d’optimisation
Quelques
notions avec K est un ouvert de Rn ou K = Rn . On suppose que f est 2 fois
d’Analyse
différentiable sur K et x ∗ ∈ K est une solution de l’équation
Existence de
solutions et
conditions
d’optimalité ∇f (x ∗ ) = 0 (12)
Résolution des
problèmes sans
contraintes. S’il existe ϵ > 0 tel que pour tout x ∈ B(x ∗ , ϵ), ∇f (x) est
Quelques semi-définie positive, alors x ∗ est un point de minimum local sur K .
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
40 / 72
Résolution des problèmes sans contraintes.
Optimisation
mathématique. Exercice 1
Dr Jean
KOUDI Déterminer les extrema locaux de f dans les cas suivants:
Plan
1 f (x, y ) = x 2 + y 2 + xy − 3x − 6y ;
Introduction
and motivation
2 f (x, y ) = x 2 + 2y 2 − 2xy − 2y + 1;
Classification 3 f (x, y ) = x 3 + y 3 − 3x − 12y + 20;
des problèmes
d’optimisation 4 f (x, y ) = x 4 + y 4 − 2(x − y )2 ;
Quelques
notions
d’Analyse
5 f (x, y ) = x 3 y 2 (1 − x − y ).
Existence de 6 f (x, y ) = x 3 + y 3
solutions et
conditions
d’optimalité
7 f (x, y ) = (x − y )2 + (x + y )3
Résolution des 8 f (x, y ) = x 3 + y 3 − 3xy
problèmes sans
contraintes. 9 f (x, y ) = x 4 + y 4 − 4(x − y )2
Quelques
algorithmes
d’optimisation
10 f (x, y ) = 2x 3 + 6xy − 3y 2 + 2
sans contrainte
Les méthodes du
11 f (x, y ) = y (x 2 + (lny )2 ) sur R×]0, ∞[
gradient
La méthode de la 12 f (x, y ) = x 4 + y 4 − 4xy
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
41 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification Exercice 1
des problèmes
d’optimisation
Soit f la fonction définie de R2 vers R par:
Quelques
notions f (x, y , z) = x 2 + y 2 + (x + y − 3z)2 + z 4 + 2z 3 − 5z 2 . Déterminer
d’Analyse
les minimums locaux de f . L’un d’eux est-il global?
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
42 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
d’optimisation Exercice 1
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
43 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
On considère un problème sans contrainte:
Plan
Introduction
and motivation (P) : inf n f (x) (13)
x∈R
Classification
des problèmes
d’optimisation où f est une fonction différentiable sur Rn . Nous avons vu qu’un
Quelques
notions
extremum de f sur R doit satisfaire la condition d’optimalité de
d’Analyse premier ordre ∇f (x) = 0.
Existence de
solutions et
La résolution du système ∇f (x) = 0 n’est pas toujours facile selon
conditions
d’optimalité
que la taille du problème est grande ou que f soit définie par une
Résolution des expression difficile à manipuler. On peut déterminer dans ce cas la
problèmes sans
contraintes. solution ou une valeur approchée de la solution par l’une des
Quelques méthodes suivantes.
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
44 / 72
Plan
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes 4 Existence de solutions et conditions d’optimalité
d’optimisation
Quelques
notions
d’Analyse
Existence de 6 Quelques algorithmes d’optimisation sans contrainte

solutions et
conditions Les méthodes du gradient
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes Optimisation sous contrainte d’égalité.
d’optimisation
sans contrainte Optimisation sous contrainte d’inégalité.
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
45 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation Méthodes du gradient
Classification
des problèmes Les méthodes de gradient sont des méthodes itératives qui, partant
d’optimisation
Quelques
d’un point initial x0 construisent une suite des points (x k )k en
notions
d’Analyse
suivant à chaque itération la direction de l’opposé du gradient. En
Existence de
effet, pour tout élément x se trouvant dans un voisinage donné de
solutions et
conditions
l’optimum, −∇f (x) indique la direction de descente vers l’optimum.
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
46 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation Méthodes du gradient
Classification
des problèmes
Ainsi à chaque itération on effectue un pas δk suivant la direction
d’optimisation
de −∇f (x k ) pour construire le nouveau point x k+1 . On a:
Quelques
notions
d’Analyse
Existence de ∇f (x k )
solutions et x k+1 = x k + δk dk , avec dk = − (14)
conditions
d’optimalité
∥∇f (x k )∥
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
47 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
Méthodes du gradient
and motivation
Classification
On distingue les méthodes du gradient à pas déterminé pour lesquels
des problèmes
d’optimisation
on choisit à priori les valeurs des déplacements δk . Polyak(1966) a
Quelques
montré que ce schéma converge sous les seuls conditions:
notions
d’Analyse

 δ∞
 k → 0 quand k → ∞
Existence de
solutions et X (15)
conditions
d’optimalité 
 δk = ∞
Résolution des k=0
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
48 / 72
Plan
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
d’optimisation
Quelques
notions
d’Analyse

solutions et
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
d’optimisation
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
49 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction L’algorithme de la plus grande pente se présente comme suit:
and motivation
Classification
des problèmes
d’optimisation
On choisit un point de départ x0 ; k ← 0
Quelques
notions On répète l’itération :
d’Analyse
on calcule dk = −∇f (x k )
Existence de
solutions et on cherche δk tel que (16)
conditions
d’optimalité f (xk + δk dk ) = minf (xk + δdk ); δ ≥ 0
Résolution des On fait xk+1 ← xk + δk dk
problèmes sans
contraintes. Tant que condition d’arrêt non vérifiée.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
50 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Cet algorithme ne permet pas en général de converger vers un
Classification
des problèmes optimum local en un nombre fini d’itération. Les critères les plus
d’optimisation
utilisés pour l’arrêter sont les suivants:
Quelques
notions ∂f
d’Analyse
Critère 1 max < ε (ε > 0 donné)
Existence de 1≤i≤n ∂xi
solutions et
conditions Critère 2
d’optimalité
∥∇f ∥2 < ε (ε > 0 donné)
Critère 3
Résolution des |f (xk+1 ) − f (xk )| < ε (ε > 0 donné)
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
51 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Pour chacun des critères ci-dessus, une bonne précaution consiste à
Classification
des problèmes définir à priori, le nombre d’itérations à effectuer.
d’optimisation
Pour la convergence globale de la méthode, nous avons le théorème
Quelques
notions suivant.
d’Analyse
Si la fonction f est continûment différentiable et coercive, alors pour
Existence de
solutions et tout point de départ x0 , la méthode de la plus forte pente a la
conditions
d’optimalité propriété de la convergence globale relativement à l’ensemble des
Résolution des
problèmes sans
points stationnaires de f .
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
52 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
d’optimisation Une variante de cette méthode est celle de la plus grande pente
Quelques accélérée. Elle a été introduite afin de corriger le comportement
notions
d’Analyse zig-zag qui s’observe souvent dans la méthode de la plus grande
Existence de
solutions et
pente (voir Forsyte 1968; Lunberger 1973).
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
53 / 72
Optimisation sous contrainte.
Optimisation
mathématique.
Dr Jean
Présentation du problème
KOUDI
Commençons par rappeler qu’un problème d’optimisation sous
Plan contrainte est tout problème pouvant se ramener sous la forme
Introduction
and motivation
suivante:
Classification
des problèmes (P) : min f (x) (17)
d’optimisation x∈K
Quelques
notions
d’Analyse Dans ce chapitre nous utilisons trois types de contraintes.
Existence de 1er cas: contrainte définie par des égalités
solutions et
conditions n o
d’optimalité
Résolution des
K = x ∈ Rn ; hj (x) = 0 ∀ j ∈ J (18)
problèmes sans
contraintes.
Quelques
2me cas: contrainte définie par des inégalités
algorithmes
sans contrainte
Les méthodes du
K = x ∈ Rn ; gi (x) ≤ 0 ∀ i ∈ I (19)
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
54 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification 3me cas: contrainte mixte définie par des égalités et des inégalités
des problèmes
Quelques
notions
K = x ∈ Rn ; gi (x) ≤ 0 ∀ i ∈ I , hj (x) = 0 ∀ j ∈ J (20)
d’Analyse
Existence de
S
solutions et avec I = {1, · · · , m}, J = {1, · · · , q} et I J ̸= {}(ensemble vide)
conditions
d’optimalité et la fonction f est définie de Rn vers R ainsi que toutes les gi et hj .
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
55 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
Une contrainte d’inégalité gi (x) ≤ 0 est dite active en un point
d’optimisation
admissible x ∗ si gi (x ∗ ) = 0. L’ensemble des contraintes d’inégalité
Quelques
notions actives en x ∗ est noté I (x ∗ ). Nous dirons que i appartient à I (x ∗ )
d’Analyse
pour signifier que la contrainte gi (x) ≤ 0 est active en x ∗ . Avant de
Existence de
solutions et présenter la méthode, nous allons annoncer quelques définitions et
conditions
d’optimalité théorèmes fondamentaux.
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
56 / 72
Plan
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
d’optimisation
Quelques
notions
d’Analyse

solutions et
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
d’optimisation
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
57 / 72
Optimisation
mathématique.
On a le problème:
Dr Jean
KOUDI (P) : min f (x) (21)
x∈K
Plan
Introduction avec
and motivation
n o
Classification
des problèmes
K = x ∈ Rn ; hj (x) = 0 ∀ j ∈ J (22)
d’optimisation
Quelques
notions
d’Analyse
Existence de Fonction lagrangienne.

solutions et
conditions
d’optimalité On appelle lagrangien associé à (P) ou la fonction de Lagrange de
Résolution des (P), la fonction L définie de Rn × Rm à valeurs dans R par:
problèmes sans
contraintes.
Quelques
algorithmes
m
X
d’optimisation
sans contrainte
L(X , λ) = f (X ) + ⟨λ, h(X )⟩ = f (X ) + λj hj (X ) (23)
Les méthodes du
gradient
j=1
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
58 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction Fonction lagrangienne.

and motivation
Classification On remarque facilement que:

des problèmes
d’optimisation ♣ Pour tout X ∈ K , L(X , λ) = f (X )
Quelques
notions ♣ Pour tout X ∈
/ K , il existe j tel que hj (X ) ̸= 0
d’Analyse
Existence de
solutions et Donc la minimisation de f sur K revient à minimiser L sur Rn . Ainsi
conditions
d’optimalité s’il existe λ∗ ∈ Rm tel que (X ∗ , λ∗ ) soit un extremum de L sur
Résolution des Rn × Rm alors X ∗ est aussi un extremum de f sur K .
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
59 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction La qualification des contraintes.

and motivation
Classification (LICQ: Contrainte de qualification de l’indépendance

o linéaire)
des problèmes
n
∗ ∗
d’optimisation K est qualifiée en X ∈ K si la famille ∇hj (X ) est
Quelques j∈J
notions
d’Analyse
linéairement indépendante.
Existence de
La qualification des contraintes garantie l’existence et l’unicité du
solutions et
conditions
multiplicateur de Lagrange satisfaisant la condition d’optimalité du
d’optimalité
premier ordre de Lagrange.
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
60 / 72
Optimisation
mathématique.
Dr Jean Condition d’optimalité de Lagrange.

KOUDI
Soit X ∗ ∈ K une solution locale de (P), On suppose que:

Plan
Introduction ♣ f est différentiable en X ∗ ,

and motivation
Classification
♣ les hj sont de classe C 1 en X ∗ ,
des problèmes
d’optimisation ♣ la qualification des contraintes est satisfaite en X ∗ ,
Quelques
notions alors il existe λ = (λ1 , · · · , λm ) ∈ Rm tel que
d’Analyse
Existence de
solutions et  m
conditions X
∗
λj ∇hj (X ∗ )

d’optimalité 


 ∇f (X ) + = 0
Résolution des
j=1

problèmes sans
contraintes. (S) : h(X ∗
) = 0 (24)

Quelques
λ = (λ1 , · · · , λm ) ∈ Rm


algorithmes 

d’optimisation 
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
61 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes La résolution du système de Lagrange (S) donne les points critiques.
d’optimisation
Une condition suffisante est nécessaire pour connaître la nature de
Quelques
notions chaque point critique.
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
62 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Condition d’optimalité d’ordre 2 (CS2).
Plan Soit X ∗ ∈ K , On suppose que:
Introduction
and motivation
♣ f est 2 fois différentiable en X ∗ ,
Classification ♣ les hj sont de classe C 2 en X ∗ ,
des problèmes
d’optimisation
♣ la qualification des contraintes est satisfaite en X ∗ ,
Quelques
notions
d’Analyse
s’il existe λ = (λ1 , · · · , λm ) ∈ Rm tel que
Existence de
solutions et
m
conditions

d’optimalité
X
 ∇f (X ∗ ) + λj ∇hj (X ∗ )

= 0
Résolution des
problèmes sans j=1
(25)
contraintes.

h(X ∗ ) = 0

Quelques
algorithmes
d’optimisation
sans contrainte
et
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
63 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
Condition d’optimalité d’ordre 2 (CS2).
des problèmes
d’optimisation
Quelques
notions ∇2xx L(X ∗ , λ)(d, d) > 0 ∀ d ∈ Ker (∇h(X ∗ )) et h ̸= 0 (26)
d’Analyse
Existence de
solutions et alors X ∗ est un minimum local de f sur K .
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
64 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
d’optimisation Condition d’optimalité d’ordre 2 (CS2).
Quelques
notions
d’Analyse
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
65 / 72
Plan
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
d’optimisation
Quelques
notions
d’Analyse

solutions et
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
d’optimisation
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
66 / 72
Optimisation sous contrainte d’inégalité et d’égalité.
Optimisation
mathématique.
On a le problème:
Dr Jean
KOUDI
(P) : min f (x) (27)
x∈K
Plan avec
Introduction n o
and motivation
K = x ∈ Rn ; gi (x) ≤ 0 ∀ i ∈ I , hj (x) = 0∀ j ∈ J (28)
Classification
des problèmes
d’optimisation
Quelques
notions
d’Analyse
Fonction lagrangienne.
Existence de On appelle lagrangien associé à (P) ou la fonction de Lagrange de
solutions et
conditions (P), la fonction L définie de Rn × Rq+ × Rm à valeurs dans R par:
d’optimalité
Résolution des
problèmes sans
contraintes.
L(X , µ, λ) = f (X ) + ⟨µ, g (X )⟩ + ⟨λ, h(X )⟩ (29)
Quelques
algorithmes
Xq m
X
d’optimisation
sans contrainte = f (X ) + µi gi (X ) + λj hj (X ) (30)
Les méthodes du
gradient i=1 j=1
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
67 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
La qualification des contraintes.
Plan
Introduction Soit x ∗ ∈ K . On dit que K est qualifiée en X ∗ si:

and motivation n o
Classification
1 la famille ∇gj (X ∗ ) ∪ {∇gi (x ∗ )}i∈I (x ∗ ) est linéairement
des problèmes j∈J
d’optimisation
indépendante;
Quelques
notions 2 il existe un vecteur u tel que
d’Analyse
Existence de
1 u ∈ Ker (∇h(x ∗ ))
solutions et
conditions
2 ⟨∇gi (x ∗ ), u⟩ < 0, ∀i ∈ I (x ∗ )
d’optimalité
La qualification des contraintes garantie l’existence et l’unicité du
Résolution des
problèmes sans multiplicateur de Lagrange satisfaisant la condition d’optimalité du
contraintes.
Quelques
premier ordre de Lagrange.
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
68 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Condition d’optimalité de KKT.
Introduction
and motivation Soit X ∗ ∈ K une solution locale de (P), On suppose que:
Classification
des problèmes ♣ f est différentiable en X ∗ ,
d’optimisation
Quelques ♣ les gi sont de classe C 1 en X ∗ ,

notions
d’Analyse ♣ les hj sont de classe C 1 en X ∗ ,
Existence de
solutions et ♣ la qualification des contraintes est satisfaite en X ∗ ,
conditions
d’optimalité alors il existe λ = (λ1 , · · · , λm ) ∈ Rm et µ = (µ1 , · · · , µq ) ∈ Rq+ tel
Résolution des
problèmes sans que
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
69 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
Condition d’optimalité de KKT.
and motivation
Classification  m m
des problèmes X X
∗
∗
µi ∇gi (X ∗ )

d’optimisation 


 ∇f (X ) + λ j ∇h j (X ) + = 0
Quelques
j=1 j=1


notions 
d’Analyse
(S) : h(X ∗ ) = 0 (31)
Existence de
solutions et

 µi gi (X ∗ ) = 0∀ i ∈ I
µ = (µ1 , · · · , µq ) ∈ Rq+

conditions


d’optimalité


λ = (λ1 , · · · , λm ) ∈ Rm

Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
70 / 72
Optimisation
mathématique.
Dr Jean
KOUDI
Plan
Introduction
and motivation
Classification
des problèmes
Condition d’optimalité de second ordre.
d’optimisation
Quelques n
notions
d’Analyse TKlin (x ∗ ) = d; ∇gi (x) · d ≤ 0, ∀i ∈ I (x ∗ ) et ∇hj (x) · d = 0, ∀j ∈ J
Existence de
solutions et
conditions
d’optimalité
Résolution des
problèmes sans
contraintes.
Quelques
algorithmes
d’optimisation
sans contrainte
Les méthodes du
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
71 / 72
Optimisation
mathématique.
Dr Jean
Exercice.
KOUDI
Déterminer les extremums de f sur K dans les cas suivants:
Plan
1 f (x, y , z) = xy 2 z 2 sur K = {(x, y , z) ∈ (R∗+ )3 , x + y + z = 12}
Introduction
and motivation 2 f (x, y , z) = x 2 + y 2 + z 2 sur
Classification
des problèmes K = {(x, y , z) ∈ R3 , 2x + 3y + z − 12 = 0}
d’optimisation
Quelques
3 f (x, y , z) = x 2 + y 2 + z 2 sur
2 2
z2
notions
d’Analyse K = {(x, y , z) ∈ R3 , x64 + y36 + 25 = 1}
Existence de
solutions et
4 f (x, y , z) = x2 + 2y − x sur K = {x 2 + y 2 ≤ 1}
2
conditions
d’optimalité
5 f (x, y ) = x 2 y sur K = {(x, y ) ∈ R2 , 0 ≤ x ≤ 1, 0 ≤ y ≤ 1}
Résolution des
problèmes sans
6 f (x, y ) = xy sur K = {(x, y ) ∈ R2 , (x + 1)2 + y 2 = 1}
contraintes.
Quelques
7 f (x, y , z) = x 2 + y 2 + z 2 sur
algorithmes
d’optimisation
K = {(x, y , z) ∈ R3 , x 2 + 2y 2 z 2 1 = 0}
sans contrainte
Les méthodes du
8 f (x, y , z) = xy + 2yz + 2xz sur K = {(x, y , z) ∈ R3 , xyz = 32}
gradient
La méthode de la
plus grande pente
de Management
mathématique.
December
16, 2023 Nive
72 / 72

Cours Optim Maths

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cours Optim Maths

Transféré par

Droits d'auteur :

Formats disponibles

Optimisation

Dr Jean KOUDI (Ecole Nationale d’Economie Appliquée etOptimisation

Présenté par : Dr Jean KOUDI

Ecole Nationale d’Economie Appliquée et de Management

December 16, 2023

Dr Jean KOUDI (Ecole Nationale d’Economie Appliquée etOptimisation

Dr Jean KOUDI (Ecole Nationale d’Economie Appliquée etOptimisation

Quelques sup f (x) ou inf f (x) (1)

Plan a) Lorsque K = X, on dit que le problème (2) est un problème

Classification b) Lorsque K ⊊ X, on dit que (2) est un problème d’optimisation

Classification Lorsque la fonction f prend la valeur −∞ ou est identiquement

Quelques Dans la suite, X sera un espace Euclidien ou un espace de Hilbert réel

Quelques f (x + td) − f (x)

Introduction Fonction convexe

Introduction Théorème III (de concavité)

Plan Ces résultats illustrent les trois thèmes de l’Optimisation à savoir :

Quelques - Existe t-il de solution(s)? Si oui, est-elle unique ou au moins

Plan (P) : inf f (x) (6)

Existence de avec K est un ouvert de Rn ou K = Rn . On suppose que f est

Existence de 6 Quelques algorithmes d’optimisation sans contrainte

Existence de 6 Quelques algorithmes d’optimisation sans contrainte

Existence de 6 Quelques algorithmes d’optimisation sans contrainte

Existence de Fonction lagrangienne.

Introduction Fonction lagrangienne.

Classification On remarque facilement que:

Introduction La qualification des contraintes.

Classification (LICQ: Contrainte de qualification de l’indépendance

Dr Jean Condition d’optimalité de Lagrange.

Soit X ∗ ∈ K une solution locale de (P), On suppose que:

Introduction ♣ f est différentiable en X ∗ ,

Existence de 6 Quelques algorithmes d’optimisation sans contrainte

Introduction Soit x ∗ ∈ K . On dit que K est qualifiée en X ∗ si:

Quelques ♣ les gi sont de classe C 1 en X ∗ ,

Vous aimerez peut-être aussi