IG4

C ALCUL SCIENTIFIQUE

Thème n°1
Initiation à l’optimisation et l’estimation
de paramètres

Élisabeth Simonetto – Frédéric Durand – Jérôme Verdun

Préambule

L’optimisation est la branche des mathématiques appliquées qui s’intéresse à l’existence,

l’unicité et l’évaluation d’extrema de fonctions. Elle possède de très nombreuses applica-
tions en sciences pour l’ingénieur. Par exemple, la compensation d’un réseau géodésique
requiert la minimisation de la somme des carrés des résidus d’observation, ce qui est du
ressort de l’optimisation. De façon générale, l’estimation de paramètres par moindres
carrés est basée sur une méthode d’optimisation.

Le but de ce thème est d’élaborer un programme mettant en œuvre une méthode

particulière d’optimisation non linéaire et de l’appliquer à des problèmes d’estimation
de paramètres. Le programme sera réalisé sous la forme d’un programme en Python.
Certaines fonctions auxiliaires vous seront fournies afin de faciliter votre travail.

2019 – 2020
 Initiation à l’optimisation

Table des matières

1 Définitions fondamentales et vocabulaire 5

2 Outils mathématiques 6

3 Conditions d’optimalité 6

4 Approche numérique de l’optimisation 7

4.1 Présentation de la méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4.2 Applications : travail à réaliser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

⋆⋆⋆⋆⋆⋆⋆

3
 Initiation à l’optimisation

1 Définitions fondamentales et vocabulaire

Considérons une fonction f définie sur Rn (n ∈ N∗ ) et à valeurs dans R (fonction numérique). Le pro-
blème d’optimisation définie par :
(PSC) inf f (x)
,
t.q. x ∈ Rn
où t.q. signifie « tel que », est appelé problème de minimisation sans contrainte.

Dans ce problème, sont recherchés tous les vecteur x̃ ∈ Rn tels que f (x̃) = infx∈Rn f (x). Ces vecteurs
forment l’ensemble des minima de f sur Rn . Lorsque cet ensemble est non vide, on dit que le (PSC)
admet une solution optimale ; tout élément x̃ de cet ensemble est un minimum de f sur Rn .

La fonction f peut être constituée par une fonction-objectif ou fonction-coût. Par exemple, dans le
problème consistant à rechercher la droite de régression d’équation y = ax + b où (a, b) sont deux para-
mètres inconnus, à partir de la connaissance des ordonnées y i , i = 1, 2, . . ., n de n points du plan d’abs-
cisses xi , i = 1, 2, . . ., n, la fonction-coût f : R2 → R s’écrit :
n £
X ¤2
f (a, b) = y i − axi − b . (1)
i =1

Elle représente la somme des carrés des résidus d’observations v i = y i − axi − b.

Lorsque la fonction f est bornée inférieurement, le réel α = infx∈Rn f (x) est appelé valeur minimale de
f . Si f n’est pas bornée inférieurement, alors on pose α = −∞.

L’optimisation traite également la recherche de maxima. En effet, le problème de maximisation :

sup f (x)
,
t.q. x ∈ Rn

est équivalent au problème de minimisation

inf(− f (x))
.
t.q. x ∈ Rn
En réalité, il est assez rare qu’un problème d’optimisation soit sans contrainte. En général, la structure
du problème modélisé impose des contraintes à la variable x recherchée telles que la positivité ou l’ap-
partenance à un ensemble borné. L’ensemble C ⊂ Rn dans lequel doit se trouver x constitue l’ensemble
des points admissibles. Le problème de minimisation avec contrainte s’écrit alors :

(PAC) inf f (x)

.
t.q. x ∈ C

Si f (x̃) = supx∈C f (x), on dit que x̃ est un maximum de f sur C .

5
Calcul scientifique

2 Outils mathématiques
L’optimisation fait appel au calcul différentiel des fonctions et à la convexité des fonctions et des en-
sembles. Nous allons rappeler ici uniquement des résultats de calcul différentiel.

Soit f une fonction de Rn dans R, deux fois différentiable au point x ∈ Rn . On appelle respectivement
gradient ∇ f (x) et matrice hessienne ∇2 f (x) en x, le vecteur de Rn et la matrice carrée de dimension n
définis par :
∂2 f ∂2 f
 ∂f   
(x)  ∂x1 ∂x1 (x) · · · ∂x1 ∂xn (x) 
 ∂x1. 2 .. ..
..

∇ f (x) =   et ∇ f (x) =  . . . (2)
   
∂f ∂2 f ∂2 f
 
∂xn (x) ∂xn ∂x1 (x) ··· ∂xn ∂xn (x)

Remarque I La matrice hessienne est symétrique puisque d’après le théorème de Schwarz :

∂2 f ∂2 f
= ,
∂xi ∂x j ∂x j ∂xi

pour i , j = 1, 2, . . ., n et i 6= j .

Lorsque f est deux fois différentiable dans tout un voisinage V de x, elle admet un développement de
Taylor au second ordre en x, qui s’écrit, pour tout h ∈ Rn tel que x + h ∈ V :
1
f (x + h) = f (x) + (∇ f (x)).h + [(∇2 f (x))h].h + k h k2 ε(h) (3)
2
où ε(h) est une fonction qui tend vers 0 lorsque h → 0.

Remarque II Les applications D f (x) : h 7→ ∇ f (x).h et D 2 f (x) : h 7→ (∇2 f (x)h).h sont appelées respec-
tivement différentielle première et différentielle seconde de f en x.

3 Conditions d’optimalité
Nous donnons ci-après trois conditions d’optimalité ainsi qu’une méthode systématique de recherche
des extrema d’une fonction numérique. Soit f une fonction numérique de Rn dans R.

T HÉORÈME 3.1 — Première condition nécessaire d’optimalité

Si f est différentiable et si x̃ est un minimum local de f alors ∇ f (x̃) = 0.

T HÉORÈME 3.2 — Seconde condition nécessaire d’optimalité

Si f est deux fois différentiable et si x̃ est un minimum (resp. maximum) local de f alors ∇2 f (x̃) a toutes
ses valeurs propres positives (resp. négatives) ou nulles.

T HÉORÈME 3.3 — Condition suffisante d’optimalité

Si f est deux fois différentiable et si d’une part ∇ f (x̃) = 0 et d’autre part, toutes les valeurs propres de
la matrice hessienne ∇2 f (x) sont strictement positives (resp. négatives) alors x̃ est un minimum (resp.
maximum) local isolé de f .

Compte-tenu des théorèmes précédents, la recherche des extrema d’une fonction f dans un problème
de minimisation sans contrainte doit comporter les étapes suivantes :

6
 Initiation à l’optimisation

1. recherche des points critiques x de f c.-à-d. pour lesquels ∇ f (x) = 0 ;

2. pour chaque point critique x de f :
— recherche du signe des valeurs propres λ1 , λ2 , . . . , λn de la matrice ∇2 f (x) ;
— si ∀i = 1, 2, . . . , n, λi > 0 (resp. λi < 0) alors x est un minimum (resp. maximum) local de f .

Exercice 1 Résumer par un schéma tous les cas possibles d’optimum en fonction du signe des valeurs
propres de la matrice hessienne.

Exercice 2 Rechercher les extrema de la fonction f (x, y) = x 3 + y 3 − 3x y.

Exercice 3 Rechercher les extrema de la fonction g (x, y) = exp(1 − x 2 − y 2 ) + x 2 + y 2 .

4 Approche numérique de l’optimisation

L’objectif est maintenant d’évaluer numériquement les solutions de problèmes d’optimisation sans contrainte
(PSC). La fonction-coût f est supposée différentiable sur Rn . La méthode utilisée est la méthode du gra-
dient à pas optimal.

4.1 Présentation de la méthode

La méthode du gradient à pas optimal comprend les 4 étapes suivantes :
Initialisation : soient
° x0 ∈°Rn , k = 0.
Étape 1 : si ° ∇ f (xk ) ° ≤ ε, alors arrêt ;
Étape 2 : on pose : d k = −∇ f (xk ) ;
Étape 3 : minimisation unidimensionnelle
- détermination du pas optimal tk (fonction « backtrack ») ;
- on pose : xk+1 = xk + tk d k ;
- retour à l’étape 1.

Le réel ε > 0 détermine la précision dans le critère d’arrêt choisi. Ce dernier peut être couplé avec une
condition portant sur le nombre maximum d’itérations.

La méthode du gradient consiste à remplacer la minimisation d’une fonction à n variables par une suite
de minimisations de fonctions d’une seule variable. Ces fonctions correspondent à la restriction de f
sur la droite issue de xk et de direction d k = −∇ f (xk ), dite direction de descente. Ainsi, la méthode du
gradient est-elle une méthode de descente.

7
Calcul scientifique

4.2 Applications : travail à réaliser

1. Écrire l’algorithme de la méthode du gradient à pas optimal.
2. Écrire un programme en Python qui réalise la méthode du gradient à pas optimal.
3. Retrouver les résultats des exercices 2 et 3 à l’aide de la méthode du gradient.
4. Visualiser les résultats en traçant les surfaces d’équations z = f (x, y) et z = g (x, y).
5. Problème d’estimation de paramètres
On souhaite modéliser une série de m mesures y i réalisées aux points xi , i = 1, 2, . . ., n par une
combinaison h de fonctions gaussiennes de la forme :

1 1 x − µ1 2 1 1 x − µ2 2
µ µ ¶ ¶ µ µ ¶ ¶
h(x) = (1 − α) p exp − + α p exp −
σ1 2π 2 σ1 σ2 2π 2 σ2

a) Définir la fonction-coût permettant d’estimer les paramètres inconnus du problème

par moindres carrés.
b) Déterminer les paramètres inconnus par la méthode du gradient.
c) Représenter graphiquement vos résultats.

Fin du document