Série #5

Exercice I.

On considère la fonction f : R2 → R définie par :

f (x1 , x2 ) = 4x21 − 4x1 x2 + 2x22

a) Déterminer le minimum de la fonction f (Justifier votre réponse).

b) Donner les trois premières étapes de la méthode de gradient à pas optimal.

 
(0) 2
Entrée : Choisir u = comme vecteur initial.
3

Exercice II.

On considère la fonction f : R2 → R définie par :

f (x1 , x2 ) = x21 + x22 + 2x1 + 4.

a) Démonter que la fonction f admet un minimum globale.

b) Déterminer le minimum de f.

c) Choisir un facteur de descente fixe, justifier votre choix et donner les trois premières
étapes de la méthode de gradient à pas fixe.

Exercice III.

On considère la fonction F : R3 → R3 définie par :

 2 
x1 + x22 + x23 − 3
F (x1 , x2 , x2 ) =  x21 + x22 − x3 − 1  .
x+y+z−3

a) Donner les deux premières

 étapes
 de la méthode de Newton.
1
Entrée : Choisir u(0) =  0  comme vecteur initial.
1

1
  
0
b) Si on choisit u(0) =  0  comme vecteur initial,
0
commenter le résultat obtenu.

Exercice IV.

On considère la fonction f : R2 → R définie par :

f (x) = x21 + x1 x2 + 12 x22 − 3x1 − 2x2

a) Donner les deux premières

 étapes
 de la méthode de gradient conjugué.
0
Entrée : Choisir u(0) = comme vecteur initial.
3
En déduire le minimum de la fonction f (justifier la réponse).

b) Donner les premières étapes

  de la méthode de gradient à pas optimal.
0
Entrée : Choisir u(0) = comme vecteur initial.
3

c) Comparer les deux résultats.

Exercice V.

On considère la fonction f : R2 → R définie par :

f (x) = x21 − x1 x2 + x22 − 3x2 .

Donner les deux premières

 étapes
 de l’algorithme de Fletcher - Reeves.
0
Entrée : Choisir u(0) = comme vecteur initial.
0
Exercice VI.

On considère la fonction quadratique f (x) = 12 ⟨Ax, x⟩ − ⟨b, x⟩ + c.

La matrice A est une matrice symétrique, définie positive.
Pour tout vecteur initial u(0) , démontrer que la méthode de Newton converge vers le min-
imum en une seule étape.

Exercice VII.

On considère C([−1, 1]) l’espace des fonctions continues f : [−1, 1] → R.

Z 1
a) Démontrer que l’expression ⟨g, h⟩ = g(t)h(t)dt pour tous g, h ∈ C([−1, 1])
−1
définie un produit scalaire sur C([−1, 1]). p
On note ∥∥ la norme associée définie par ∥g∥ = ∥g, g∥.
Soit f0 (x) = x3 ∈ C([−1, 1]), on voudrait déterminer le plynôme P0 (s’il existe) de
degré inférieur ou égal à 1 qui approche au sens des moindre carré :
∥f0 − P0 ∥2 ≤ ∥f0 − P ∥2 pour tous P polynôme de degré inférieur ou égal à 1.

2
 b) Transformer ce problème en un problème de moindres carrée équivalent en dimension
finie.
c) Étudier l’existence et l’unicité.
d) Déterminer P0 .
Exercice VIII.

On considère la fonction f : Rn → R définie par :

1
f (x) = ∥Ax − b∥2 .
2
La matrice A est une matrice d’ordre p × n (p lignes, n colonnes), b ∈ Rp .
a) Démontrer que la fonction f est une fonction quadratique de la forme :
1
f (x) = ⟨Bx, x⟩ − ⟨c, x⟩ + d
2
en déterminant la matrice B et les vecteurs c et d.
b) Démontrer que la fonction f est deux fois différentiable, déterminer ∇f (x) le gra-
dient de f et ∇2 f (x) la matrice Hessienne de f .
c) Démonter que la fonction f est une fonction convexe et donner une condition
nécessaire et suffisante pour que la fonction soit fortement convexe.
d) Soient x ∈ Rn tel que ∇f (x) ̸= 0 et d ∈ Rn . Donner une condition nécessaire et
suffisante pour que le vecteur d soit une direction de descente au point x.
e) Soient x ∈ Rn tel que ∇f (x) ̸= 0 et d une direction de descente au point x.
Démontrer que la fonction g(t) = f (x + td) admet un minimum global unique à
déterminer.
Exercice IX.

Soit C un espace convexe, fermé non vide de Rn muni du produit scalaire usuel,
∥ ∥ la norme associée. Soit x ∈ Rn , on considère le problème de minimisation :
Déterminer x ∈ C tel que ∥x − x∥ = minv∈C ∥v − x∥.
a) Démontrer que x ∈ C existe et est unique.
b) Démontrer que x est caractérisé par l’inéquation :
∀v ∈ C, ⟨x − x, x − v⟩ ≤ 0.
c) Montrer que : ∀x, y ∈ Rn , ∥x − y∥ ≤ ∥x − y∥.

Le vecteur x ∈ C est appelé la projection de x sur C qu’on note PC (x) ou ΠC (x).

D’après c) la fonction projection PC : Rn → C définie par : PC (x) = x est continue et
non expansive i.e :
∥PC (x) − PC (y)∥ ≤ ∥x − y∥ .
De plus PC (x) = x si et seulement si x ∈ C.