ENSA Khouribga 2020 − 2021 Recherche Opérationnelle 2

TD 1

Exercice 1 :
1. Montrer que l’application norme x 7→ ||x||p est convexe.
2. Pour toute fonction convexe f : y ∈ Rm 7→ f (y), montrer que g : x ∈ Rd 7→ f (Ax−b)
est une fonction convexe avec A ∈ Rn×d et b ∈ Rn .
3. pour i = 1, ..., m soit yi ∈ R et ai ∈ Rd , prouvez que la fonction de régression
logistique f (x) = n1 ni=1 ln 1 + e−yi hx,ai i est convexe.
P

4. on dit qu’une fonction f est µ−fortement convexe si et seulement si

µ
f (y) ≥ f (x) + h∇f (x), y − xi + ky − xk22 , ∀x, y ∈ Rd
2
Montrer que f vérifie la condition de Polyak-Lojasiewicz :

k∇f (x)k22 ≥ 2µ (f (x) − f (x∗ ) , ∀x

5. Calculer la dérivées de la fonction quadratique f (x) =< Ax, x > − < b, x > avec
x, b ∈ Rn et A ∈ Rn×n .

Exercice 2 : La régression Ridge est peut-être l’exemple le plus simple d’un problème
d’apprentissage automatique. Considérez la tâche d’apprentissage qui permet de trouver la
relation entre un vecteur de caractéristiques x ∈ Rd et un vecteur d’observation y ∈ R. De
plus, vous disposez d’un ensemble d’observations étiquetées (xi , yi ) pour i = 1, ..., n. Nous
désirons résoudre le problème :
n
∗ 1X1 >
2 λ
w = arg min xi w − yi + kwk22 ,
w n 2 2
i=1

avec λ > 0 en utilisant une méthode de descente à pas fixe.

def X w − y 2 +
1
>
1. Montrer que le problème s’écrit de la manière suivante f (w) = 2n 2
λ
2
kwk22 en précisant la matrice A et le vecteur y.
2. Déduire que la fonction f est convexe.
3. On considère le schéma de descente :

wt+1 = wt − α∇f wt

def 1
avec α = 1
σmax (A)
et A = n
XX > + λI.
(a) calculer le ∇f (w).

1
ENSA Khouribga 2020 − 2021 Recherche Opérationnelle 2

(b) Montrer que A est définie positive.

(c) Montrer que  
w − w∗ ≤
t+1 σmin (A) w − w∗
t
2
1− 2
σmax (A)
Exercice 3 :
Soit A ∈ Mn (R) une matrice symétrique définie positive. On pose
1
f : x ∈ Rn 7→ < Ax, x > − < b, x >
2
et rk = ∇f (xk )
1. Montrer que dk = −∇f (xk ) est une direction de descente. Montrer que A dk est
également un direction de descente.
2. Rappeler l’algorithme du gradient à pas optimale.
hrk ,rk i
3. Montrer que le pas de descente vaut αk = hAr k ,rk i
pour la méthode du gradient à pas
optimale
Exercice 4 :
Soit A ∈ Mn (R) une matrice symétrique définie positive. Résoudre Ax = b est équivalent
à minimiser
1
f : x ∈ Rn 7→ < Ax, x > − < b, x >
2
En effet, le minimum x̄ de f (qui existe et qui est unique puisque f est strictement convexe
et coercice) vérifie ∇f (x̄) = 0. Or ∇f (x) = Ax − b. Une méthode de descente est une
méthode itérative qui approche le minimum de f (et donc la solution de Ax = b ) en
construisant la suite (xk )k∈N :
x0 ∈ R n


xk+1 = xk + αk dk
Dans ce qui précède, pour k ∈ N,
- αk > 0 est le pas de la méthode,
- dk ∈ Rn est une direction de descente, c’est-à-dire un vecteur de Rn tel que

< ∇f (xk ) , dk >≤ 0

Lorsque l’inégalité précédente est stricte, on parle de direction stricte de descente.

- On définira aussi le résidu rk par rk = ∇f (xk ) = Axk − b.
1. Montrer que
hArk , dk−1 i
dk = −rk + dk−1 ,
< Adk−1 , dk−1 >
est une direction de descente avec l’initialisation d0 = −r0 = b − Ax0 .

2
ENSA Khouribga 2020 − 2021 Recherche Opérationnelle 2

2. Trouver en fonction de rk ,dk et A, l’expression du pas optimale :

αk = argminf (xk + αdk )

α>0

3. Montrer que les résidus vérifient la relation de récurrence suivante :

rk+1 = rk + αk Adk , ∀k ≥ 0

H. KHALFI