Convexité et Optimisation

Ensembles convexes
y
Définition: Étant donne deux points x, y ∈ ℝ , la droite passant
n

par x et y est définie par l'ensemble

{ z ∈ ℝ n : z = θ x + (1 − θ ) y, θ ∈ ℝ1}. x

Définition: Étant donné deux points x, y ∈ ℝ n , le segment de droite y

reliant x et y est définie par l'ensemble ℑ ( x, y )
ℑ ( x, y ) = { z ∈ ℝ : z = θ x + (1 − θ ) y, θ ∈ [ 0,1]} .
n
x

Définition: Un ensemble E ⊂ ℝ n est convexe si pour toute paire

de points x, y ∈ E , le segment de droite ℑ ( x, y ) ⊂ E.

Ensembles convexes Ensembles non convexes

Définitions.
L' hyperplan spécifié par le point a ∈ ℝ n et le scalaire β est l'ensemble de ℝ n
{
H ( a, β ) = x ∈ ℝ n : a T x = β . }
Les demis espaces (fermés) associés à l'hyperplan H ( a, β ) sont les ensembles
suivants de ℝ n :
{
H + [ a, β ] = x ∈ ℝ n : a T x ≥ β }
H− [ a, β ] = { x ∈ ℝ n
: aT x ≤ β }.

Note. Il est facile de vérifier que tous ces ensembles sont convexes.

H − [ a, β ]
H ( a, β )
H + [ a, β ]
Définition. Hyperplan de séparation.
L'hyperlan H ( a, β ) sépare deux ensembles non vides X et Y si
(
a T x ≥ β pour tout x ∈ X i.e., X ⊂ H + [ a, β ] )
a T y ≤ β pour tout y ∈ Y ( i.e., Y ⊂ H [a, β ]) .
−

La séparation est stricte si les inégalités dans les relations précédentes

sont strictes.

(
H a1 , β1 )
Y

(
H a2 , β2 )
Définition. Étant donné un ensemble non vide X ⊂ ℝ n l'hyperplan H ( a, β )
est un support de X si
H ( a, β ) ∩ X ≠ Φ et
+ −
X ⊂H [ a, β ] ou X ⊂ H [ a, β ]
( où X dénote la fermeture de l'ensemble X ) .

X
H ( a, β ) support
Théorème 2.1: Soient les vecteurs x, y, a ∈ ℝ n . Si a T y < a T x, alors pour tout
θ ∈ ( 0,1) ,
a T y < a T (θ x + (1 − θ ) y ) < a T x.

Preuve. a T (θ x + (1 − θ ) y ) < a T (θ x + (1 − θ ) x ) = a T x.
a T (θ x + (1 − θ ) y ) > a T (θ y + (1 − θ ) y ) = a T y. □
Théorème 2.2: (Théorème de séparation) Si X ⊂ ℝ n est un ensemble
convexe non vide et si y ∉ X , alors il existe un hyperplan qui sépare
(strictement) X et y.

x•
X x0
•
X • y
Théorème 2.2: (Théorème de séparation) Si X ⊂ ℝ n est un ensemble
convexe non vide et si y ∉ X , alors il existe un hyperplan qui sépare
(strictement) X et y.
Preuve. Il existe un point x 0 ∈ X tel que
x 0 − y = min x − y
x∈ X

(où z = z T z dénote la norme euclédienne de z .

Nous allons construire un hyperplan de séparation stricte
)
Il est facile de vérifier que X est un ensemble convexe, et par conséquent le
( )
segment de droite ℑ x 0 , x ⊂ X pour tout x ∈ X . Donc pour tout θ ∈ [ 0,1]
(
x 0 − y ≤ θ x + (1 − θ ) x 0 − y . )
Ainsi pour tout θ ∈ [ 0,1]

(x ) (x ) (( ) − y ) ( (θ x + (1 − θ ) x ) − y )
T T
0
−y 0
− y ≤ θ x + (1 − θ ) x 0 0

(x − y) ( x − y ) ≤ (( x − y ) + θ ( x − x )) (( x − y ) + θ ( x − x ))
T T
0 0 0 0 0 0

(x − y) ( x − y ) ≤ ( x − y ) ( x − y ) + 2θ ( x − x ) ( x − y ) +
T T T
0 0 0 0 0 0

θ (x − x ) (x − x )
T
2 0 0
Ainsi pour tout θ ∈ [ 0,1]

(x ) (x ) (( ) − y ) ( (θ x + (1 − θ ) x ) − y )
T T
0
−y 0
− y ≤ θ x + (1 − θ ) x 0 0

(x − y) ( x − y ) ≤ (( x − y ) + θ ( x − x )) (( x − y ) + θ ( x − x ))
T T
0 0 0 0 0 0

(x − y) ( x − y ) ≤ ( x − y ) ( x − y ) + 2θ ( x − x ) ( x − y ) +
T T T
0 0 0 0 0 0

θ ( x − x ) ( x − x ).
T
2 0 0

Par consequent pour tout θ ∈ [ 0,1]

(
)( ) ( )( )
T T
2θ x − x 0
x − y +θ
0 2
x−x 0
x − x 0 ≥ 0.
Mais alors ceci implique que ( x − x ) ( x − y ) ≥ 0. En effet si
T
0 0

( x − x ) ( x − y ) < 0, alors pour θɶ >0 suffisemment petit

T
0 0

2θɶ ( x − x ) ( x − y ) > θɶ ( x − x ) ( x − x )
T T
0 0 2 0 0

et alors nous aurions que

( )( ) ( ) ( x − x ) < 0.
T T
2θɶ x − x 0 x − y + θɶ 2 x − x 0
0 0
 )( ) (
T
0
Nous avons donc que x − x x 0 − y ≥ 0 ou encore

x ( x − y ) ≤ x ( x − y ).
0T 0 T
( 2.1)
0

Puisque y ∉ X , x − y = ( x − y ) ( x − y ) > 0, ou encore

2 T
0 0 0

y ( x − y ) < x ( x − y ).
T 0 0T
( 2.2 )0

Alors en appliquant le Théorème 2.1 avec les vecteurs ( x − y ) , 0

1
x , y, et avec θ = , et utilisant la relation ( 2.2 )
0
2

( 1 0
) ( )( ) ( )
T
T 0
y x −y < x +y x 0 − y < x 0T x 0 − y .
2
En utilisant maintenant la relation ( 2.1) ,

( 1
) ( ) (x ) ( ) ( )
T
T
y x − y < x0 + y
0 0
− y < x 0T x 0 − y ≤ x T x 0 − y .
2
En utilisant maintenant la relation ( 2.1) ,

( )1 0
( )( ) ( ) ( )
T
T 0
y x −y < x +y x 0 − y < x 0T x 0 − y ≤ x T x 0 − y .
2
Par conséquent nous avons que

( 1 0
) ( )( ) ( )
T
T 0
y x −y < x +y x0 − y < xT x0 − y .
2
Puisque cette relation est valable pour tout x ∈ X , il s'ensuit
(
que l'hyperplan H ( a, β ) où a = x 0 − y et )
1 0
( )( )
T
β= x +y x 0 − y sépare (strictement) X et y. □
2
 y
X X

y
Dans le Théorème 2.2, la convexité de X est une condition
suffisante pour assurer l'existence d'un hyperplan le séparant
(strictement) de y ∉ X .

Mais comme l'illustre la figure suivante, la convexité de X

n'est pas une condition nécessaire.

y
X
Théorème 2.3:(Théorème de Farkas) Étant donné les vecteurs
a1 ,… ,a n et b ∈ ℝ m , une condition suffisante pour que b
s'exprime comme une combinaison linéaire non négative des a j
(i.e., une condition suffisante pour qu'il existe des scalaires non
négatifs x1 ,… , xn tels que b = a1 x1 + … + a n xn ) est que tout
y ∈ ℝ m tel que y T a j ≥ 0 pour tout j = 1,… , m, vérifie
nécessairement la relation y T b ≥ 0.

Preuve. Il faut démontrer que

pour tout y ∈ ℝ m , 
 T j  ∃ x1 ,… , xn ≥ 0 tels que 
si y a ≥ 0 pour tout j = 1,… , m,   1 
  b = a x1 + … + a xn 
n
 T
 alors nécessairement y b≥0 
Preuve. Il faut démontrer que
pour tout y ∈ ℝ m , 
 T j  ∃ x1 ,… , xn ≥ 0 tels que 
si y a ≥ 0 pour tout j = 1,… , m,    1 
  b = a x1 + … + a xn 
n
 T
alors nécessairement y b ≥ 0 
Nous allons plutôt démontrer la contraposé de l'implication:
pour tout y ∈ ℝ m , 
 T j  ∃ x1 ,… , xn ≥ 0 tels que 
¬ si y a ≥ 0 pour tout j = 1,… , m,  ⇐ ¬ 1 
 b = a x1 + … + a xn 
n
 T 
 alors nécessairement y b≥0 
c'est-à-dire
∃ y ∈ ℝ m , tel que 
 ∃ x1 ,… , xn ≥ 0 tels que   T j 
 1    y a ≥ 0 pour tout j = 1,… , m, 
 b = a x1 + … + a xn  
n
T 
 et y b<0 
Pour démontrer que
∃ y ∈ ℝ m , tel que 
 ∃ x1 ,… , xn ≥ 0 tels que   T j 
 1    y a ≥ 0 pour tout j = 1,… , m, 
 b = a x1 + … + a xn  
n
T 
 et y b<0 
considérons l'ensemble
{
Z = z ∈ ℝ m : ∃x1 ,… , xn ≥ 0 tel que z = a1 x1 + … + a n xn . }
Il est facile de démontrer que Z est convexe. Il est aussi possible
de démontrer que Z est un ensemble fermé ( i.e. Z = Z ) .
z1 = a1 x11 + … + a n x1n z 2 = a1 x12 + … + a n x n2
θ z1 + (1 − θ ) z 2 = a1 θ x11 + (1 − θ ) x12  + … + a n θ x1n + (1 − θ ) xn2 
et alors θ z1 + (1 − θ ) z 2 ∈ Z
Pour démontrer que
∃ y ∈ ℝ m , tel que 
 ∃ x1 ,… , xn ≥ 0 tels que   T j 
 1    y a ≥ 0 pour tout j = 1,… , m, 
 b = a x1 + … + a xn  
n
T 
 et y b<0 
considérons l'ensemble
{ }
Z = z ∈ ℝ m : ∃x1 ,… , xn ≥ 0 tel que z = a1 x1 + … + a n xn .
Il est facile de démontrer que Z est convexe. Il est aussi possible
de démontrer que Z est un ensemble fermé ( i.e. Z = Z ) .
Puisque par hypothèse de la contraposé b ∉ Z = Z , alors
par le théorème 2.2 il existe un hyperplan H ( p, β ) qui sépare
strictement Z et b :
pTb < β < pT z pour tout z ∈ Z . (2.3)
 {
Z = z ∈ ℝ m : ∃x1 ,… , xn ≥ 0 tel que z = a1 x1 + … + a n xn . }
Puisque par hypothèse de la contraposé b ∉ Z = Z , alors
par le théorème 2.2 il existe un hyperplan H ( p, β ) qui sépare
strictement Z et b :
p Tb < β < pT z pour tout z ∈ Z . (2.4)
Or 0 ∈ Z , ce qui implique que β < 0 et par conséquent que
∃ y ∈ R m , tel que  T
 T j  p b < 0.
 y a ≥ 0 pour tout j = 1,… , m, 
T
 Également,
 et y T
b < 0 p z ≥ 0 pour tout z ∈ Z .
 En effet, s'il existait un zɶ ∈ Z
T
tel que p zɶ < 0, alors puisque Z est un cône (i.e., si z ∈ Z alors
λ z ∈ Z pour tout λ ≥ 0), nous aurions que p T ( λ zɶ ) → − ∞
λ →∞
contredisant (2.4).
Or 0 ∈ Z , ce qui implique que β < 0 et par conséquent que
p T b < 0.
Également, p T z ≥ 0 pour tout z ∈ Z . En effet, s'il existait un zɶ ∈ Z
tel que p T zɶ < 0, alors puisque est un cône (i.e., si z ∈ Z alors
λ z ∈ Z pour tout λ ≥ 0) nous aurions que p T ( λ zɶ ) → − ∞
λ →∞
contredisant (2.4).
Comme il est facile de vérifier que a j ∈ Z , j = 1,… , n,
{
Z = z ∈ R m : ∃x1 ,… , xn ≥ 0 tel que z = a1 x1 + … + a n xn }
il s'ensuit que p T a j ≥ 0, j = 1,… , n.
Nous avons donc démontré la contraposé puisque p ∈ R m est
T T ∃ y ∈ R m , tel que 
tel que p a ≥ 0, j = 1,… , n et p b < 0.
j  T j
 y a ≥ 0 pour tout j = 1,… , m,


□
 T 
et y b < 0 
Corollaire 2.4: (Théorème d'alternatives) Soit A une matrice
m × n. Exactement une des deux alternatives suivantes est vérifiée:
I. Le système Ax = b, x ≥ 0 possède une solution x ∈ ℝ n
II. Le système AT y ≥ 0, bT y < 0 possède une solution y ∈ ℝ m .

Preuve. Il est facile de vérifier que les deux alternatives ne

peuvent tenir en même temps, car autrement la relation
suivante serait satisfaite:
0 > bT y = x T AT y ≥ 0
une contradiction.
 I. Le système Ax = b, x ≥ 0 possède une solution x ∈ ℝ n
II. Le système AT y ≥ 0, bT y < 0 possède une solution y ∈ ℝ m .

Dénotons par a• j , j = 1,… , n, la j ième colonne de A.

Considérant l' alternative II, celle-ci est vérifée ou elle ne l'est pas.
Dans le cas où elle ne l'est pas, il s'ensuit que le système
AT y ≥ 0, bT y < 0 ne possède pas de solution y ∈ ℝ m ;
i.e., le système a• j T y ≥ 0, j = 1,… , n, bT y < 0 ne possède pas
de solution y ∈ ℝ m . Ainsi pour tout y ∈ ℝ m ,
si a• j T y ≥ 0, j = 1,… , n, alors nécessairement bT y ≥ 0.
Donc par le Théorème 2.3, il existe un vecteur x ∈ ℝ n , x ≥ 0 tel
que Ax = a•1 x1 + … + a• n xn = b, et l'alternative I tient. □
Illustration du cas où le système Ax = b, x ≥ 0 possède une solution.

c T d = c d cos θ

a•1

a•1 x1 a•1T y ≥ 0
b et
b y<0
T

a•2 x2 a•2 T y ≥ 0
a•2

Le système AT y ≥ 0, bT y < 0
ne possède pas de solution
Illustration du cas où le système Ax = b, x ≥ 0 ne possède pas de solution.

b a•1
a•1T y ≥ 0
b et
b y<0
T
a•2 T y ≥ 0
a•2
bT y < 0
Le système AT y ≥ 0, bT y < 0
possède une solution
 Fonctions convexes

Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une

fonction à valeurs réelles f : X → ℝ1 est convexe si pour
toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ [ 0,1] .
θ f ( x ) + (1 − θ ) f ( y ) f
f ( y)

f ( x) f (θ x + (1 − θ ) y )

x y
θ x + (1 − θ ) y
 Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une
fonction à valeurs réelles f : X → ℝ1 est strictement convexe
si pour toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) < θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ ( 0,1) .

Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une

fonction à valeurs réelles f : X → ℝ1 est concave
si pour toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) ≥ θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ [ 0,1].
Donc f est concave si − f est convexe.
 Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une
fonction à valeurs réelles f : X → ℝ1 est strictement convexe
si pour toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) < θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ ( 0,1) .

Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une

fonction à valeurs réelles f : X → ℝ1 est concave
si pour toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) ≥ θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ [ 0,1].
Donc f est concave si − f est convexe.
Définition: Étant donne un ensemble convexe X ⊂ ℝ n , une
fonction à valeurs réelles f : X → ℝ1 est strictement concave
si pour toute paire de points x, y ∈ X ,
f (θ x + (1 − θ ) y ) > θ f ( x ) + (1 − θ ) f ( y ) ∀θ ∈ ( 0,1) .
Donc f est strictement concave si − f est strictement convexe.
Proposition 2.5 : Soit X ⊂ ℝ n un ensemble convexe. Si f : X → ℝ1 est
convexe, alors l'ensemble X f (ξ ) = { x ∈ X : f ( x ) ≤ ξ } est convexe pour
tout ξ ∈ ℝ1 .

Preuve. Soient x et y ∈ X f (ξ ) et θ ∈ ( 0,1) . Alors, puisque f est convexe,

f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y ) ≤ θξ + (1 − θ ) ξ = ξ ,
ce qui implique que (θ x + (1 − θ ) y ) ∈ X f (ξ ) . Donc X f (ξ ) est convexe. □
La réciproque n'est
f vraie. X (ξ ) convexe
mais f n'est pas convexe
ξ

X f (ξ ) X f (ξ )
Proposition 2.5 : Soit X ⊂ ℝ n un ensemble convexe. Si f : X → ℝ1 est
convexe, alors l'ensemble X f (ξ ) = { x ∈ X : f ( x ) ≤ ξ } est convexe pour
tout ξ ∈ ℝ1 .

Preuve. Soient x et y ∈ X f (ξ ) et θ ∈ ( 0,1) . Alors, puisque f est convexe,

f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y ) ≤ θξ + (1 − θ ) ξ = ξ ,
ce qui implique que (θ x + (1 − θ ) y ) ∈ X f (ξ ) . Donc X f (ξ ) est convexe. □
La réciproque n'est
f
vraie. X (ξ ) convexe
mais f n'est pas convexe
ξ
ξ

X f (ξ ) X f (ξ )
Proposition 2.5 : Soit X ⊂ ℝ n un ensemble convexe. Si f : X → ℝ1 est
convexe, alors l'ensemble X f (ξ ) = { x ∈ X : f ( x ) ≤ ξ } est convexe pour
tout ξ ∈ ℝ1 .

Preuve. Soient x et y ∈ X f (ξ ) et θ ∈ ( 0,1) . Alors, puisque f est convexe,

f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y ) ≤ θξ + (1 − θ ) ξ = ξ ,
ce qui implique que (θ x + (1 − θ ) y ) ∈ X f (ξ ) . Donc X f (ξ ) est convexe. □
La réciproque n'est
f vraie. X (ξ ) convexe
mais f n'est pas convexe
ξ ξ

X f (ξ ) X f (ξ )
Proposition 2.5 : Soit X ⊂ ℝ n un ensemble convexe. Si f : X → ℝ1 est
convexe, alors l'ensemble X f (ξ ) = { x ∈ X : f ( x ) ≤ ξ } est convexe pour
tout ξ ∈ ℝ1 .

Preuve. Soient x et y ∈ X f (ξ ) et θ ∈ ( 0,1) . Alors, puisque f est convexe,

f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y ) ≤ θξ + (1 − θ ) ξ = ξ ,
ce qui implique que (θ x + (1 − θ ) y ) ∈ X f (ξ ) . Donc X f (ξ ) est convexe. □
La réciproque n'est
f vraie. X (ξ ) convexe
mais f n'est pas convexe
ξ ξ

X f (ξ ) X f (ξ )
Proposition 2.6: Soit X ⊂ ℝ n . Si f i : X → ℝ1 est convexe pour i = 1,… , m et
m
si λ1 ,… , λm sont des scalaires non négatifs, alors f ( x ) =  λ f ( x ) est
i =1
i i

convexe sur X .

Preuve. Pour toute paire de points x, y ∈ X et pour tout θ ∈ [ 0,1]

m
f (θ x + (1 − θ ) y ) =  λ f (θ x + (1 − θ ) y )
i i
i =1
m
≤  λ θ f ( x ) + (1 − θ ) f ( y )
i =1
i i i (puisque f i convexe et λi ≥ 0)
m m
=θ  λ f ( x ) + (1 − θ ) λ f ( y )
i =1
i i
i =1
i i

= θ f ( x ) + (1 − θ ) f ( y ) . □
Proposition 2.7: Soit X ⊂ ℝ n un ensemble convexe. Si f : X → ℝ1 est convexe,
m
si x1 ,… , x m ∈ X , et si λ1 ,… , λm sont des scalaires non négatifs tels que  λ = 1,
i =1
i

 m
 m
alors f   λi x  ≤
i
 λi f ( xi ).
 i =1  i =1

Preuve. Si m = 2 nous retrouvons la définition de fonction convexe. Procédons par

induction et supposons que le résultat est vrai pour (m − 1); i.e., si θ1 ,… , θ m −i ≥ 0
m −1 m −1 m −1 m −1
 
sont tels que
i =1

θi = 1, alors
i =1

θi xi ∈ X et f  θi xi  ≤ θi f xi .
 i =1  i =1
  ( )
Ainsi posant
λi
θi = m −1

λ
k =1
k

 
m −1
λi m −1
λi x i  m −1 i 
λi x  m −1 λi f ( xi )
 = 1,  ∈ X, f  ≤  .
m −1 m −1  m −1  m −1
i =1

k =1
λk i =1
 k =1
λk  i =1



k =1
λk 

i =1
λ
k =1
k
Preuve. Si m = 2 nous retrouvons la définition de fonction convexe. Procédons par
induction et supposons que le résultat est vrai pour (m − 1); i.e.,
 
m −1
λi m −1
λi xi
 m −1
 λ x i 
≤
m −1 λ f x i
( )
   
i
= 1, ∈ X , f i
.
m −1 m −1  m −1  m −1


i =1

k =1
λk i =1

k =1

λk  i =1

 k =1
λ k 
 i =1

 k =1
λk 
Par définition de convexité,
m −1 m −1
λi xi
 
λk m −1
+ λm x m
∈ X,
k =1 i =1
λ
k =1
k

   
 m −1 m −1  m −1  m −1 
λi x λi xi
( )
i
f   λk m 
+ λm x ≤  λk f 
  + λ f xm
 m −1  m −1  m
 k =1


i =1
k =1
λk 


k =1



i =1
 k =1
λk 


 m −1 i  m −1 m −1 λ f x i
( ) +λ
f
 λ i x + λm x m
 ≤   λk
i
m −1 m ( )
f xm . □
 i =1  k =1 i =1
k =1
λ k
Proposition 2.8: Soit X ⊂ ℝ n un ensemble convexe. f : X → ℝ1 est convexe
si et seulement si φ ( λ ) = f ( λ x + (1 − λ ) y ) est une fonction convexe sur [ 0,1]
pour toute paire de points x, y ∈ X .

Note: φ ( λ ) dénote la restriction de f sur le segment de droite entre x et y.

ϕ (λ )

y x
0 λ 1
Proposition 2.8: Soit X ⊂ ℝ n un ensemble convexe. f : X → ℝ1 est convexe
si et seulement si φ ( λ ) = f ( λ x + (1 − λ ) y ) est une fonction convexe sur [ 0,1]
pour toute paire de points x, y ∈ X .

Note: φ ( λ ) dénote la restriction de f sur le segment de droite entre x et y.

Preuve. Pour démontrer la nécessité, considérons la paire de points x, y ∈ X .

Soit λ1 , λ2 ∈ [ 0,1] . Alors
φ (θλ1 + (1 − θ ) λ2 ) = φ ( λ2 + θ ( λ1 − λ2 ) )
= f ( λ2 + θ ( λ1 − λ2 ) ) x + (1 − λ2 − θ ( λ1 − λ2 ) ) y 
= f ( λ2 + θ ( λ1 − λ2 ) ) x + (1 + θ − θ − λ2 − θ ( λ1 − λ2 ) ) y 
= f θ ( λ1 x + (1 − λ1 ) y ) + ( (1 − θ ) ( λ2 x + (1 − λ2 ) y ) 
≤ θ f ( λ1 x + (1 − λ1 ) y ) + (1 − θ ) f ( λ2 x + (1 − λ2 ) y )
= θφ ( λ1 ) + (1 − θ ) φ ( λ2 ) .
Donc φ est convexe sur [ 0,1] .
Pour démontrer la suffisance, considérons également la paire de points
x, y ∈ X . La fonction φ (θ ) = f (θ x + (1 − θ ) y ) étant convexe sur [ 0,1] ,
φ (θ ) = φ (θ ⋅1 + (1 − θ ) 0 ) ≤ θφ (1) + (1 − θ ) φ ( 0 )
pour tout θ ∈ [ 0,1] .
Alors
f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y )
pour tout θ ∈ [ 0,1] . Donc f est convexe. □

La proposition suivante introduit une des propriétés qui rendent les

fonctions convexes si intéressantes en programmation mathématique.
Proposition 2.9: Soit X ⊂ ℝn un ensemble convexe. Soit f : X → ℝ1 une
fonction convexe. Si x est un minimum local de f sur X , alors x est un
minimum global de f sur X .
xɶ
Preuve. La preuve se fait par contradiction
en supposant qu'il existe un point xɶ ∈ X tel θ xɶ + (1 − θ ) x
x
que f ( x ) < f ( x ) . Puisque f est convexe,
ɶ
f (θ xɶ + (1 − θ ) x ) ≤ θ f ( xɶ ) + (1 − θ ) f ( x ) < θ f ( x ) + (1 − θ ) f ( x ) = f ( x )
pour tout θ ∈ ( 0,1]. Or pour θ > 0 suffisemment petit,
x (θ ) = θ xɶ + (1 − θ ) x ∈ Vε ( x ) ∩ X .
Ainsi f ( x (θ ) ) < f ( x ) où x (θ ) ∈ Vε ( x ) ∩ X , contredisant que x est un
minimum local de f sur X . □
Proposition 2.10: (Inégalité du gradient ). Soit X ⊂ ℝ n un ensemble convexe.
Soit f : X → ℝ1 une fonction de classe C1 sur X . Alors f est convexe sur X si
et seulement si
f ( x ) ≥ f ( y ) + ∇f ( y ) ( x − y)
T

pour toute paire de points x, y ∈ X .

Preuve. (nécessité) Soit f convexe. Alors pour toute paire de points x, y ∈ X

et pour tout θ ∈ [ 0,1]
f (θ x + (1 − θ ) y ) ≤ θ f ( x ) + (1 − θ ) f ( y )
ce qui s'écrit aussi sous la forme
f ( y + θ ( x − y )) − f ( y ) ≤ θ ( f ( x ) − f ( y )). ( 2.5)
Se référant au Théorème de Taylor, il existe un τ ∈ [ 0,1] tel que
f ( y + θ ( x − y ) ) = f ( y ) + ∇f τ ( y + θ ( x − y ) ) + (1 − τ ) y  ( y + θ ( x − y ) − y )
T

f ( y + θ ( x − y ) ) − f ( y ) = θ∇f  y + τθ ( x − y )  ( x − y ) . ( 2.6 )
T
 f ( y + θ ( x − y )) − f ( y ) ≤ θ ( f ( x ) − f ( y )). ( 2.5)
Se référant au Théorème de Taylor, il existe un τ ∈ [ 0,1] tel que
f ( y + θ ( x − y ) ) = f ( y ) + ∇f τ ( y + θ ( x − y ) ) + (1 − τ ) y  ( y + θ ( x − y ) − y )
T

f ( y + θ ( x − y ) ) − f ( y ) = θ∇f  y + τθ ( x − y )  ( x − y ) . ( 2.6 )
T

Combinant les relations ( 2.5 ) et (2.6), pour tout θ ∈ [ 0,1]

θ∇f  y + τθ ( x − y )  ( x − y ) ≤ θ ( f ( x ) − f ( y )).
T

Si θ > 0, nous pouvons diviser par θ de chaque côté de l'inéquation et obtenir

∇f  y + τθ ( x − y )  ( x − y ) ≤ ( f ( x ) − f ( y ) )
T

pour tout θ ∈ (0,1]. Par conséquent, en prenant la limite quand θ → 0

nous obtenons
lim ∇f  y + τθ ( x − y )  ( x − y ) ≤ θlim ( f ( x ) − f ( y ))
T

θ →0 →0
ou encore
T
∇f  y + lim τθ ( x − y )  ( x − y ) ≤ ( f ( x ) − f ( y ) )
 θ →0 
f ( x ) ≥ f ( y ) + ∇f ( y ) ( x − y ) .
T
(suffisance) Démontrons maintenant que la condition est suffisante.
Puisque f ( x ) ≥ f ( y ) + ∇f ( y ) ( x − y ) pour toute paire de points x, y ∈ X
T

f ( x ) ≥ f (θ x + (1 − θ ) y ) + ∇f (θ x + (1 − θ ) y ) ( x − θ x − (1 − θ ) y ) (2.7)
T

f ( y ) ≥ f (θ x + (1 − θ ) y ) + ∇f (θ x + (1 − θ ) y ) ( y − θ x − (1 − θ ) y ) . (2.8)
T

(2.7) et (2.8) s'écrivent respectivement

f ( x ) ≥ f (θ x + (1 − θ ) y ) + (1 − θ ) ∇f (θ x + (1 − θ ) y ) ( x − y ) (2.9)
T

f ( y ) ≥ f (θ x + (1 − θ ) y ) − θ ∇f (θ x + (1 − θ ) y ) ( x − y ) .
T
(2.10)
Multiplions (2.9) par θ et (2.10) par (1 − θ )
θ f ( x ) ≥ θ f (θ x + (1 − θ ) y ) + θ (1 − θ ) ∇f (θ x + (1 − θ ) y ) ( x − y )
T

(1 − θ ) f ( y ) ≥ (1 − θ ) f (θ x + (1 − θ ) y ) − (1 − θ )θ∇f (θ x + (1 − θ ) y ) ( x − y )
T

et additionnons les deux relations résultantes:

θ f ( x ) + (1 − θ ) f ( y ) ≥ f (θ x + (1 − θ ) y ) . □
Corollaire 2.11: Soit X ⊂ ℝ n un ensemble convexe. Soit f : X → ℝ1 une
fonction convexe de classe C1 sur X . Alors si ∇f ( x *) ( x − x *) ≥ 0 pour tout
T

x ∈ X , alors x *est un minimum global de f sur X.

Preuve. Le résultat découle directement de l'inégalité du gradient. En effet,

puisque f est convexe sur X, alors
f ( x ) ≥ f ( x *) + ∇f ( x *) ( x − x *)
T

pour tout x ∈ X . Puisque par hypothèse ∇f ( x *) ( x − x *) ≥ 0, alors

T

f ( x ) − f ( x *) ≥ ∇f ( x *) ( x − x *) ≥ 0
T

d'où f ( x ) ≥ f ( x *) pour tout x ∈ E. Donc x *est un minimum global

de f sur X . □

Conséquence: Si ∇f ( x *) = 0 , alors x *est un minimum global de f sur X.

Pour les fonctions f de classe C 2 , il existe un critère pour vérifier la convexité
qui est basé sur le Hessien ∇ 2 f .

Proposition 2.12: Soit X ⊂ ℝ n un ensemble convexe dont l'intérieur est non vide.
Soit f : X → ℝ1 une fonction de classe C 2 sur X . Alors f est convexe sur X si
et seulement si son Hessien ∇ 2 f ( x ) est une matrice semi définie positive
pour tout x ∈ X .