Académique Documents
Professionnel Documents
Culture Documents
DU LINEAIRE AU CONVEXE
x1
..
x ∈ IRn soit x = . avec xi ∈ IR, i = 1, . . . , n
xn
Toute combinaison linéaire d’éléments de l’espace vectoriel est donc un élément de l’espace,
0 est l’élément neutre et −x est l’élément inverse de x (tel que x + (−x) = 0). Par ailleurs,
un vecteur de IRn sera dit linéairement dépendant d’un ensemble de vecteurs S ⊂ IRn
s’il peut s’écrire comme une combinaison linéaire des vecteurs de S. En conséquence, un
ensemble de vecteurs {s1 , . . . , sk } sera dit linéairement indépendant s’il n’existe pas de
coefficients (a1 , . . . , ak ) non tous nuls tels que ki=1 ai si = 0.
P
On introduit un produit scalaire noté h·, ·i, application bilinéaire de IRn × IRn dans IR :
n
X
hx, yi = xi y i
i=1
1
2 CHAPTER 1. DU LINEAIRE AU CONVEXE
et l’intérieur par :
int(C) = {x ∈ C|∃ǫ > 0, x + ǫB ⊂ C}
L’intérieur étant souvent vide, on lui préfère souvent l’intérieur relatif au sous-espace affine
engendré par C (voir ci-dessous), noté rint(C). On a alors rint(C) ⊂ C ⊂ cl(C).
Matrices : Mm,n (IR) est l’ensemble des matrices de m lignes et n colonnes à coefficients
réels (pour les matrices carrées, on notera simplement Mn (IR)). Un élément de Mm,n (IR)
représente donc une transformation linéaire de l’espace IRn dans l’espace IRm .
Soit A ∈ Mm,n (IR), aij est l’élément de la i-ème ligne et j-ème colonne et soit x ∈ IRn :
n
m
X
y = Ax ⇐⇒ y ∈ IR et yi = aij xj , i = 1, . . . , m
j=1
A la composition d’une transformation linéaire de IRn dans IRm avec une transformation
de IRm dans IRp , on associera le produit matriciel A = CB où B est une matrice (m × n),
C est une matrice (p × m); donc le produit est une matrice A de taille (p × n) dont chaque
élément est le produit scalaire d’une ligne de C avec une colonne de B.
On notera AT la matrice transposée de A, c.a.d. telle que :
On observe que la même notation est utilisée pour le produit scalaire dans IRm et dans
IRn .
On a : (AT )ij = aji et (AT )T = A
Rang d’une matrice : le rang d’une matrice est égal au nombre maximum de vecteurs
colonnes linéairement indépendants. C’est aussi le nombre maximum de vecteurs lignes
linéairement indépendants. Donc rang(A) ≤ min{m, n}.
Matrices carrées : ce sont les matrices telles que m = n. Une matrice carrée telle que
rang(A) = m est dite non singulière . Elle possède une inverse , notée A−1 , qui satisfait :
AA−1 = A−1 A = I , où I est la matrice identité , telle que aii = 1 et aij = 0 ,si i 6= j. On
a : (A−1 )−1 = A.
Une matrice (carrée) symétrique est telle que A = AT . Sn (IR) représente le sous-
ensemble des matrices carrées symétriques de dimension n.
Les matrices telles que HH T = H T H = I sont dites orthogonales (leurs lignes et leurs
colonnes sont orthonormées). Elles satisfont kHxk = kxk, ∀x
Si S ∈ Sn (IR), toutes les valeurs propres λi de S sont réelles et il existe une matrice or-
thogonale U telle que U T SU = diag{λ1 , . . . , λn }. Les colonnes de U sont donc les vecteurs
(propres) orthonormés qui permettent la décomposition spectrale S = ni=1 λi ui uTi .
P
Les matrices symétriques définies positives sont celles dont toutes les valeurs propres
sont strictement positives (on dira matrice semi-définie positive s’il existe des valeurs pro-
pres nulles). Si A ∈ Sn (IR) est définie positive, on a ∀x ∈ IRn , x 6= 0, hx, Axi > 0.
i) L ∩ M est un sous-espace
Théorème 1.1 Tout système de vecteurs linéairement indépendants qui engendre un sous-
espace vectoriel a la même cardinalité.
S ⊥ = {x ∈ IRn | hx, yi = 0, ∀y ∈ S}
Il est facile de montrer que S ⊥ est un sous-espace. Si B est la matrice (l × n) dont les
lignes sont les générateurs de lin{S}, alors on peut représenter S ⊥ par :
S ⊥ = {x ∈ IRn | Bx = 0}
Propriétés :
4 CHAPTER 1. DU LINEAIRE AU CONVEXE
1. (S ⊥ )⊥ = lin{S}
2. S ⊂ T =⇒ S ⊥ ⊃ T ⊥
3. (S ∪ T )⊥ = S ⊥ ∩ T ⊥
4. {0}⊥ = IRn
6. lin{S} ⊕ S ⊥ = IRn
• comme ensemble des combinaisons linéaires d’un nombre fini de générateurs (c’est
alors le sous-espace Image de la matrice dont les colonnes sont ses générateurs);
• comme ensemble des solutions d’un système d’équations linéaires homogènes (c’est
alors le sous-espace Noyau de la matrice associée aux lignes du système d’équations).
Exemple :
1 0
Dans IR3 , soit le sous-espace L engendré par a1 = −1 et a2 = 1
0 −1
1 0
Donc L = Im(A) avec A = −1 1 et dimL = rang(A) = 2
0 −1
Onh peut représenter
i L par L = {x ∈ IR3 | x1 + x2 + x3 = 0}, soit L = Ker(B) avec
B = 1 1 1 et dimL = n − rang(B) = 2
Variétés linéaires :
Soit L un sous-espace de dimension m et x0 ∈ IRn . L’ensemble des vecteurs x de IRn
tels que x = x0 + z, z ∈ L est une variété linéaire (ou sous-espace affine). Toute variété
linéaire qui passe par l’origine est un sous-espace vectoriel. La deuxième représentation
d’une variété linéaire est l’ensemble des solutions d’un système d’équations linéaires :
Soit L = {x ∈ IRn | Bx = 0}, et soit x0 tel que Bx0 = b, alors l’ensemble V =
{x0 } + L = {x ∈ IRn | Bx = b} est une variété linéaire parallèle au sous-espace L. Comme
la dimension de ce sous-espace est égale à n − rang(B) = m, on dira que la variété a
pour dimension m (par analogie sur le nombre de degrés de liberté de sa représentation
paramétrique).
Définition 1.2 : On appelle sous-espace affine engendré par S, l’ensemble aff{S} des
combinaisons linéaires, de somme égale à 1, d’éléments de S.
i
1.3. CÔNES POLYÈDRIQUES 5
On vérifie immédiatement que aff{S} est une variété linéaire en écrivant aff{S} =
{a1 } + {x ∈ IRn | x = α2 a′2 + . . . + αk a′k ; a′i = ai − a1 }.
Obs. : D’une manière générale, on dira que la dimension d’un ensemble S est d si
dim(aff{S}) = d.
Une variété linéaire de dimension n − 1 est un hyperplan. Donc, un hyperplan peut
être représenté au moyen d’une seule équation linéaire :
H = {x ∈ IRn | ha, xi = b}
∀x ∈ C et ∀λ ≥ 0, λx ∈ C
Cette définition implique donc qu’un cône contient l’origine. Elle inclut également des
cônes non convexes mais on ne s’intéressera ici qu’aux cônes convexes (voir définition de
la convexité à la section suivante).
Définition 1.4 Le cône convexe engendré par l’ensemble S, noté cone{S}, est l’ensemble
de toutes les combinaisons linéaires non négatives d’éléments de S.
cone{S} = {x ∈ IRn |x = α1 a1 + . . . + αk ak , αi ≥ 0; ai ∈ S, i = 1, . . . , k}
On vérifie aisément que cone{S} est un cône convexe. C’est le plus petit cône convexe qui
contient S.
Observations :
1. Contrairement aux sous-espaces, les cônes convexes n’ont pas toujours une représen-
tation finie. Ceux qui en possèdent une sont appelés cônes polyédriques.
2. En toute généralité, un cône convexe peut contenir un sous-espace (non trivial).
Le plus grand sous-espace contenu dans un cône C est clairement défini par L =
C (−C). On appelle cône pointé un cône qui ne contient que le sous-espace trivial
T
{0}. En d’autres termes, un cône pointé est un cône C tel que C (−C) = {0}.
T
Définition 1.5 Soit C un cône convexe de IRn ; r ∈ C est un rayon extrème de C ssi on
ne peut trouver r ′ ∈ C et r ′′ ∈ C tels que r ′ , r ′′ ∈
/ cone{r} et r = r ′ + r ′′ .
Proposition 1.1 : Soit C un cône polyèdrique pointé et soit S l’ensemble de ses rayons
extrèmes. Alors il existe un sous-ensemble fini S̄ de S tel que C = cone{S̄}. De plus, cette
représentation est de cardinalité minimale.
6 CHAPTER 1. DU LINEAIRE AU CONVEXE
a2
a1
Définition 1.6 On appelle cône polaire d’un ensemble S l’ensemble S p défini par :
S p = {x ∈ IRn | hx, yi ≤ 0, ∀y ∈ S}
Il est clair que S p est un cône convexe. Si C est le cône polyèdrique engendré par les
vecteurs a1 , . . . , ak , alors :
• comme ensemble des combinaisons linéaires non négatives d’un nombre fini de généra-
teurs (les rayons extrèmes du cône).
On montre facilement que les objets linéaires décrits précédemment, sous-espaces, vec-
toriels et affines, et cônes polyèdriques, sont des ensembles convexes.
Propriétés des ensembles convexes :
On admettra que l’ensemble vide est convexe. Si C est convexe, alors il en est de
même pour int(C), rint(C) ainsi que pour cl(C). Par ailleurs, on tire immédiatement de
la définition les propriétés suivantes :
Soient K1 et K2 deux convexes de IRn ;
1. K1 K2 est convexe
T
Théorème 1.2 Un ensemble C est convexe si et seulement si il contient toutes les com-
binaisons convexes de ses éléments.
Démonstration Il est clair que si C contient toutes les combinaisons convexes de ses
éléments, il contient toutes les combinaisons convexes de deux éléments. Donc, C satisfait
la définition ci-dessus et est un ensemble convexe.
Si C est convexe, soit z = ki=1 λi xi , avec ki=1 λi = 1, λi ≥ 0, i = 1, . . . , k et xi ∈
P P
λ1 λ2
y1 = x1 + x2 ∈ C
λ1 + λ2 λ1 + λ2
λ1 + λ2 λ3
y2 = y1 + x3 ∈ C
λ1 + λ2 + λ3 λ1 + λ2 + λ3
··· ···
λ1 + · · · + λn−1 n−2 λn n
y n−1 = y + x ∈C
1 1
On peut alors vérifier que y n−1 = z, donc z ∈ C. 2
Cette caractérisation peut être simplifiée dans le cas d’un cône : un cône est convexe ssi,
pour tout x et y ∈ C, x + y ∈ C (Preuve : Exercice).
8 CHAPTER 1. DU LINEAIRE AU CONVEXE
Définition 1.8 L’enveloppe convexe d’un ensemble S, notée conv(S), est l’ensemble de
toutes les combinaisons convexes des éléments de S, c.a.d. :
conv{S} = {x ∈ IRn | x = α1 a1 + . . . + αk ak , αi = 1, αi ≥ 0, ai ∈ S, i = 1, . . . , k}
X
On vérifie que conv{S} est bien un ensemble convexe; conv{S} est le plus petit ensemble
convexe qui contient S.
Observation : l’enveloppe convexe d’un ensemble fermé n’étant pas nécessairement fermée
(prendre par exemple dans IR2 l’ensemble S = {x ∈ IR2 | x1 x2 ≥ 1, x1 ≥ 0} {x ∈
S
C1 C2
C = conv{C1 ∪ C2 }
Définition 1.9 On appelle polyèdre un ensemble P qui peut s’écrire comme la somme
d’un sous-espace L, d’un cône polyèdrique C et d’un polytope K. Il correspond donc au cas
le plus général et ses générateurs peuvent être de 3 types.
Définition 1.10 On appelle point extrème d’un ensemble convexe K de IRn tout vecteur
x ∈ K tel qu’il n’existe pas x′ , x′′ ∈ K avec x′ 6= x, x′′ 6= x et x ∈ conv{x′ , x′′ }.
Exemple :
n = 3,k =1, l = 2,m =4
0 1 0 0
a1 = 1 a2 = 1 a3 = 1 a4 = 0
1 0 0 0
1.4. ENSEMBLES CONVEXES ET POLYÈDRES 9
a1
a4 a3
a2
Grâce à la transformation Ω de IRn dans IRn+1 : x 7→ (x, 1), tout polyèdre P de IRn
peut se transformer en un cône polyèdrique de IRn+1 :
et on peut étendre les résultats du paragraphe précédent aux polyèdres. Ainsi, tout polyè-
dre peut s’écrire comme l’ensemble des solutions d’un système d’égalités et d’inégalités
linéaires. Dans sa représentation minimale, les égalités représentent le sous-espace affine
engendré par P et chaque inégalité est un demi-espace qui contient P . L’intersection de
l’hyperplan frontière du demi-espace avec P est une face de P .
10 CHAPTER 1. DU LINEAIRE AU CONVEXE
ku − pk = min ku − xk
x∈C
Théorème 1.3 (de projection) Soit C un ensemble convexe fermé non vide de IRn .
Tout élément u de IRn possède une unique meilleure approximation p sur C appelée pro-
jection de u sur C. De plus, p est caractérisé par:
hp − u, p − xi ≤ 0, ∀x ∈ C
Démonstration Supposons que u ∈ / C (le résultat est trivial avec u = p si u ∈ C). Soit
δ = inf x∈C kx − uk > 0. L’existence d’une meilleure approximation (en abrégé m.a.) sur
C est garantie par l’existence d’une boule compacte centrée en u et d’intersection non vide
avec C (on peut prendre la boule de rayon 2δ). La norme étant continue, elle atteint donc
sa borne inférieure sur cette intersection (théorème de Weierstrass).
Démontrons alors l’inégalité caractérisant une meilleure approximation pour en déduire
l’unicité.
=⇒ −λkp − yk2 + 2hp − u, p − yi ≤ 0 On peut alors faire tendre λ vers 0 pour obtenir
l’inégalité recherchée par passage à la limite.
ii)
hp − u, p − xi = hp − u, p − u + u − xi
= kp − uk2 − hu − p, u − xi ≤ 0
Théorème 1.4 Soit C un ensemble convexe fermé non vide de IRn . Alors, pour tout
u, u′ ∈ IRn , on a :
et on additionne les deux expressions pour obtenir (1.1). On applique alors l’inégalité de
Schwartz pour obtenir (1.2). 2
Revenons à la preuve du théorème de projection et observons que, si u ∈
/ C, p − u 6= 0
et l’inégalité précédente peut s’écrire :
ha, xi ≤ b, ∀x ∈ C
Ces deux inégalités signifient que l’hyperplan H = {x ∈ IRn |ha, xi = b} sépare strictement
u et C. On a donc prouvé le résultat fondamental suivant :
Théorème 1.5 Soit C un ensemble convexe fermé non vide de IRn et soit u ∈ / C. Alors,
n
il existe un hyperplan séparant u de C, c’est-à-dire, il existe a ∈ IR et b ∈ IR tel que
ha, xi ≤ b, ∀x ∈ C et ha, ui > b.
La séparation implique que l’ensemble convexe est contenu dans un demi-espace associé à
l’hyperplan séparateur. On en déduit immédiatement la caractérisation suivante :
Corollaire 1.1 Soit C un ensemble convexe fermé de IRn . Alors C est l’intersection de
tous les demi-espaces qui le contiennent.
Théorème 1.6 (de séparation) Soient deux ensembles convexes non vides C1 et C2 de
IRn ne possèdant pas de points intérieurs communs. Alors, il existe un hyperplan H sé-
parant C1 et C2 tel que C1 C2 6⊂ H
S
Démonstration Fenchel[1] 2
Observations :
• On doit comprendre ici point intérieur relatif à la topologie induite par le sous-espace
affine engendré par l’ensemble.
• Le théorème de séparation a plusieurs formes utiles dans des espaces plus généraux.
Sa forme la plus célèbre est le théorème de Hahn-Banach (cf. Luenberger [2]).
ku − pH k ≤ ku − xk, ∀x ∈ C
La valeur optimale du problème relaxé est donc une borne inférieure de la valeur opti-
male du problème primal. Par ailleurs, le problème relaxé est plus ’facile’ à résoudre car
l’ensemble des solutions réalisables est un objet linéaire simple. On appellera problème dual
celui qui consiste à rechercher la meilleure borne inférieure donc à rechercher l’hyperplan
séparateur H tel que ku − pH k est maximal :
max ku − pH k = min ku − xk
H x∈C
1.5. PROJECTION ET SÉPARATION AVEC DES ENSEMBLES CONVEXES 13
H pH
p*
Bibliographie du chap. 1
[1] W. Fenchel, Convex cones, sets and functions, mimeographed lecture notes, Prince-
ton U., 1951.
[2] D.G. Luenberger, Optimization by vector space methods, John Wiley, 1969.
[3] H. Minkovski, Theorie der konvexen Körper, insbesondere Begründung ihres Ober-
flächenbegriffs, Gesammelte Abhandlungen, Leipzig, 1911.
[4] R.T. Rockafellar, Convex Analysis, Princeton U. Press, 1970.
[5] J. Stoer et C. Witzgall, Convexity and Optimization, Springer V., 1970.
[6] H. Weyl, Elementare Theorie der konvexen Polyeder, Commentarii Helvetici, 1935.