Machine Learning – Machine Learning– 2023fev année 2022-2023

TD 5 : SVM

Exercice 1 – Support Vector Machine

On considère ici un problème de classification binaire vers Y = { 1, +1} de données dans un espace de
description X 2 Rd . On note {(xi , y i ) 2 (X, Y )}, i 2 {1, . . . , n} l’ensemble d’apprentissage considéré.
La fonction de décision du classifieur considéré est donnée par : fw,b (x) = sign(wT x + b).
On considère dans un premier temps un ensemble de données linéairement séparable. Cet ensemble de
données et la frontière de décision sont représentés (en 2D) sur la figure 1.

Figure 1 – Ensemble de données linéairement séparables

Q 1.1 Marge
Sur cette figure, l’échantillon xi et de label y i est représenté par le point A. On s’intéresse à sa distance
signée i à la frontière de decision (dont le point le plus proche est représenté en B sur la figure).
Q 1.1.1 Sachant que w/||w|| est un vecteur unitaire orthogonal à la frontière de décision, donner
l’expression de i en fonction de xi , y i , w et b.
Q 1.1.2 Montrer que la distance et la solution ne change pas en multipliant la solution par un scalaire,
i.e. pour (↵w, ↵b). Que cela implique-t-il si l’on souhaite éloigner au maximum (au sens géométrique)
les points de la frontière de décision ?
Q 1.2 Formulation du SVM
On considère alors le problème d’optimisation sous contraintes suivant :
1
min ||w||2
w,b 2

s.t. y i (wT xi + b) 1, 8i 2 {1, . . . , n}

Q 1.2.1 Pourquoi choisit-on la contrainte 1 plutôt que 0 ? Pourquoi 1 ?

Q 1.2.2 Poser le Lagrangien à considérer pour optimiser ce problème sous contraintes
Q 1.2.3 Donner la solution analytique de la minimisation de ce Lagrangien selon w et b
EI
Exa
y Wxitb XA XB 8
aw Xi tbs
XiYi
wixistbat
y Yg s.cn YiI Fow
yi
Fwpt yikwixistbzlew.fi te tb

à optimiser argmin lait

1 giga b e 0 seul solutionpos

È én'introduisant
dictyicw.xis byiz
o.diso yipw.is
D 71 2947 9

Fête
Éptimiser
zmwp.IE xi lf ykw.xis bgi yo en introduisant
Lagrangien
arymiyargman
Ew w Éxyigxi o w Édigixi
Ï Édigio
IHÉdigixillayÉdictyiewixis byi
xiIIKigigExys I xD Étriby
ECEYIcaiyixi.gg s E
ÉTÉ cyyixixiy
Écaiylib
I
D
EEtixigiayscxt.gs
ix SVM
ne dépendque des points à support

1.2.9 Choisir un noyau CX x KIX apex x

t yiewxistbyistgi argminuwHKEYi
Kw
Ï KITT condition
aill Gr yilwxitb 0 Bigi O il faut
à résoudre K xitp
Le ÉÉN Épi ltgi yicwtxitbD Epigi.tkEjidiso pro
di pitkeo Kaitfi
Fw w Éagigxi a

Ï É digi o

Lie JOKE
t yiewixis by 0 25 0
points bien classé
tyicw.xiz P Si 0 bien classe
byiko
profiai
o mal classé non sur la marge
ai o 0 fr 0 point sur la marge
fi

qu'ex ew b

ÉTÉ Liyicxix b à partir de noyau

ÉÉdigikyi
kcx.ME qui xD

ok ix y ecfixl.de et.IM
cxh
Teq y
KIK Xcx qu'D
ktkx.gs fenidysted'exifin

qqit.fi ha
 Klx g t'ix y
Glx pays fix y
Équieinfeysej Éidiexsei Élyse
Épicxificy
IEficxspicy
ÉÉ fixinguyspicxifigs
ÉTÉ enjoy dicageys

quali d
2 Hex 7 est un noyau

ex XD Yax j x

Este noyau
Q I
id 91 02 noyau d'après a 1.2
fa
f 927 noyau par récurrence
d'apres

z.
fcn
E NlAl5
t
w ns
Q Wi NIEX
l apparat on pas
dans X X
m'merde
M chose
Si w WE EX noyau à noyon transférer
si c X.x noyanto données
Donc k bien un noyau
2 I ABCDE F 42
2 Bc D Et G 43
Lez
4 GA BC DE
Qc
Machine Learning – Machine Learning– 2023fev page 2

Q 1.2.4 En déduire une nouvelle formulation “duale” de notre problème d’optimisation sous contraintes

Q 1.2.5 Que cette nouvelle formulation permet-elle ?

Q 1.2.6 Quel est le problème du problème d’optimisation que l’on a considéré ? Proposer une nouvelle
formulation qui corrige ce problème
Q 1.2.7 Proposer la formulation duale de ce nouveau problème
Q 1.2.8 Donner la fonction de classification obtenue après optimisation de cette formulation duale
du SVM
Q 1.2.9 D’après les conditions de Karush-Kuhn-Tucker (KKT) concernant les propriétés de la
solution optimale d’un Lagrangien, on a : ai (1 ⇠i y i (wT xi + b)) = 0, 8i 2 {1..N } et i ⇠i = 0, 8i 2
{1..N }. Qu’en déduire pour les paramètres ai obtenus à l’optimum ?
Q 1.2.10 Qu’en déduire pour l’estimation du biais b ?

Exercice 2 – Noyaux

Q 2.1 Montrez que si K et K 0 sont deux noyaux (i.e. il existe et 0 telles que K(x, y) =< (x), (y) >
, K 0 (x, y) =< 0 (x), 0 (y) >) :
Q 2.1.1 cK est un noyau pour c 2 R+
Q 2.1.2 K + K 0 est un noyau ;
Q 2.1.3 KK 0 est un noyau ;
Q 2.1.4 (1+ < x, x0 >)d est un noyau.

Exercice 3 – Noyaux sur les chaînes de caractères

Soit S une séquence de mots sur un alphabet A fini. Montrez que :

1. K(x, x0 ) = nombre de sous-chaînes de longueur 5 que x et x0 ont en commun est un noyau ;
2. K(x, x0 ) = 1 si x et x0 ont au moins une sous-chaîne de longueur 5 en commun, 0 sinon, n’est
pas un noyau (indice : considérez 3 chaînes x,x0 et x00 ).