Tout savoir sur le kernel trick

Partie 4

Présenté par Morgan Gautherot

 Problème linéaire et non linéaire

x
 D’un problème non linéaire à un linéaire

x
 Kernel trick (astuce du noyaux)
𝑓 𝑥, 𝑙 = 𝑥!

Si 𝑥 ≈ 𝑙 : 𝑥! ≈ 1

Si x est loin de 𝑙 ∶ 𝑥! ≈ 0

𝑥" 𝑙

𝑥# 𝑥#

𝑦 = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥# + 𝑤$ . 𝑥$

𝑥!
 Kernel trick (astuce du noyaux)
𝑓 𝑥, 𝑙 = 𝑥!

Si 𝑥 ≈ 𝑙 : 𝑥! ≈ 1
Si x est loin de 𝑙 ∶ 𝑥! ≈ 0

𝑥" 𝑙

𝑦 = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥# + 𝑤$ . 𝑥$

𝑥!
 Comment trouver les landmarks ?

𝑥! 𝑥" 𝑥 # 𝑥 $ 𝑥 % …

𝑙(") 𝑓 𝑥, 𝑙(") = 𝑥$
𝑓 𝑥, 𝑙(#) = 𝑥(
𝑥" 𝑓 𝑥, 𝑙($) = 𝑥)
𝑙($)
⋮

𝑙(#) ⋮

𝑥!
Noyau gaussien ou RBF

𝑥−𝑙 *
f x, l = exp −
2𝜎 *

Il faut définir 𝜎
Les données doivent être normalisées avant l’utilisation du noyau
Noyau polynomial

f x, l = 𝑥 , 𝑙 + 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡𝑒 -./0..

Il faut définir :
● le degré
● la constante
Noyau Sigmoïd

f x, l = tanh(𝛼𝑥 , 𝑙 + 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡𝑒)

Il faut définir :
● la pente 𝛼
● la constante