Tout savoir sur la régression pénalisée

Partie 3

Présenté par Morgan Gautherot

A. Pénalisation de la fonction de coût
 Sur-entraînement et sous-entraînement

Sous-entraînement Entraînement correct Sur-entraînement

Erreur sur le jeu d’entraînement : Élevée Erreur sur le jeu d’entraînement : Erreur sur le jeu d’entraînement :
Faible Nulle
Erreur sur le jeu de test : Élevée Erreur sur le jeu de test : Erreur sur le jeu de test :
Faible Moyenne

Prix
Prix

Prix

Surface Surface Surface

Jeu d’entraînement Jeu de test
 Complexité du modèle
𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" # +
𝑦! = 𝑤! + 𝑤" . 𝑥" 𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" #
𝑤$ . 𝑥" $ +𝑤% . 𝑥" % + ⋯

Prix
Prix

Prix

Surface Surface Surface

Jeu d’entraînement Jeu de test
 Pénalisation des paramètres

𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" # + 𝑤$ . 𝑥" $ + 𝑤% . 𝑥" % + ⋯

Prix

Pénalisation des paramètres

)
1
min𝐽 𝑤 = 0(𝑦! (') − 𝑦 (') )# +1000. 𝑤$ + 1000. 𝑤% + ⋯
& 2𝑚
'("

Surface
Minimiser l’erreur Minimiser la valeur des
Jeu d’entraînement Jeu de test de prédiction paramètres 𝑤$ , 𝑤% , …
B. La régression Lasso
Régression Lasso ou pénalisation L1

● Un modèle plus simple avec moins de paramètres est moins sujet

au sur-entraînement.
Paramètre de régularisation

$ '
1 !
𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
2𝑚
!"# &"#

Régularisation
 Impact du coefficient de régularisation
$ '
1 !
𝜆 trop petit 𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
2𝑚
!"# &"#
Prix

Prix
Surface Surface
 Impact du coefficient de régularisation
$ '
1 !
𝜆 trop grand 𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
2𝑚
!"# &"#
Prix

Prix
Surface Surface
 Impact du coefficient de régularisation

[0.01, …, 0.1, …., 0.5] $ '

1 !
𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
𝜆 adéquat 2𝑚
!"# &"#
Prix

Prix
Surface Surface
C. La régression Ridge
Régression Ridge ou pénalisation L2

● Un modèle avec des paramètres plus homogène est moins sujet au

sur-entraînement.
Paramètre de régularisation

$ '
1
𝐽 𝑤 = '(𝑦) ! − 𝑦 ! )%+𝜆 ' 𝑤&%
2𝑚
!"# &"#

Régularisation
D. La régression Elasticnet
Régression Elasticnet ou régularisation L1 et L2
Paramètre de régularisation

$ ' '
1
𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆# ' |𝑊( | + 𝜆% ' 𝑤&%
2𝑚
!"# &"# &"#

Paramètre de régularisation

$ ' '
1 1−𝛼
𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&%
2𝑚 2
!"# &"# &"#

Mix entre la régularisation L1 et L2

 Régression Elasticnet ou régularisation L1 et L2

$ ' '
1 1−𝛼
𝛼=0 𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&% L2
2𝑚 2
!"# &"# &"#

$ ' '
1 1−𝛼
𝛼=1 𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&% L1
2𝑚 2
!"# &"# &"#
E. Pour la régression logistique
 Pour la classification

Sous-entraînement Entraînement correct Sur-entraînement

 Régression logistique pénalisée

$ &
1 𝜆
Ridge 𝐽 𝑤 =− /𝑦 ! log ℎ 𝑥 ! + 1−𝑦 ! log 1 − ℎ 𝑥 ! + / 𝑤%'
𝑚 2𝑚
!"# %"#

$ &
1 ! ! ! !
𝜆
Lasso 𝐽 𝑤 =−
𝑚
/𝑦 log ℎ 𝑥 + 1−𝑦 log 1 − ℎ 𝑥 +
2𝑚
/ 𝑊(
!"# %"#

$ & &
1 1−𝛼
Elasticnet 𝐽 𝑤 =− /𝑦 ! log ℎ 𝑥 ! + 1−𝑦 ! log 1 − ℎ 𝑥 ! + 𝜆 𝛼 / |𝑊( | + / 𝑤%'
𝑚 2
!"# %"# %"#
Résumé

● Lasso/pénalisation L1
■ Sélection des variables les plus importantes

● Ridge/pénalisation L2
■ Homogénéisation des paramètres

● Elasticnet/pénalisation L1 & L2
■ Sélection des variables et homogénéisation des
paramètres.